AI가 이전 대화를 기억 못 하는 이유 — 기억하는 AI (1)
느낌대로 쓰면 딸깍하고 만들어주는 바이브 코딩의 시대다. 이전 글들도 보면 뭐 다 딸각하면 된다고 한다.
그런데, AI 코딩 도구를 실무에 제대로 써 본 사람이라면 한 번쯤 겪었을 것이다. 어제까지 내 프로젝트를 척척 이해하던 AI가 오늘 다른 일을 시키자 갑자기 생판 모르는 내용을 들은것마냥 헤미기 시작한다. 지난주에 실컷 씨름하면서 합의한 방식을 잊고, 꼼꼼하게 작성한 규칙을 어기고, 내가 만들지도 않았던 엉뚱한 파일을 자꾸 검색하고 근거라고 가져온다. 환장할 노릇이다.
결론부터 말하면 당신의 AI 활용 능력이 떨어져서가 아니다. 지금 대부분이 AI 도구를 쓰는 방식 자체가 주제가 다른 여러 일을 오갈 때 무너지도록 되어 있다. 그런데 한 가지 일만 열심히 하는 사람보다는 이 일도 저 일도 조금씩 해야 하는 사람들이 훨씬 더 많을 것이다.
AI는 매번 기억을 잃고 시작한다
지금의 AI 도구는 대체로 대화가 끝나거나 작업 세션이 바뀌면 이전 대화나 세션의 맥락을 다음으로 들고 가지 못한다. 새 세션을 열면 백지에서 다시 시작한다. 사람으로 치면 매일 아침 어제 일을 깨끗이 잊은 채 출근하는 동료와 같다. 뭔가 일을 잘하는것 처럼 보이기는 한데, 매번 처음부터 설명해줘야 한다면 답답할 수밖에 없다.
그래서 요즘 도구들은 '규칙 파일'이라는 장치를 둔다. 어떤 도구의 설정 파일이든 이름만 다를 뿐 하는 일은 같다. 프로젝트 폴더에 지켜야 할 규칙을 적어두면 AI가 일을 시작할 때 그 파일을 가장 먼저 읽는다. 매번 잊는 동료의 책상에, 출근하면 제일 먼저 읽을 업무 수칙을 붙여두는 셈이다.
이 방식은 프로젝트 하나만 깊게 팔 때 훌륭하게 작동한다. 규칙이 한곳에 모여 있고, 그 프로젝트를 열 때마다 빠짐없이 적용되니 안정적이다.
문제는 '하나'라는 전제다
안타깝게도 우리가 회사에서 하는 일은 대체로 프로젝트 하나로 끝나지 않는다. 아침에는 쇼핑몰 서비스의 버그를 잡고, 점심에는 사내 대시보드 기획을 손보고, 오후에는 고객 문의 데이터를 분석하고, 저녁에는 블로그 글을 쓴다. 하루에도 성격이 전혀 다른 일을 네다섯 개씩 오간다. 일이 단순한 경우에는 대체로 AI까지 쓸 필요도 없다.
규칙 파일은 '이 프로젝트 폴더 안'에서만 작동한다. 폴더를 벗어나는 순간 어제 그 프로젝트에서 쌓아둔 맥락은 따라오지 않는다. 더 곤란한 건 따로 있다. 내가 어떤 말투를 원하는지, 어떤 원칙으로 일하는지, 지난번에 하지 말라고 했던 실수가 무엇인지. 이런 정보는 애초에 어느 프로젝트에도 속하지 않는다. 그래서 결국 어디에도 안 적히고, 매번 다시 설명하게 된다.
규칙을 더 열심히 쓰는 게 답이 아니다
많은 사람이 이 문제를 만나면 규칙 파일을 점점 두껍게 만든다. 이것도 적고 저것도 적다 보면 수백 줄이 된다. 그런데 두꺼워질수록 오히려 두 가지 문제가 커진다.
첫째, AI는 일을 시작할 때마다 그 두꺼운 규칙을 통째로 읽는다. 그중 대부분은 지금 하는 일과 상관없는 내용이다. 상관없는 규칙 백 줄을 읽느라 정작 지금 필요한 세 줄이 묻힌다. 사람도 매뉴얼이 두꺼울수록 정작 중요한 항목을 놓치지 않는가.
둘째, 프로젝트마다 규칙 파일을 따로 두면 공통된 내용이 파일마다 중복된다. 내 말투, 내 원칙 같은 것이 파일 여기저기에 복사된다. 하나를 바꾸면 나머지를 전부 찾아 고쳐야 하고, 어느 하나를 빠뜨리면 그때부터 AI는 프로젝트마다 다른 지침을 따른다.
기억을 흩뿌린다는 접근
내가 오랫동안 수십 개의 프로젝트를 하나의 AI로 다루면서 정착한 방식은 정반대다. 규칙을 한 파일에 모으지 않는다. 대신 잘게 쪼개서 '기억'으로 흩뿌려두고, AI가 지금 하는 일과 관련된 조각만 그때그때 꺼내오게 한다.
사람의 기억과 비슷하다. 우리는 아는 모든 것을 매 순간 머릿속에 펼쳐두고 살지 않는다. 지금 마주한 상황과 관련된 것만 자연스럽게 떠오른다. 집중해 F1 트랙에서 운전 시뮬레이션을 할 때 갑자기 지난 주 방송에 나왔던 1분 자취 요리 레시피가 떠오르지 않는 게 오히려 정상이다.
이 방식으로 바꾸고 나서 어제 잘하던 AI가 오늘 헛소리하는 일이 확연히 줄었다. 프로젝트를 아무리 옮겨 다녀도 그 일에 필요한 기억이 알아서 따라오고, 나에 대한 정보는 어느 일을 하든 항상 함께한다.
이 시리즈에서는 그 구체적인 방법을 다섯 편에 걸쳐 풀어보려 한다. 다음 편에서는 왜 한 파일에 몰아넣으면 안 되는지를 저장 방식의 관점에서 조금 더 깊이 들여다보려고 한다.