기억하는 AI (5) — 기억도 버리지 않으면 독이 된다

지금까지 기억 장치의 좋은 면을 이야기했다. 마지막 편에서는 반대쪽을 봐야 한다. 기억은 쌓기만 하고 관리하지 않으면 어느 순간 도움이 아니라 방해가 된다. 오래 써온 사람으로서 직접 겪은 세 가지 함정과 그 처방을 정리한다.

함정 하나, 색인이 비대해진다

기억이 좋다는 걸 알고 나면 자꾸 쌓게 된다. 그러다 보면 평소에 항상 읽히는 색인이 점점 길어진다. 앞에서 색인은 책상에 늘 올려두는 목록 한 장이라고 했다. 그런데 이 목록이 열 장, 스무 장이 되면 목록 자체가 책상을 뒤덮기 시작한다.

색인이 지나치게 커지면 AI가 그걸 다 훑지 못하고 일부만 보게 된다. 그러면 정작 필요한 기억이 목록 아래쪽에 있어 눈에 안 띈다. 좋으라고 쌓은 기억이 오히려 다른 기억을 가리는 것이다. 실제로 나도 색인이 어느 선을 넘자 목록의 일부만 읽혔다는 경고를 만난 적이 있다.

처방은 단순하다. 색인의 각 줄은 짧게 유지하고, 상세한 내용은 조각 파일로 내린다. 색인은 무엇이 있는지만 알려주는 역할이지 내용을 담는 곳이 아니다.

함정 둘, 낡은 기억이 거짓말을 한다

기억은 적어둔 그 순간의 사실이다. 그런데 세상은 바뀐다. 어떤 설정값이 바뀌고, 어떤 파일이 사라지고, 어떤 규칙이 폐기된다. 기억은 그대로 남아 있다. 그러면 AI는 이미 없어진 파일을 자신 있게 가리키고, 이미 폐기된 규칙을 충실히 따른다.

이게 특히 위험한 이유는 틀린 기억이 모르는 것보다 나쁘기 때문이다. 모르면 다시 확인하지만, 틀린 걸 안다고 믿으면 확인 없이 밀어붙인다.

처방은 두 가지다. 하나, 기억이 특정 파일이나 값을 가리킬 때는 그걸 근거로 삼기 전에 지금도 유효한지 한 번 확인하는 습관. 둘, 틀린 것으로 드러난 기억은 고치지 말고 지워버리는 결단. 어설프게 남겨두느니 없는 편이 낫다.

함정 셋, 저장은 되는데 불러오기가 안 된다

가장 흔하고 가장 알아채기 어려운 함정이다. 분명히 기억을 적어뒀는데 정작 필요한 순간에 AI가 그걸 꺼내오지 않는다. 기억은 거기 있는데 없는 것과 다름없다.

원인은 대개 앞에서 말한 한 줄 설명이 부실해서다. 설명이 너무 뭉뚱그려져 있으면 AI가 지금 상황과 그 기억을 연결하지 못한다. "결제 메모"라고만 적힌 기억은 환불 문제를 다룰 때 불러와지지 않는다.

처방은 3편의 원칙으로 돌아가는 것이다. 설명에는 그 기억이 필요해질 상황의 구체적인 단어를 심는다. 불러오기가 안 되는 기억을 발견하면 내용을 고치기 전에 먼저 설명 한 줄부터 다시 쓴다.

정리하는 습관이 전부다

세 함정의 처방을 한 줄로 요약하면 이렇다. 쌓는 만큼 버리고 다듬어라.

기억은 자산이면서 동시에 부채다. 잘 관리하면 매일 이자를 주는 자산이 되고, 방치하면 잘못된 판단을 부르는 부채가 된다. 이 둘을 가르는 건 거창한 기술이 아니라 가끔 들여다보고 정리하는 사소한 습관이다.

다섯 편에 걸쳐 여러 일을 오가는 사람이 AI에게 기억을 만들어주는 법을 이야기했다. 규칙을 한 파일에 몰지 말 것, 잘게 쪼개 흩뿌릴 것, 잘 찾게 적을 것, 그리고 꾸준히 정리할 것. 이 네 가지면 충분하다. 어제 잘하던 AI가 오늘도 잘하게 만드는 일은 생각보다 거창하지 않다.