기억은 저장보다 배치의 문제 — Letta/MemGPT AI 기억 설계

"AI 기억의 첫 질문은 '얼마나 많이 저장할까'가 아니라 '어디에 둘까'다. 무한 기억이 아니라 제한된 현재 컨텍스트를 잘 관리하는 것이 목표."

3가지 기억 레이어 구조

핵심 문제

챗봇은 대화 안에서 똑똑하다. 장기 프로젝트에서는 매번 처음부터.

단발 질문에는 LLM이 충분히 잘 대답한다. 하지만 며칠, 몇 주에 걸친 프로젝트에서 AI는 이전 맥락을 기억하지 못한다. 매 대화마다 배경을 다시 설명해야 한다.

MemGPT의 아이디어: 운영체제가 메인 메모리와 디스크를 관리하듯, AI가 컨텍스트 창을 능동적으로 관리한다. 지금 당장 필요한 것은 앞에, 나머지는 검색 가능한 저장소로 스왑한다.

기억 레이어 상세

작업 기억
(memory block)

항상 컨텍스트 창 앞에 올라와 있어야 하는 기억. 프로젝트의 현재 방향·원칙·제약처럼 매 응답마다 전제가 되는 정보.

예: "지금 책은 기술 튜토리얼이 아니다 — 의사결정 과정을 담는다"

장기 기억
(archival memory)

필요할 때 검색해서 꺼내오는 기억. 모든 판단을 항상 보여줄 필요는 없지만, 물어보면 바로 꺼낼 수 있어야 하는 것.

예: "어떤 프레임워크를 왜 보류했는지 — 날짜와 이유 포함"

원본 자료
(context hierarchy)

기억으로 요약할 수 없는 원문 자료. 논문·공식 문서·PRD처럼 필요 시 직접 참조해야 하는 것. 기억이 아닌 자료 저장소.

예: LlamaIndex 공식 문서, 사내 PRD v2.3, 계약서 원문

적용 사례

Hermes는 이 기억 레이어 아키텍처를 개인 작업 비서에 적용한 이름이다.

작업 기억

선호 & 현재 방향

지금 프로젝트의 방향, 작업 스타일 선호, 반복하지 말아야 할 원칙.

장기 기억

실패 패턴 & 판단 이력

시도했다 실패한 접근법, 보류한 아이디어와 이유, 이전 의사결정 맥락.

장기 기억

프로젝트 상태

각 프로젝트의 현재 단계, 마지막 진행 지점, 다음 행동 항목.

설계 원칙

기억 후보 제안: 건강·투자·법률 정보는 AI가 자동으로 기억하지 않는다. 기억할 가치가 있다고 판단되면 사용자에게 제안한다.

사용자 승인: 기억 저장은 명시적 승인 후에만 진행한다. "이것을 기억해도 될까요?" 단계가 항상 있다.

수정/삭제 가능: 저장된 기억은 언제든 사용자가 수정하거나 삭제할 수 있어야 한다. 블랙박스가 되면 안 된다.

사용 로그: 어떤 기억이 언제 어떤 응답에 사용됐는지 추적 가능해야 한다.

MVP: 승인 가능한 기억 카드 시스템. 기억 후보를 카드로 보여주고, 사용자가 수락·거절·수정할 수 있는 인터페이스부터 시작한다.