AI 에이전트 메모리
NVIDIA NemoClaw가 보여준 기억하는 AI 비서의 설계법
NVIDIA의 공개 예제를 바탕으로 self model, 의무 원장, 사용자 교정, OpenShell을 결합해 기억과 판단, 실행 권한을 분리하는 방법을 정리합니다.
이 글에서 다룰 내용
대화 기록의 한계, self model과 의무 원장, 공식 평가 결과, OpenShell 기반 거버넌스
대화 기록만으로는 부족한 이유
AI 비서에게 지난 대화를 모두 저장하면 사용자를 잘 기억할 것처럼 보입니다. 하지만 대화 기록에는 확정된 결정, 취소된 요청, 일시적인 관심사, 오래된 정보가 뒤섞여 있습니다. 필요한 내용을 검색하더라도 서로 다른 시점의 정보를 연결하고 현재 상태를 판단하는 작업은 별도로 남습니다.
NVIDIA가 공개한 NVIDIA NemoClaw 사례는 이 문제를 ‘더 많이 저장하기’가 아니라 ‘기억을 구조화하기’로 접근합니다. 이를 위해 일정, 메시지, 결정, 프로젝트, 미처리 의무를 장기적으로 연결하는 Chief of Staff 형태의 AI 비서를 제시합니다.
이 글에서 다룰 내용
AI 에이전트 메모리의 구조, self model의 역할, 우선순위 판단 방식, 사용자 교정 절차, OpenShell과 에이전트 거버넌스
self model은 무엇을 기억할까
이 설계의 중심에는 self model이 있습니다. 이름만 보면 에이전트가 자기 자신을 인식하는 모델처럼 들리지만, 여기서는 사용자와 업무 환경을 이해하기 위한 사람이 읽을 수 있는 지식 계층에 가깝습니다.
self model은 사람, 조직, 프로젝트, 목표, 우선순위, 업무 습관 등을 구조화된 마크다운 페이지로 정리합니다. 같은 프로젝트를 서로 다른 이름으로 부르거나, 과거 결정이 나중에 수정됐을 때도 연결 관계와 출처를 따라갈 수 있도록 설계됩니다.
중요한 점은 원본 메시지를 self model로 대체하지 않는다는 것입니다. 원본은 증거, self model은 증거에서 도출한 지식으로 분리합니다. 답변이 틀렸을 때 원본 자료, 메모리 갱신, 검색, 최종 판단 중 어느 단계에서 문제가 생겼는지 추적하기 쉬워집니다.
지식과 판단을 따로 저장하는 구조
메모리 기반 에이전트에는 사실을 기억하는 능력뿐 아니라 “지금 무엇을 먼저 해야 하는가”를 판단하는 능력도 필요합니다. NVIDIA NemoClaw의 Chief of Staff 예시는 이 둘을 서로 다른 저장소로 나눕니다.
사람·프로젝트·선호·우선순위 같은 지식은 마크다운 기반 메모리에 저장합니다. 반면 처리해야 할 의무, 중요도 순위, 사용자 수정, 감사 이벤트는 SQLite 원장에 기록합니다. 이렇게 하면 원본 메시지에 임의로 읽음 표시나 분류 태그를 덧붙이지 않고도 에이전트의 판단을 보존할 수 있습니다.
흐름을 간단히 표현하면 다음과 같습니다.
- 증거에서 필요한 맥락을 찾습니다.
- 맥락을 바탕으로 self model을 갱신합니다.
- 의무 원장에서 처리할 일을 선별합니다.
- 정책과 권한을 확인한 뒤 행동을 제안합니다.
여기서 반드시 기억할 원칙은 맥락은 행동의 근거가 될 수 있지만 권한이 될 수는 없다는 것입니다. 상대방이 메신저 연락을 선호한다는 사실을 기억해도, 실제 메시지 전송에는 자격증명과 도구 권한, 실행 정책, 사용자 승인이 별도로 필요합니다.
긴급함보다 사용자 의도를 우선하기
메일이나 업무 요청에는 ‘긴급’이라는 표현이 자주 등장합니다. 그러나 요청자가 강조한 긴급성과 사용자에게 중요한 우선순위는 항상 일치하지 않습니다.
이 설계는 intent gate를 두어 사용자가 명시한 목표와 연결된 의무를 상위 단계에 배치합니다. 조용히 들어온 핵심 프로젝트 요청이 긴급하다고 표시된 단순 행정 업무보다 먼저 노출될 수 있는 이유입니다.
모델이 관계와 의미를 해석하더라도 목록 크기, 단계별 수용량, 넘친 항목의 이동, 정렬 순서는 결정론적 코드로 제한합니다. AI의 유연한 해석과 코드의 예측 가능한 통제를 결합한 셈입니다.
틀린 기억은 어떻게 바로잡을까
AI 에이전트 메모리는 유용한 판단뿐 아니라 잘못된 판단도 오래 보존할 수 있습니다. 따라서 좋은 기억 시스템에는 저장 기능만큼 수정과 삭제, 감사 기능이 중요합니다.
사용자가 특정 의무의 순위를 옮기거나 무시하면 그 변경은 추가 전용 감사 기록에 남습니다. 반복되는 교정 패턴은 읽고 편집할 수 있는 작은 선호 정책으로 정리됩니다. 모델 내부에 취향을 숨기는 대신 사용자가 직접 확인하고 고칠 수 있게 만드는 방식입니다.
이 구조는 에이전트 판단 → 사용자 교정 → 감사 이벤트 → 선호 정책 갱신이라는 순환을 만듭니다. 메모리 기반 에이전트가 사용자를 대신해 독단적으로 결정하는 것이 아니라, 교정을 통해 점차 더 적절한 판단을 하도록 돕습니다.
OpenShell이 기억과 행동의 경계를 지킨다
기억이 많아질수록 에이전트가 접근하는 정보와 수행할 수 있는 작업도 늘어납니다. 이때 필요한 것이 에이전트 거버넌스입니다.
NVIDIA NemoClaw는 NVIDIA OpenShell을 통해 에이전트를 샌드박스 안에서 실행합니다. OpenShell은 파일 시스템, 프로세스, 외부 네트워크, 모델 호출 경로를 정책에 따라 통제하며 관리형 추론이나 MCP 연결에 필요한 자격증명도 샌드박스 외부에 둡니다.
따라서 메모리나 검색 문서에 잘못된 지시가 섞이더라도 그것이 곧 실행 권한으로 이어지지는 않습니다. 기억은 판단을 돕고, 정책은 행동의 한계를 정합니다. 이것이 단순한 장기 기억 기능과 운영 가능한 AI 비서를 구분하는 핵심입니다.
공식 평가에서 확인된 변화
NVIDIA가 공개한 Agent Memory Benchmark는 186개 질문에서 agentic RAG 기준선과 self model을 비교했습니다. 전체 정확도는 82.8%에서 90.9%로 8.1%포인트 높아졌고, 어려운 질문 정확도는 67.7%에서 87.1%로 높아졌습니다.
시점별 판단 항목은 33.3%에서 66.7%로, 바뀐 사실 추적 항목은 60.0%에서 100%로 개선됐다고 NVIDIA는 설명합니다. 다만 이는 공개 예제와 해당 평가 조건의 결과이므로 모든 조직·업무·모델에서 같은 개선을 보장하는 수치로 일반화하면 안 됩니다.
잘 기억하는 AI보다 안전하게 기억하는 AI
AI 에이전트 메모리의 목표는 모든 대화를 무제한으로 쌓는 것이 아닙니다. 필요한 관계를 구조화하고, 출처를 남기며, 현재 우선순위에 맞는 맥락만 제한적으로 불러오는 것이 더 중요합니다.
NVIDIA NemoClaw의 설계는 self model, 의무 원장, 사용자 교정, OpenShell 실행 정책을 하나의 흐름으로 연결합니다. 덕분에 Chief of Staff형 비서는 과거를 기억하면서도 무엇을 근거로 판단했고 어디까지 행동할 수 있는지 설명할 수 있습니다.
결국 신뢰할 수 있는 AI 비서는 기억력이 좋은 에이전트가 아니라, 기억과 판단과 권한을 분리할 줄 아는 에이전트입니다.
한 줄 요약: NVIDIA NemoClaw는 구조화된 기억과 OpenShell 기반 통제를 결합해 맥락은 오래 유지하고 행동은 안전하게 제한합니다.
