AI 안전 연구
위험한 AI 지식을 끄고 켜는 모델 거버넌스가 시작됐습니다
Anthropic은 GRAM 예비 연구를 통해 이중용도 지식을 모듈 단위로 분리하고 제한하는 접근을 공개했습니다.
이 글에서 다룰 내용
이 글에서는 Anthropic GRAM 연구의 핵심, AI 보안 의미, 남은 한계를 공식 출처 기준으로 정리합니다.
AI 모델이 알고 있는 게 문제라고요?
생성형 AI가 점점 더 똑똑해지면서, 한 가지 불편한 질문이 자꾸 따라옵니다. “이 모델이 위험한 지식까지 학습해버리면 어떡하지?”
생각해보면 AI는 인터넷의 방대한 데이터를 학습합니다. 그 과정에서 생물학, 화학, 사이버 보안 같은 분야의 민감한 정보까지 흡수할 수 있죠.
이런 지식은 약을 만들 때도 쓰이지만, 무기나 해킹에도 악용될 수 있습니다. 이걸 이중용도 지식이라고 부릅니다.
과거의 접근법은 단순했습니다. 모델이 위험한 답변을 하지 않도록 “필터”를 씌우는 거죠.
하지만 근본적으로 모델 안에는 여전히 그 지식이 남아 있었습니다. 누군가 교묘한 질문으로 우회하면 결국 답이 튀어나올 수 있었습니다.
Anthropic은 여기서 한 발 더 나아갔습니다. 위험 지식에 접근하는 경로를 모듈 단위로 분리하고, 필요할 때 해당 모듈을 삭제하거나 비활성화하는 방향을 제시했습니다.
GRAM이 뭔데, 왜 혁신인가요
GRAM은 Gradient-Routed Auxiliary Modules의 줄임말입니다. Anthropic과 AE Studio 협력 연구진이 공개한 예비 연구로, 특정 이중용도 영역의 지식을 별도 보조 모듈로 라우팅하는 방식입니다.
기존의 안전 필터가 “입구에서 막는” 방식이라면, GRAM은 위험 지식이 들어 있는 서랍을 따로 만들고 그 서랍을 꺼낼 수 있게 하는 방식에 가깝습니다. 연구진은 바이러스학, 사이버보안, 핵물리, 특수 프로그래밍 언어를 실험 영역으로 삼았습니다.
중요한 건 모델 전체를 날려버리지 않는다는 점입니다.
공식 글에 따르면 해당 모듈을 삭제했을 때, 관련 능력은 애초에 그 데이터를 학습하지 않은 모델과 비슷한 수준으로 제거됐습니다. 동시에 일반 성능 저하는 관찰되지 않았다고 설명합니다. 모델 거버넌스 차원에서 이건 꽤 의미 있는 전환입니다.
기존에는 “이 모델이 위험하니 아예 배포하지 말자”는 식의 올인 결정이 많았습니다. GRAM이 발전하면 “특정 위험 지식만 제한하고 나머지 유용성은 유지하자”는 더 정밀한 선택지가 생깁니다. 안전과 유용성 사이의 절충이 조금 더 세밀해지는 셈입니다.
왜 지금 AI 보안이 화두인가요
최근 AI 업계 전반에 AI 안전에 대한 관심이 급격히 커지고 있습니다. 모델이 강력해질수록 악용 시 피해 규모도 커지기 때문입니다.
기업과 연구기관은 이제 모델을 잘 만드는 것뿐 아니라, 어떤 능력을 누구에게 허용할지 설명해야 합니다. 특히 바이러스학이나 사이버보안처럼 선의와 악용 가능성이 함께 있는 영역에서는 접근 제어가 중요해집니다.
이런 맥락에서 Anthropic의 접근은 시사하는 바가 큽니다. 이번 글은 GRAM이 아직 Anthropic의 실제 운영 모델에 적용된 기술이 아니며, 프론티어 모델 규모로 확장될지는 추가 검증이 필요하다고 선을 긋습니다.
그래도 방향성은 분명합니다. 위험한 답변을 사후 필터링하는 수준을 넘어, 모델 내부의 위험 지식 접근 자체를 더 구조적으로 다루려는 시도입니다. AI 보안이 개별 프롬프트 차단을 넘어 학습 구조와 배포 정책의 문제로 이동하고 있다는 신호입니다.
한계와 남은 과제
물론 GRAM이 완벽한 해결책은 아닙니다.
가장 큰 우려는 “정말 완벽하게 지식을 분리할 수 있느냐”는 질문입니다. Anthropic도 이 결과가 예비 단계이며, 위험 지식과 일반 지식이 너무 깊게 얽혀 있다면 깨끗하게 분리하기 어려울 수 있다고 설명합니다.
또 하나는 식별의 문제입니다. 어떤 지식이 “위험한 이중용도”인지 판단하는 기준 자체가 모호할 수 있습니다.
같은 정보가 맥락에 따라 유용할 수도, 위험할 수도 있기 때문입니다. 이 판단을 누가, 어떻게 내릴 것인지도 풀어야 할 숙제입니다.
그럼에도 불구하고 한 가지는 분명합니다. 모델 전체를 버리지 않고도 위험을 제어할 수 있는 길이 열렸다는 것.
AI가 더 강력해지는 시대에 AI 안전은 선택이 아니라 필수입니다. Anthropic이 보여준 GRAM 방식은 위험 지식을 더 정밀하게 통제하려는 기술적 출발점으로 볼 수 있습니다. 다만 공식 발표 범위처럼, 아직은 연구 단계의 가능성으로 보는 편이 안전합니다.
위험한 지식을 모듈처럼 끄고 켤 수 있다면, AI는 더 안전하면서도 더 유용해질 수 있습니다.
