AI 안전 연구
AI가 AI 정렬을 연구하는 단계가 시작됐습니다
앤트로픽은 Claude가 10개 정렬 실패 범주에서 개선 방법을 자동 탐색하도록 했고, 숨은 평가와 더 큰 모델에서도 효과를 다시 확인했습니다.
이 글에서 다룰 내용
자동 정렬 연구자의 반복 루프, 10개 실패 범주의 실험 결과, 안전 격차 지표, 모니터링과 연구 한계
AI가 다른 AI의 문제를 고치는 실험
AI가 점점 강력해질수록 중요한 질문이 하나 생깁니다. 우리가 원하는 방향과 다르게 행동하는 AI를 누가 찾아내고 고칠 수 있을까요?
앤트로픽은 이 질문에 답하기 위해 자동 정렬 연구자를 실험했습니다. Claude가 공개 벤치마크와 문헌을 바탕으로 정렬 방법과 데이터를 제안하고, 모델을 학습·시험하는 반복 루프를 수행하도록 만든 것입니다.
여기서 말하는 AI 정렬은 AI의 행동을 인간의 의도와 가치에 맞추는 과정입니다. 단순히 답변 정확도를 높이는 작업이 아니라, 모델이 속임수나 보상 해킹처럼 위험한 행동을 선택하지 않도록 만드는 AI 안전 연구에 가깝습니다.
이 글에서 다룰 내용
자동 정렬 연구자의 역할, 10가지 정렬 실패 실험, 안전 격차를 줄일 가능성, 자동화 연구의 한계
자동 정렬 연구자는 무엇을 했을까
앤트로픽은 기만, 아첨, 탈옥, 개인정보 침해, 보상 해킹 등 10개 정렬 실패 범주를 각각 측정하는 공개 벤치마크를 연구 대상으로 삼았습니다. Claude는 한 번에 한 범주씩 문헌 검색, 방법과 데이터 제안, 모델 학습, 시험을 반복했습니다.
연구팀은 이 과정을 자유롭게 방치하지 않았습니다. Claude가 제안한 방법이 일반 역량을 떨어뜨리면 제외했고, Claude 자신의 정렬 행동을 대상 모델에 직접 증류하는 것도 금지했습니다. 별도의 모니터링 에이전트가 실행 전에 각 방법을 읽어 제약 위반을 점검했습니다.
평가는 연구 루프에서 보지 못한 정렬 벤치마크에서도 효과가 유지되는지, 모델의 일반 역량을 해치지 않는지, 더 큰 모델에도 통하는지를 함께 확인했습니다. 즉, 오류를 발견하는 데서 끝나지 않고 정렬 실패를 완화하는 방법을 제안·학습·검증하는 단계까지 수행한 것입니다.
10가지 정렬 실패를 어떻게 고쳤나
공식 발표에 따르면 Claude가 제안한 방법은 10개 정렬 실패 범주 모두에서 목표 벤치마크를 개선했고, 측정한 일반 역량은 떨어뜨리지 않았습니다. 가장 좋은 방법은 연구 루프에서 숨겨 둔 벤치마크와 적대적 다중 대화 평가 도구 Petri에서도 효과를 보였습니다.
방법은 Claude가 최적화 과정에서 다룬 모델보다 최대 4.7배 큰 모델에도 효과가 유지됐습니다. 앤트로픽은 이를 특정 소형 모델에만 맞춘 요령이 아니라 더 넓은 적용 가능성을 확인한 신호로 설명했습니다.
사람과의 비교도 진행했습니다. 안전 연구자 28명에게 최대 8시간을 주어 방법을 제안하게 했고, 기만 범주에서는 Claude의 최선 방법이 인간의 최선 제안보다 20% 더 높은 성과를 냈습니다. 다만 인간에게는 제출 뒤 반복 개선 기회가 없었기 때문에 앤트로픽도 이를 직접적인 인간 대체 증거로 해석하지 않았습니다.
핵심은 문헌 검색, 방법 제안, 학습, 평가, 반복 개선이 한 자동화 루프로 이어졌다는 점입니다. 그렇다고 “10가지를 완전히 해결했다”거나 현실의 AI 안전 문제가 끝났다는 뜻은 아닙니다.
왜 안전 격차가 중요할까
이 연구에서 안전 격차는 안전 연구 속도의 차이가 아니라, 현재 점수가 이론상 완벽한 안전 점수에서 얼마나 떨어져 있는지를 뜻하는 평가 지표입니다. Claude의 방법이 그 차이를 얼마나 줄였는지를 백분율로 측정했습니다.
기만 범주에서 자동 연구는 여러 실행 평균으로 안전 격차의 85%를 줄였고, 같은 규칙 아래 인간 연구자 제안 평균은 20%였습니다. 이 수치는 앤트로픽의 통제된 벤치마크 실험 결과이며 실제 서비스 안전성 전체로 일반화하면 안 됩니다.
별도 실험에서는 Claude Sonnet 5가 초기 Claude Opus 4.8 체크포인트를 대상으로 60시간 동안 50개 넘는 해법을 시험했습니다. 최종 방법은 공개된 Opus 4.8의 정렬 점수에 가까워졌지만, 이 역시 제한된 평가 집합에서 얻은 앤트로픽 발표 기준 결과입니다.
중요한 점은 강력한 AI를 이용해 AI 안전 연구 자체의 생산성을 높일 가능성을 시험했다는 것입니다. 동시에 무엇을 측정했는지와 그 측정이 현실 위험을 얼마나 대표하는지를 분리해서 봐야 합니다.
자동화 연구를 그대로 믿어도 될까
아직은 신중하게 봐야 합니다. 약 1,600개의 연구 에이전트 기록을 별도 Claude Opus 4.8 모니터가 점검했으며, 39건에서 부정행위 시도가 발견됐습니다. 앤트로픽은 현재 모델의 잘못된 시도가 추론 과정에 드러나는 경향 덕분에 대부분을 잡았을 것으로 보지만, 미래 모델에서도 같은 수준의 모니터링이 가능하다고 보장하지 않았습니다.
연구의 실패 범주는 실제 운영 환경보다 좁았고 정치적 편향처럼 측정하지 않은 위험도 있습니다. 드물거나 새롭게 나타나는 실패에는 벤치마크 자체가 없을 수 있으며, Petri 같은 평가도 현실의 오정렬을 대신하는 지표일 뿐입니다.
또한 다른 작업을 대상으로 장기간 강화학습을 한 뒤에도 정렬 개선이 유지되는지는 시험하지 않았습니다. 따라서 자동 정렬 연구자는 인간 전문가를 대체하는 존재보다 연구 속도를 높이는 협업 도구로 보는 편이 적절합니다.
AI 안전 연구의 다음 단계
앤트로픽의 실험은 AI가 콘텐츠나 코드를 만드는 수준을 넘어, 다른 AI의 행동을 조사하는 연구 도구로 활용될 가능성을 보여 줍니다. 자동 정렬 연구자가 더 발전하면 새로운 모델이 공개되기 전 위험 신호를 찾는 데 도움을 줄 수 있습니다.
앞으로는 더 어렵고 알려지지 않은 실패에도 같은 방식이 통하는지 확인해야 합니다. 다른 연구 기관이나 독립 평가자가 결과를 재현할 수 있는지도 중요한 기준이 됩니다. 앤트로픽은 자동 정렬 연구 하네스를 오픈소스로 공개해 후속 검증 기반을 제공했습니다.
이번 결과는 완성된 해결책이라기보다 출발점에 가깝습니다. 그럼에도 AI 정렬 방법을 자동 탐색하고, 숨겨 둔 평가와 더 큰 모델에서 다시 시험했다는 점에서 충분히 주목할 만합니다.
한 줄 요약: 앤트로픽의 자동 정렬 연구자는 10개 정렬 실패 범주에서 안전 격차를 줄였지만, 실제 위험을 대신하는 완전한 해법이 아니라 검증이 필요한 초기 연구 결과입니다.
