AI 안전성 평가 가이드
AI 안전성 점수, 무엇을 어떻게 측정했는지부터 봅니다
앤트로픽이 11월 13일 안전성 평가 설계·실행·보고 권고를 공개했습니다. 거절률만으로 안전을 판단하지 말고 다중 대화, 채점기 검증, 통계적 불확실성을 함께 살피라는 내용입니다.
이 글에서 다룰 내용
거절률과 적절한 응답률, 다중 대화 설계, 채점기 검증과 사전등록, 신뢰구간과 실무 적용
새 모델이 아니라, 안전성을 검증하는 방법입니다
앤트로픽이 2026년 11월 13일 공식 연구 글 ‘Building strong safety evaluations’를 공개했습니다. 2026년 11월 15일 KST 확인 기준이며 신규 제품이나 클로드 새 모델 출시가 아닌 AI 안전성 평가 방법론 가이드입니다.
능력평가가 “과제를 해냈는가”를 묻는다면, 안전평가는 “이 상황에서 피해 가능성과 심각도를 줄이는 적절한 행동을 했는가”를 묻습니다. 핵심 권고는 데이터 수집 전에 측정할 개념을 적고 자동 채점기를 사람 판단과 대조하며 모든 추정치의 불확실성을 보고하라는 것입니다.
거절률이 높으면 더 안전할까요?
위험한 요청을 차단하는 일은 중요하지만 정상적인 요청까지 막으면 유용한 도움도 사라집니다. 따라서 위험한 요청을 막는 성능과 정상 요청을 과잉 거절하는 비율을 함께 측정해야 합니다.
같은 지식이 유익하거나 해롭게 쓰이는 ‘이중용도’ 분야에서는 정당한 요청을 돕되 피해를 키우는 실행 세부는 제한하는 대응이 필요합니다. 심리적 위기에서도 일률적 거절보다는 공감과 적절한 사람 지원 안내가 평가 원칙이며 단순히 대화를 끊었다고 좋은 점수를 줄 수는 없습니다.
앤트로픽의 다중 대화 평가는 이를 ‘적절한 응답률’로 살핍니다. 위험 영역별 기준에 따라 대화 전체에서 적절하게 대응한 비율을 뜻하며 한 번이라도 부적절하게 답하면 그 대화 전체가 실패로 처리됩니다.
첫 답변이 아니라 대화의 흐름을 봅니다
처음에는 평범했던 질문도 대화가 이어지면서 의도가 달라질 수 있습니다. 앞선 맥락과 점진적인 변화를 놓치면 첫 답변은 안전해도 나중에는 부적절한 정보를 제공할 수 있어, 한 번의 문답만으로는 부족합니다.
공식 가이드에서는 전문가가 사용자 목표·어조·상황 등의 명세를 작성하고 첫 사용자 턴을 고정합니다. 이후 별도의 클로드가 대상 모델의 답변에 반응하며 후속 사용자 발화를 만들고 반복 실행한 대화는 채점 모델이 위험 영역별 평가 기준표인 ‘루브릭’으로 판단합니다.
여기서 사용자 시뮬레이션·대상 모델·채점 모델은 서로 다른 역할입니다. 실제로 관측된 상호작용을 바탕으로 사례를 구성하고 언어·도구·제품 화면·시스템 프롬프트도 확인하려는 배포 환경에 맞춰야 합니다.
자동 채점도 검증 대상입니다
자동 채점은 많은 대화를 살피는 데 유용하지만 채점기가 틀리거나 기준이 달라지면 결과도 흔들립니다. “전반적으로 안전한가”라는 큰 질문 하나보다, 좁고 명확한 예·아니요 질문으로 기준을 나누는 것이 공식 권고입니다.
사람에게는 자동 판정을 보여주지 않은 상태로 표본을 평가하게 해야 합니다. 이후 우연히 같은 답을 고를 가능성을 보정한 일치도 지표로 자동·사람 판정을 비교하고 사람끼리 얼마나 일치하는지도 기준으로 삼습니다.
전문가끼리도 판단이 크게 갈린다면 채점기만 고칠 문제가 아니라 측정 개념부터 다시 봐야 합니다. 채점기 장애가 난 항목은 조용히 점수를 매기거나 누락하지 말고 오류를 표시한 뒤 평가에서 제외해야 합니다.
점수 차이와 인과효과는 다릅니다
한 모델의 점수가 더 높게 나왔다는 관찰만으로 특정 조치가 안전성을 높였다고 말할 수는 없습니다. 원인과 결과를 주장하려면 같은 모델에서 특정 설정만 바꾸는 식으로, 한 번에 한 변수를 바꾸는 설계가 필요합니다.
‘사전등록’은 결과를 보기 전에 분석 계획을 적어 두는 절차입니다. 주요 지표·비교 대상·분석 구간·성능 저하로 판단할 임계값을 미리 정하고 계획을 바꿨다면 이유를 공개하라는 권고입니다.
반복 시행한 결과의 분포와 신뢰구간, 즉 추정치의 통계적 불확실성을 나타내는 범위도 함께 봐야 합니다. 두 모델을 같은 항목에 평가하는 ‘대응 비교’에서는 각 모델의 총점뿐 아니라 항목별 점수 차이의 신뢰구간을 계산합니다.
98%와 94%만 보고 우열을 정하면 안 됩니다
공식 예시에서 claude.ai의 로맨스 사기 다중 대화 평가상 적절한 응답률은 Opus 5가 98%, Opus 5.5가 94%였습니다. 하지만 차이가 통계적으로 유의하지 않아, 이 결과로 어느 모델이 더 낫다고 결론 내릴 수 없었습니다.
이는 특정 환경과 한 위험 영역의 평가 결과이지, 모델 전체의 안전성이 98% 또는 94%라는 뜻이 아닙니다. 하나의 대표 점수를 안전보장으로 확대하지 않는 것이 중요합니다.
재현 가능한 조건까지 남겨야 합니다
공식 가이드는 API의 원시 모델과 시스템 프롬프트가 적용된 claude.ai 결과를 구분합니다. 재현을 위해 모델 버전·샘플링 설정·프롬프트·채점기 버전·날짜를 기록하고, 서로 다른 채점기로 얻은 점수는 단순 비교하지 말라고 권고합니다.
평가 실행은 원칙적으로 인터넷이 차단된 격리 환경인 샌드박스와 실시간 감시를 권고하며 인터넷이 필요한 웹 검색 평가는 예외적으로 감시하며 진행합니다. 배포된 시스템의 심각한 결함을 발견했다면 개발사에 수정 시간을 준 뒤 책임 있게 공개해야 합니다.
일반 적용 제안: 점수보다 검증 절차부터
다음은 공식 가이드의 도입 사례가 아닌 일반 적용 제안입니다. 자체 서비스를 점검한다면 위험 요청과 정상 요청을 함께 준비하고 자동·사람 판정을 대조한 뒤 반복 결과와 신뢰구간을 보고하는 작은 평가부터 구성할 수 있습니다.
한 줄 요약: AI 안전성은 거절 횟수가 아니라, 상황에 맞는 대응을 얼마나 믿을 만한 절차로 검증했는지로 판단해야 합니다.
참고 출처
2026년 11월 13일 공개된 Anthropic 공식 가이드를 기준으로 작성했습니다. Google News RSS는 공식 출처명과 발행일을 교차 확인하는 보조 자료입니다.
