AI 암호 연구
Claude Mythos Preview가 HAWK·7라운드 AES 공격을 개선했습니다
Anthropic 공식 연구를 기준으로 두 공격의 성과와 현재 운영 시스템에 직접 영향이 없는 이유를 정리합니다.
이 글에서 다룰 내용
HAWK 공격의 의미, 7라운드 AES의 정확한 범위, AI 암호 연구의 검증 과제
Claude Mythos Preview는 무엇을 보여줬을까
Claude Mythos Preview는 Anthropic이 제한적 프리뷰로 공개한 모델입니다. Anthropic 연구진은 이 모델을 다중 에이전트 실행 환경과 계산 도구에 연결해 암호 알고리즘의 수학적 약점을 찾는 데 사용했습니다.
이번에 특히 주목받은 대상은 HAWK와 7라운드 AES입니다. 두 연구 모두 단순히 코드를 많이 작성한다고 해결되는 문제가 아니라, 복잡한 수학적 구조와 공격 조건을 함께 이해해야 한다는 공통점이 있습니다.
이 글에서 다룰 내용
Claude Mythos Preview의 역할, HAWK 분석의 의미, 7라운드 AES 연구가 실제 AES 보안에 미치는 영향, 포스트양자 암호와 AI 보안의 과제
HAWK에서 발견한 약점의 의미
HAWK는 NIST의 추가 디지털 서명 공모에서 3라운드 후보로 검토 중인 격자 기반 디지털 서명 방식입니다. 아직 실제 시스템에 배포되지 않은 포스트양자 암호 후보입니다.
Claude Mythos Preview는 HAWK 격자에서 기존에 활용되지 않았던 대칭 구조를 찾아 더 빠른 키 복구 공격으로 연결했습니다. Anthropic 발표에 따르면 약 60시간 동안 공격을 찾고 개발하고 검증했으며, 같은 보안 수준을 유지하려면 키 크기를 두 배로 늘려야 할 정도로 유효 키 강도를 낮췄습니다.
다만 이 공격은 여전히 계산량이 빠르게 늘어나는 지수 시간 공격입니다. HAWK에만 해당하며 다른 NIST 포스트양자 서명 후보나 격자 암호 전체가 함께 무너졌다는 뜻도 아닙니다.
이번 사례의 핵심은 AI가 사람이 놓치기 쉬운 수학적 연결을 탐색했다는 점입니다. NIST 후보는 실제 배포 전에 공개 검토로 약점을 찾는 과정에 있으므로, 이번 발견은 표준화 절차가 의도한 검증 기능과도 맞닿아 있습니다.
7라운드 AES가 뚫렸다는 말은 정확할까
AES는 데이터를 여러 번 변환하는 라운드 구조를 사용합니다. 이번 연구의 비교 대상인 완전한 AES-128은 10라운드로 동작하지만, Claude가 개선한 공격은 그중 7라운드만 사용하는 변형을 대상으로 합니다.
따라서 7라운드 AES 연구는 실사용 AES 전체를 무력화한 결과가 아닙니다. 라운드 수를 줄인 축소형 암호를 분석해 구조적 여유와 공격 가능성을 측정하는 기초 연구에 가깝습니다.
Claude Mythos Preview는 기존 공격에서 필요했던 추측 하나를 없애는 이른바 Möbius Bridge 방식을 제안했습니다. Anthropic은 계산 방식에 따라 기존 최선의 공격보다 200~800배 빠른 결과라고 설명했습니다.
이 공격은 공격자가 매우 많은 선택 평문을 요청할 수 있다는 가정 아래에서도 실용적이지 않습니다. 그러므로 “AES가 깨졌다”는 표현보다 AES의 축소형을 분석하는 기존 연구를 개선했다고 설명하는 편이 정확합니다.
AI가 암호 알고리즘 연구를 바꾸는 방식
HAWK 연구에서는 한 명의 Anthropic 연구자가 Claude와 협업했고, 여러 작업 에이전트가 문헌 조사와 계산 실험을 수행했습니다. 사람의 개입은 주로 아이디어 관리와 계산 라이브러리 선택 같은 프로젝트 관리에 제한됐다는 것이 Anthropic의 설명입니다.
7라운드 AES 연구에서는 Claude가 가설을 세우고 실험으로 반박하거나 확인하는 실행 틀을 사용했습니다. Anthropic은 모델이 핵심 아이디어를 거의 자율적으로 찾았지만, 이후 연구진이 수백 시간을 들여 정확성을 검증했다고 밝혔습니다.
하지만 모델이 작성한 설명이 그럴듯하다고 해서 암호학적 증명이 완성되는 것은 아닙니다. 수식의 작은 오류나 성립하지 않는 가정 하나만 있어도 공격 전체가 무효가 될 수 있습니다.
Anthropic은 ETH 취리히, 텔아비브대학교, 하이파대학교 연구진과 함께 CryptanalysisBench도 구축했습니다. 발견 속도는 AI가 높일 수 있지만 신뢰성은 재현과 검증 절차가 결정합니다.
포스트양자 암호와 AI 보안의 새로운 과제
이번 연구는 AI가 방어 도구이면서 동시에 공격 도구가 될 수 있다는 사실도 보여줍니다. 안전한 알고리즘을 미리 점검하는 데 활용할 수 있지만, 공개된 암호 체계의 약한 지점을 더 빠르게 탐색하는 데도 쓰일 수 있습니다.
이 때문에 AI 보안은 모델 자체의 안전성만 다루어서는 부족합니다. Anthropic은 HAWK 연구 결과를 6월에 설계자들과 공유하고, 공개 시점에는 NIST 메일링 리스트에도 조율된 방식으로 알렸다고 밝혔습니다.
두 주요 결과는 현재 운영 시스템에 직접 영향을 주지 않지만, 더 강력한 모델이 실사용 암호 체계에서 실제 약점을 찾을 경우 공개 범위와 대응 절차를 어떻게 정할지라는 질문을 남깁니다.
Claude Mythos Preview의 가치는 모든 암호를 자동으로 깨는 데 있지 않습니다. 전문가가 더 빠르고 넓게 가설을 탐색하도록 돕는 연구 파트너라는 점에서 의미를 찾는 것이 적절합니다.
결론
HAWK와 7라운드 AES에 관한 결과는 AI가 고난도 암호 연구에도 실질적인 단서를 제공할 수 있음을 보여줍니다. 동시에 축소 라운드 연구나 제한된 조건의 약점을 실제 시스템 전체의 붕괴로 과장해서는 안 됩니다.
앞으로 중요한 것은 Anthropic 같은 개발사의 발표 자체보다 독립적인 재현과 공개 검증입니다. AI의 제안을 암호학자가 엄밀하게 확인하는 협업 체계가 자리 잡을 때, 포스트양자 암호와 AI 보안도 한 단계 더 발전할 수 있습니다.
한 줄 요약: Claude Mythos Preview의 성과는 암호를 완전히 깼다는 선언이 아니라, AI가 암호학자의 발견과 검증을 가속할 수 있다는 신호입니다.
