멀티 에이전트 벤치마크
AgentRadio는 모델 크기보다 실행 중 협업 구조의 힘을 보여줍니다
VentureBeat가 소개한 연구에서 AgentRadio 기반 Claude Code 에이전트 4개가 SWE-Atlas QnA 124개 과제에서 62.1%를 기록해 단일 Claude Opus 4.8의 57.2%를 웃돌았습니다.
이 글에서 다룰 내용
AgentRadio의 비동기 협업 구조, 124개 과제의 비교 조건, 비용과 실무 적용 한계
AgentRadio가 보여준 것은 무엇일까요?
AgentRadio는 하나의 거대한 모델이 모든 문제를 처리하도록 맡기기보다, 여러 AI 에이전트가 서로 정보를 주고받으며 답을 만드는 방식을 시험합니다. 이번 결과에서 눈에 띄는 부분은 AI 에이전트 4개로 구성된 협업 시스템이 특정 조건에서 Claude Opus 4.8 단일 에이전트의 성과를 넘어섰다는 점입니다.
여기서 중요한 표현은 ‘특정 조건’입니다. 이 결과를 Claude Opus 4.8보다 각각 더 뛰어난 모델 4개가 등장했다는 의미로 받아들이면 곤란합니다.
AgentRadio는 기존 코딩 에이전트 하네스에 붙이는 비동기 메시지 계층입니다. create_thread, send_message, wait_for_mention이라는 세 가지 기본 기능으로 작업 중인 에이전트가 서로의 발견을 실시간으로 전달하고 수동적으로 인지하게 합니다.
한 에이전트가 중요한 로그나 반례를 찾으면 다른 에이전트가 다음 작업 단계에서 이를 반영할 수 있습니다. 연구진은 이 구조를 passive awareness, 수동적 인지라고 설명합니다.
비교가 이뤄진 핵심 조건
이번 비교의 중심에는 SWE-Atlas QnA가 있습니다. 이는 단순한 상식 퀴즈가 아니라 소프트웨어 저장소와 코드 문맥을 이해하고, 필요한 정보를 찾아 질문에 답하는 능력을 살펴보는 평가입니다.
코딩 문제는 정답을 알고 있는지만으로 해결되지 않습니다. 어느 파일을 확인해야 하는지 판단하고, 함수 사이의 관계를 추적하며, 찾은 근거가 질문과 실제로 연결되는지 검증해야 합니다.
AgentRadio에서는 이 탐색 과정에 여러 에이전트를 투입합니다. 중요한 차이는 최종 검토 단계에서만 결과를 합치는 것이 아니라, 실행 도중에도 발견과 반례를 비동기로 공유한다는 점입니다.
또 하나의 조건은 Claude Code를 작업 인터페이스로 활용했다는 점입니다. Claude Code는 저장소 탐색, 파일 확인, 코드 검색 같은 작업을 수행할 수 있게 해주지만, 그 자체가 평가 결과를 자동으로 보장하지는 않습니다.
연구진은 SWE-Atlas QnA의 124개 과제에서 Claude Opus 4.6과 DeepSeek V4 Pro를 기반 모델로 사용했습니다. 결국 성과를 만든 것은 도구 하나가 아니라 다음 조건의 조합으로 볼 수 있습니다.
- 평가 대상이 저장소 탐색과 근거 수집이 중요한 SWE-Atlas QnA였다는 점
- 하나가 아닌 4개의 AI 에이전트가 병렬로 문제를 살폈다는 점
- 에이전트 사이에 발견한 정보를 전달하는 통신 구조가 있었다는 점
- 탐색 결과를 그대로 나열하지 않고 검토와 통합 과정을 거쳤다는 점
- Claude Code를 통해 실제 코드 문맥에 접근할 수 있었다는 점
왜 4개의 에이전트가 유리했을까요?
첫 번째 이유는 탐색 범위가 넓어지기 때문입니다. 단일 코딩 에이전트는 초기에 잘못된 파일을 선택하면 이후 추론도 같은 방향으로 흘러갈 가능성이 큽니다.
반면 4개의 에이전트가 서로 다른 경로를 조사하면 한쪽의 실수를 다른 쪽이 발견할 수 있습니다. 이는 단순히 같은 답을 네 번 생성하는 것과 다릅니다.
두 번째 이유는 역할 분담입니다. 코드 검색, 문서 확인, 가설 수립, 반례 검토를 한 에이전트가 차례로 수행하면 앞서 세운 판단에 끌려가기 쉽습니다.
AgentRadio 방식의 AI 에이전트 협업에서는 각 역할을 분리해 이런 편향을 줄일 수 있습니다. 특히 근거가 저장소 여러 곳에 흩어진 질문일수록 병렬 탐색의 장점이 커집니다.
세 번째 이유는 검증입니다. 먼저 답을 찾은 에이전트의 결과를 다른 에이전트가 반박하거나 보완하면, 그럴듯하지만 근거가 약한 답변을 걸러낼 가능성이 높아집니다.
Claude Opus 4.8을 넘었다는 말의 정확한 의미
벤치마크 결과를 볼 때는 모델과 시스템을 구분해야 합니다. Claude Opus 4.8 단일 에이전트와 AgentRadio의 4개 에이전트 시스템은 투입되는 추론 횟수와 탐색 경로가 같지 않을 수 있습니다.
따라서 이번 결과는 “4개 에이전트 각각이 Claude Opus 4.8보다 똑똑하다”는 선언이 아닙니다. 연구진의 실험에서 단일 Claude Code·Claude Opus 4.6은 32.3%, AgentRadio를 적용한 4개 에이전트는 62.1%를 기록했습니다. 단일 Claude Opus 4.8의 57.2%보다 높았다는 특정 벤치마크 결과로 해석하는 편이 정확합니다.
비용과 실행 시간도 함께 봐야 합니다. VentureBeat가 소개한 연구 결과에서 단일 Claude Opus 작업의 평균 API 비용은 과제당 2.96달러였고, AgentRadio 전체 구성은 19.45달러였습니다. 에이전트 수를 늘리면 더 많은 호출과 연산이 필요하고, 서로 비슷한 조사만 반복하는 중복도 생길 수 있습니다.
공정한 비교를 위해서는 점수뿐 아니라 토큰 사용량, 소요 시간, 재시도 횟수, 에이전트별 모델, 통합 방식까지 확인해야 합니다. 점수 하나만으로 모든 코딩 작업에서 우열이 결정됐다고 말하기는 어렵습니다.
실무에서 멀티 에이전트가 유용한 작업
AgentRadio의 결과는 코딩 에이전트를 무조건 여러 개 실행하라는 뜻이 아닙니다. 짧은 코드 수정이나 위치가 명확한 오류라면 단일 에이전트가 더 빠르고 경제적일 수 있습니다.
반대로 대규모 저장소 분석, 원인 후보가 많은 버그 조사, 여러 문서와 코드를 함께 확인해야 하는 작업에는 멀티 에이전트가 잘 맞습니다. 탐색 범위를 나누고, 마지막에 근거를 교차 검증하도록 설계하면 협업의 장점을 살릴 수 있습니다.
실무에서는 에이전트 수보다 역할 구분이 더 중요합니다. 네 개 모두에게 같은 지시를 반복하기보다 탐색 담당, 구현 담당, 테스트 담당, 검토 담당처럼 책임을 명확히 나누는 편이 효과적입니다.
결론
AgentRadio 벤치마크의 의미는 새로운 단일 모델이 Claude Opus 4.8을 완전히 이겼다는 데 있지 않습니다. SWE-Atlas QnA처럼 탐색과 검증이 중요한 환경에서는 4개의 AI 에이전트가 협업하는 시스템이 강력한 단일 에이전트를 넘어설 수 있다는 가능성을 보여준 데 있습니다.
앞으로 코딩 에이전트의 경쟁력은 모델 성능만으로 결정되지 않을 가능성이 큽니다. 어떤 도구를 연결하고, 역할을 어떻게 나누며, 발견한 정보를 어떤 방식으로 검증하고 합칠지가 실제 결과를 좌우할 수 있습니다.
한 줄 요약: AgentRadio의 승부처는 더 강한 모델이 아니라 Claude Code 환경에서 실행 중 발견을 공유한 4개 AI 에이전트의 비동기 협업 구조였습니다.
