AI 에이전트 성능 평가
AI가 문서를 읽는 데서 끝나지 않고, 결과물까지 만들었는지 봅니다
구글 딥마인드와 Artificial Analysis가 MKA 벤치마크를 공개했습니다. 복잡한 시각 자료를 해석해 문서·슬라이드·스프레드시트를 완성하는 과정을 평가하며, 점수는 실제 업무 성과와 구분해 읽어야 합니다.
이 글에서 다룰 내용
MKA 공개 배경, 시각 문서 평가 과제, 200개 평가와 공개 예제, 채점 방식, 수치의 분모, 실무 도입 시 해석
MKA 공개, 새 모델보다 평가 방식에 주목합니다
MKA 벤치마크는 AI가 시각 자료를 읽고 실제 결과물을 만드는 과정을 평가합니다. 구글 딥마인드는 2026년 11월 10일 Artificial Analysis와 함께 MKA(Multimodal Knowledge Agent)를 공개했습니다.
이번 발표는 AI 에이전트의 업무 평가 방법 공개입니다. 같은 날 발표된 Gemini 4 Carbon의 출시 정보와 구분해 MKA의 과제와 채점 방법을 살펴보겠습니다.
멀티모달 AI가 도면이나 시각 자료를 이해한다고 해도, 이를 정확한 보고서로 정리하는 능력까지 보장되지는 않습니다. MKA는 이러한 결과물 제작 능력을 살펴보도록 설계됐습니다.
도면을 읽고 독립된 파일로 완성합니다
입력에는 복잡한 건축 도면, 공학 회로도, 여러 시각 자료가 포함됩니다. AI 에이전트는 여러 파일의 정보를 종합해 보고서·슬라이드·스프레드시트 같은 독립 파일을 만들어야 합니다.
단순히 이미지 속 글자를 추출하거나 OCR 결과에서 정답을 찾는 과제와는 다릅니다. 자료 사이의 관계를 파악하고 요청에 맞게 내용을 구성해 최종 파일에 반영하는 과정까지 평가합니다.
문서 자동화나 슬라이드 생성을 검토하는 팀이라면 이 차이가 중요합니다. 설명이 그럴듯한 답변과 실제로 검토해 사용할 수 있는 파일은 평가할 항목부터 달라지기 때문입니다.
비공개 200개 과제와 공개 예제 10개는 다릅니다
MKA는 10개 산업·83개 직업의 전문가와 함께 만든 200개 평가 과제로 구성됩니다. 숙련 전문가가 3~8시간에 수행하는 다단계 프로젝트의 난도를 반영했다는 설명입니다.
이는 AI도 같은 시간이 걸린다는 뜻이 아니며, 일반적인 생산성 개선 폭을 측정한 수치도 아닙니다. 실제 고객사의 기밀 파일을 수집한 평가라고 추정해서도 안 됩니다.
200개 비공개 평가 세트는 Artificial Analysis가 운영합니다. 훈련 데이터 유출과 검색을 통한 과제 발견 가능성을 줄이기 위해 비공개로 유지합니다.
별도로 Google 공식 Hugging Face에는 공개 예제 10개가 있습니다. 이를 비공개 200개 중 일부를 공개한 것이라고 단정하면 안 됩니다.
공개 예제는 과제 형식과 입력, 채점기준을 살펴보고 자신의 에이전트를 시험하는 용도입니다. 공식 README에 따르면 metadata.json에는 프롬프트·직무·입력 파일·목표가, rubrics.json에는 세부 채점기준이 담깁니다.
75 대 25는 점수가 아니라 채점 가중치입니다
각 과제는 현실적인 요청, 여러 입력 파일, 전문가 루브릭을 묶습니다. 루브릭은 평균 약 70개의 예·아니오 체크 항목으로 구성되며 사실 정확성 75%와 시각 디자인 25%의 가중치를 적용합니다.
여기서 75%는 모델이 받은 정확도 점수가 아닙니다. 사실 정확성을 얼마나 비중 있게 평가할지 정한 값이며 모든 회사가 따라야 할 의무 비율도 아닙니다.
Artificial Analysis는 기본적으로 통과해야 할 Regression 기준과 더 어려운 Climb 기준을 구분합니다. 대표 지표인 Climb WSR(Weighted Satisfaction Rate)은 어려운 기준의 가중 충족률입니다.
따라서 이를 전체 업무를 완료할 확률이나 모든 문항의 단순 정답률로 읽으면 안 됩니다. AI 성능 평가 결과를 볼 때는 숫자보다 먼저 무엇을 어떤 비중으로 채점했는지 확인해야 합니다.
96%가 가리키는 것은 채점의 일치율입니다
모델은 같은 오픈소스 에이전트 하네스인 Stirrup에서 도구·샌드박스·턴 예산을 맞춰 평가합니다. 공동 운영사는 코드 실행, 웹 검색, 웹 가져오기, 이미지 보기 등의 도구를 설명합니다.
결과물은 비Google 모델 기반 자동채점 에이전트가 검사합니다. 파일을 열고 페이지를 렌더링하며 스프레드시트 수식을 확인해 루브릭과 대조하는 방식입니다.
Google 발표에 나온 96%는 사람 전문가와 자동채점의 일치율입니다. 이를 AI가 수행한 업무의 성공 비율로 바꿔 읽으면 의미가 달라집니다.
이 수치는 채점 방식의 신뢰성을 살피는 정보입니다. 자동채점이 사람의 검토를 완전히 대체한다는 뜻으로 확대해서도 안 됩니다.
실무에서는 우리 팀의 입력과 결과물을 함께 봅니다
MKA가 주는 실무적 시사점은 AI의 말솜씨나 모델 순위만으로 도구를 고르지 말자는 데 있습니다. 우리 팀이 쓰는 시각 입력과 최종 결과물을 놓고 사실 오류, 수식, 디자인을 함께 확인하는 방향이 더 적절합니다.
다만 이는 일반적인 활용 권고이며 MKA가 보장하는 효과는 아닙니다. 벤치마크 점수만으로 고객의 생산성 향상, 비용 절감, 전문가 대체를 증명할 수는 없습니다.
공개 예제의 구조를 확인한 뒤 민감정보가 없는 샘플로 정확성, 결과물 형식, 실행비용을 별도 검증할 수 있습니다. 이 글에서는 공식 페이지의 업데이트 차이가 있는 모델 순위와 개별 점수, 비용 배수는 다루지 않습니다.
MKA는 어떤 자료를 읽고 어떤 파일을 만들었는지, 무엇을 틀렸는지 구체적으로 살펴보는 평가 구조를 제시합니다.
한 줄 요약: MKA는 시각 자료 기반 업무의 결과물을 평가하는 벤치마크이며, 점수는 채점기준과 한계를 함께 읽어야 합니다.
참고 출처
2026년 11월 10일 Google 공식 발표와 공동 운영사 Artificial Analysis의 평가 설명을 확인했습니다. 수치와 평가 조건은 각 기관의 설명 기준이며 직접 벤치마크를 실행한 결과가 아닙니다. Google 공식 공개 예제와 Google News RSS를 함께 확인했습니다.
감자나라 AI 강의보기 5,000 
