AI 벤치마크 실전
같은 GPT-5.6, 두 API 설정으로 ARC-AGI-3 점수가 3배 달라졌습니다
OpenAI 공식 RSS는 추론 유지와 컴팩션이 GPT-5.6의 ARC-AGI-3 점수와 효율을 높였다고 밝혔습니다.
이 글에서 다룰 내용
공식 발표에서 확인된 사실, 추론 유지의 역할, 컴팩션의 의미, 실제 API 운영 점검 포인트
같은 GPT-5.6인데 왜 점수가 달라졌을까
OpenAI의 GPT-5.6이 ARC-AGI-3 평가에서 눈에 띄는 결과를 보여줬습니다. 흥미로운 부분은 모델 자체를 바꾸지 않았는데도 두 가지 API 설정을 조정하자 점수가 약 3배 높아졌다는 점입니다.
OpenAI 공식 RSS에서 직접 확인되는 범위는 명확합니다. 추론을 유지하고 컴팩션을 활성화한 두 설정이 GPT-5.6의 ARC-AGI-3 점수와 효율을 높였다는 내용입니다. 공식 원문은 이번 검증 환경에서 HTTP 403을 반환했기 때문에, 세부 파라미터명이나 추가 수치는 임의로 확장하지 않습니다.
이 글에서 다룰 내용
ARC-AGI-3 점수가 달라진 이유, 추론 유지의 역할, 컴팩션이 필요한 이유, 실제 API 운영 시 확인할 사항
보통 AI 모델의 성능은 모델 크기나 학습 데이터로만 결정된다고 생각하기 쉽습니다. 하지만 여러 단계에 걸쳐 문제를 풀어야 하는 작업에서는 모델이 앞서 세운 계획과 판단 근거를 얼마나 안정적으로 이어 가는지도 중요합니다.
ARC-AGI-3처럼 관찰하고 행동한 뒤 결과를 다시 해석해야 하는 AI 벤치마크에서는 이 차이가 더욱 커집니다. 매 단계가 독립적인 질문이 아니라 이전 행동과 연결된 연속 작업이기 때문입니다.
첫 번째 설정, 추론 유지를 끊지 않기
첫 번째 핵심은 추론 유지입니다. GPT-5.6이 이전 단계에서 생성한 판단 과정과 작업 상태를 다음 요청에서도 활용할 수 있도록 연결하는 방식입니다.
모델이 첫 번째 요청에서 목표를 분석하고 전략을 세웠더라도 다음 요청에 필요한 정보가 제대로 전달되지 않으면 사실상 처음부터 다시 생각해야 합니다. 이 과정이 반복되면 이미 확인한 규칙을 잊거나 앞선 판단과 모순되는 행동을 선택할 가능성이 커집니다.
반대로 이전 응답과 추론 상태를 이어 주면 모델은 “무엇을 시도했고, 왜 실패했으며, 다음에는 무엇을 바꿔야 하는가”를 연속적으로 판단할 수 있습니다. 사람으로 치면 문제를 풀다가 매번 기억을 지우는 대신 메모를 보면서 다음 단계를 진행하는 셈입니다.
중요한 점은 대화 문장을 많이 붙여 넣는 것과 추론 상태를 유지하는 일을 같은 것으로 단정할 수 없다는 것입니다. 이번 공식 RSS가 확인한 핵심은 추론 유지의 효과이며, 실제 적용에서는 사용하는 API 문서에서 지원 방식과 파라미터를 다시 확인해야 합니다.
두 번째 설정, 컴팩션으로 맥락을 정리하기
추론을 계속 보존하면 또 다른 문제가 생깁니다. 요청이 반복될수록 입력 문맥이 길어지고 불필요한 기록까지 쌓인다는 점입니다.
여기서 필요한 것이 컴팩션입니다. 컴팩션은 지금까지의 모든 내용을 무작정 삭제하는 기능이 아니라, 다음 판단에 필요한 상태를 남기면서 긴 작업 기록을 압축하는 방식입니다.
예를 들어 이미 실패가 확인된 세부 행동을 매번 원문 그대로 전달할 필요는 없습니다. 대신 실패 원인, 현재까지 발견한 규칙, 남아 있는 목표처럼 의사결정에 필요한 정보만 보존하면 됩니다.
추론 유지가 기억을 이어 주는 장치라면, 컴팩션은 그 기억을 사용할 수 있는 크기로 정리하는 장치라고 이해하면 쉽습니다. 두 설정 중 하나만 적용하면 장기 작업에서 효과가 제한될 수 있습니다.
추론만 계속 쌓으면 문맥이 지나치게 길어지고 비용과 지연 시간이 늘어납니다. 반대로 지나치게 공격적으로 압축하면 중요한 단서가 사라져 모델이 같은 실수를 반복할 수 있습니다.
ARC-AGI-3에서 차이가 커진 이유
ARC-AGI-3 결과는 단일 응답 점수만 보는 것보다 연속적인 추론 상태를 어떻게 다루는지가 중요할 수 있음을 보여줍니다. 다만 이번 글은 OpenAI 공식 RSS에서 확인한 점수 개선과 두 설정의 역할에 초점을 맞춥니다.
이런 구조에서는 한 번의 뛰어난 답변보다 여러 단계에서 일관된 추론을 유지하는 능력이 중요합니다. 초반에 발견한 규칙을 잊지 않고, 실패한 시도를 구분하며, 남은 기회에 맞춰 행동을 바꿔야 하기 때문입니다.
따라서 점수 3배라는 결과를 단순히 “GPT-5.6의 지능이 갑자기 3배 높아졌다”라고 해석하면 곤란합니다. 같은 모델의 잠재력을 API 환경이 얼마나 안정적으로 끌어냈는지를 보여주는 사례에 가깝습니다.
평가 결과를 비교할 때도 모델 이름만 봐서는 부족합니다. 사용한 프롬프트, 도구 호출 구조, 최대 작업 단계, 추론 상태 전달 방식, 컴팩션 기준까지 함께 확인해야 공정한 비교가 가능합니다.
실제 API 설정에서 확인할 부분
OpenAI API로 장기 작업을 구성한다면 우선 이전 응답이 다음 요청과 제대로 연결되는지 확인해야 합니다. 각 요청을 완전히 독립적으로 보내고 있다면 모델은 앞선 전략을 충분히 활용하지 못할 수 있습니다.
컴팩션이 실행되는 시점도 중요합니다. 문맥이 한계에 가까워진 뒤 급하게 정리하기보다 일정한 기준을 정하고, 압축 이후에도 핵심 목표와 현재 상태가 보존됐는지 검증하는 편이 안전합니다.
점수만 확인하지 말고 토큰 사용량과 응답 시간도 함께 기록하는 것이 좋습니다. 성능이 높아졌더라도 비용이 지나치게 증가하거나 처리 시간이 길어지면 실제 서비스에는 맞지 않을 수 있습니다.
특히 에이전트형 서비스를 운영한다면 정확도, 비용, 지연 시간, 작업 완료율을 한 묶음으로 측정해야 합니다. 이것이 실험용 설정과 운영 가능한 설정을 구분하는 기준이 됩니다.
모델 성능만큼 실행 설계가 중요합니다
이번 사례가 전하는 메시지는 분명합니다. 최신 모델을 선택하는 것만으로 최고의 결과가 자동으로 나오지는 않습니다.
GPT-5.6도 이전 판단이 매번 끊기면 같은 조건의 연속 작업에서 결과가 달라질 수 있습니다. OpenAI 발표처럼 추론 유지와 컴팩션을 함께 검토하면 같은 모델의 실행 조건을 더 일관되게 비교할 수 있습니다.
앞으로 AI 벤치마크를 볼 때는 점수와 모델 이름뿐 아니라 어떤 API 설정으로 평가했는지 함께 살펴봐야 합니다. 모델의 능력과 그 능력을 끌어내는 실행 설계는 이제 분리해서 보기 어려운 요소가 됐습니다.
한 줄 요약: ARC-AGI-3 점수 3배 차이는 GPT-5.6의 추론을 계속 이어 주고, 컴팩션으로 문맥을 정리한 API 설계에서 만들어졌습니다.
