AI 코딩 · 레거시 평가
오픈AI, COBOL 이전 평가 97.9% 발표: 레거시 AI 코딩에서 확인할 것
OpenAI가 2026년 10월 19일 학습 자료가 적은 언어의 코딩 평가를 발표했습니다. 97.9%는 더 높은 추론 노력의 COBOL 이전 평가 결과이며, 실제 운영 시스템의 성공 보장은 아닙니다.
이 글에서 다룰 내용
저자원 언어의 의미, MultiLangBench 평균 통과율, COBOL 이전 정확도와 비용의 조건, 동작 보존과 사람의 검증
새 모델 출시가 아니라, 코딩 능력을 나눠 본 평가입니다
오픈AI가 2026년 10월 19일 저자원 프로그래밍 언어의 AI 코딩 평가 결과를 공개했습니다. 아래 성능 수치는 오픈AI의 자체 평가 결과입니다. 이번에는 새 소프트웨어를 만드는 능력과 기존 동작을 지키는 능력을 나누어 측정했습니다.
제목의 97.9%는 눈길을 끌지만, 모든 COBOL 운영 시스템을 그 확률로 옮길 수 있다는 뜻은 아닙니다. 숫자를 읽을 때는 어떤 과제에서, 어떤 조건으로, 무엇을 성공으로 인정했는지 함께 살펴야 합니다.
저자원은 메모리가 적다는 뜻이 아닙니다
여기서 저자원은 작은 컴퓨터나 부족한 메모리를 가리키지 않습니다. Python이나 JavaScript에 비해 모델이 학습할 수 있는 코드와 문서가 적은 언어라는 의미이며, COBOL·Fortran·Visual Basic·OCaml 등이 해당합니다.
평가는 두 갈래입니다. MultiLangBench는 여러 언어로 새로운 프로그램을 구축하게 하고, 별도 COBOL 이전 평가는 기존 프로그램을 다른 언어로 바꾸면서 결과를 유지하는지 확인합니다. 두 점수는 같은 능력을 측정한 순위처럼 섞어 읽지 않아야 합니다.
MultiLangBench는 무엇을 만들게 했을까요?
MultiLangBench는 20개 프로그래밍 언어로 SQLite 호환 데이터베이스 엔진을 처음부터 구현하도록 합니다. 초기 데이터베이스와 SQL 쿼리를 받은 구현체가 수정된 데이터베이스를 만들면, 참조 SQLite로 내용이 예상과 일치하는지 검사합니다.
살펴보는 지표는 평균 테스트 통과율과 API 비용입니다. 오픈AI는 평가 구성과 테스트를 GitHub에 공개했지만, 이 점수가 완성된 상용 SQLite 전체와의 호환성을 보장하지는 않습니다.
최대 추론 노력 조건에서 GPT-6 Astra의 평균 테스트 통과율은 87.4%, GPT-5.6 Sol은 26.8%였습니다. GPT-6 Luna는 40.3%를 기록했고, 추정 API 비용은 GPT-5.6 Sol보다 약 78% 낮았습니다.
이를 모든 언어의 실무 생산성이 같은 비율로 향상됐다는 뜻으로 확대하면 안 됩니다. 비용 수치 역시 해당 평가 조건에서의 비교이지, 요금표 인하나 전체 개발 프로젝트 비용 절감을 의미하지 않습니다.
COBOL 이전 97.9%, 비용 감소와 조건을 구분합니다
별도 COBOL 이전 평가는 코드를 C++·Java·Kotlin·Python·Rust로 바꾸는 과제입니다. 관측 가능한 출력이 바이트 단위로 일치해야 하며, 모든 숨겨진 테스트를 통과해야 성공으로 인정합니다.
낮은 추론 노력에서 GPT-6.1 Sol의 정확도는 86.6%로, GPT-5.6 Sol의 5.4%보다 높았습니다. 같은 비교에서 API 비용은 39% 낮았고, 더 높은 추론 노력에서는 GPT-6.1 Sol의 정확도가 97.9%에 도달했습니다.
따라서 “정확도 97.9%이면서 비용도 39% 감소했다”라고 한 조건처럼 묶으면 부정확합니다. 높은 조건의 정확도와 낮은 조건의 비용 감소는 별도 결과이며, 97.9%도 이번 평가 범위의 성과로 읽어야 합니다.
실행 성공보다 동작 보존이 중요한 이유
원문은 COBOL의 고정소수점 연산을 예로 듭니다. 명시적인 반올림 요청이 없으면 초과 소수 자릿수를 버리는데, 이전한 코드가 이를 자동 반올림하면 실행 오류가 없어도 계산 결과는 달라질 수 있습니다.
이 사례에서 눈여겨볼 부분은 문법이 아니라 동작 보존입니다. 새 언어로 코드가 실행된다는 사실과, 기존 프로그램의 업무 규칙을 그대로 지켰다는 사실은 다릅니다. 원문도 실제 운영 소프트웨어에 적용하려면 업무 규칙과 의존성을 대상으로 전문가 검토와 테스트가 필요하다고 설명합니다.
레거시 현대화를 검토한다면 “오류 없이 돌아가나요?”에 그치지 않고 “예전과 같은 결과를 내나요?”를 별도 질문으로 두는 편이 좋습니다. 평가 점수를 실제 시스템의 합격 기준으로 곧바로 가져오기보다, 우리 코드에서 보존해야 할 결과부터 정리하자는 의미입니다.
사람이 확인할 범위는 작고 분명하게 잡습니다
다음은 공식 평가 결과와 구분한 실무 제안입니다. 처음부터 전체 시스템을 옮기기보다, 사람이 업무 규칙을 설명할 수 있는 작은 비핵심 부분을 골라 비교 테스트를 설계해볼 수 있습니다.
먼저 해당 코드의 입력·출력과 연결된 의존성을 정리합니다. 그다음 같은 입력을 기존 코드와 변환 코드에 넣고, 정상 사례뿐 아니라 빈 값이나 경계값에서도 결과가 일치하는지 확인하는 방식입니다.
차이가 발견되면 AI가 만든 설명만으로 정답을 결정하지 않는 편이 좋습니다. 기존 결과가 유지해야 할 업무 규칙인지, 별도로 수정할 문제인지 담당자가 구분하고 변경 이유를 기록하도록 합니다. 민감 데이터나 내부 코드는 승인 없이 외부 서비스에 업로드하지 않습니다.
이번 평가로 레거시 AI 코딩의 진전을 살펴볼 수 있습니다. 실제 적용 여부는 내 코드의 어떤 동작을, 어떤 테스트로 확인했는가를 기준으로 판단하는 편이 좋습니다.
한 줄 요약: COBOL 이전 97.9%는 평가 성과이며, 실무의 핵심은 조건을 구분해 읽고 기존 동작을 직접 검증하는 데 있습니다.
참고 출처
기준 발표일은 2026년 10월 19일입니다. 공식 원문은 직접 요청 시 HTTP 403이었으나, 같은 실행에서 본문 추출로 제목·발행일·평가 조건을 확인하고 공식 RSS와 대조했습니다. 평가 수치는 OpenAI 발표 기준이며 실무 성과 보장이 아닙니다.
감자나라 AI 강의보기 5,000 
