실시간 음성 AI
GPT-Live는 모델보다 전체 지연 경로를 다시 설계했습니다
OpenAI는 6개월 동안 모델 추론·맥락 관리·미디어 전송을 다시 설계해 풀듀플렉스 음성 AI를 구축했습니다.
이 글에서 다룰 내용
GPT-Live의 풀듀플렉스 구조, WebRTC와 WARP의 역할, 비동기 위임, 생산 환경 테스트 교훈
GPT-Live가 6개월 만에 등장할 수 있었던 이유
OpenAI가 공개한 GPT-Live 아키텍처에서 가장 눈에 띄는 부분은 개발 기간입니다. 자연스럽게 대화할 수 있는 실시간 음성 AI를 불과 6개월 만에 구축했다는 점인데요. 단순히 음성을 텍스트로 바꾼 뒤 답변을 읽어주는 수준이 아니라, 사람이 대화하는 흐름에 가까운 시스템을 목표로 했습니다.
기존 음성 서비스는 대체로 녹음, 음성 인식, 답변 생성, 음성 합성 단계를 차례로 처리합니다. 각 단계가 끝날 때까지 기다려야 하므로 짧은 지연이 계속 쌓이고, 실제 대화에서는 어색한 침묵으로 느껴질 수 있습니다.
GPT-Live는 이 과정을 하나의 긴 파이프라인으로만 다루지 않았습니다. OpenAI는 6개월 동안 모델 추론, 맥락 관리, 미디어 전송을 다시 설계했고, 음성 경로와 도구·추론 위임 경로를 분리했습니다. 사용자가 듣는 음성 흐름이 느린 도구 호출에 막히지 않도록 한 것이 핵심입니다.
이 글에서 다룰 내용
GPT-Live의 대화 방식, 풀듀플렉스 음성 구조, WebRTC WARP의 역할, 비동기 위임이 필요한 이유, 음성 에이전트 설계에서 얻을 수 있는 교훈
핵심은 풀듀플렉스 음성입니다
전화 통화를 떠올려 보면 이해하기 쉽습니다. 상대가 말하는 동안에도 우리는 “네”, “맞아요”처럼 반응할 수 있고, 필요한 순간에는 자연스럽게 말을 끊기도 합니다. 이러한 양방향 상호작용을 지원하는 것이 풀듀플렉스 음성입니다.
기존의 턴 기반 음성 챗봇은 사용자가 말을 완전히 끝냈다고 판단한 후 답변을 시작합니다. 반면 GPT-Live의 음성 모델은 입력을 들으면서 동시에 말할 수 있는 풀듀플렉스 구조입니다. 별도 턴 감지기를 오디오 경로에서 제거해 대화가 더 즉각적으로 이어지도록 설계했습니다.
이 구조에서는 단순한 모델 성능만큼 대화 상태 관리가 중요합니다. 지금 누가 말하고 있는지, 사용자가 말을 끝낸 것인지, 잠시 숨을 고르는 중인지, 기존 답변을 중단해야 하는지를 빠르게 판단해야 하기 때문입니다.
결국 좋은 음성 경험은 정답을 얼마나 잘 말하느냐만으로 결정되지 않습니다. 언제 말하고 언제 멈추는지가 자연스러워야 비로소 사람과 대화하는 느낌이 살아납니다.
WebRTC WARP로 연결 지연을 줄이다
실시간 대화에서는 몇백 밀리초의 차이도 크게 느껴집니다. 텍스트 채팅에서는 잠깐의 대기가 별문제가 아니지만, 음성 통화에서 응답이 늦어지면 서로 말이 겹치거나 대화가 끊긴 것처럼 느껴집니다.
GPT-Live의 실시간 오디오 전송 기반은 WebRTC입니다. OpenAI는 여기에 WARP, 즉 WebRTC Abridged Roundtrip Protocol을 설계해 세션 시작 절차를 줄였습니다. 공식 글에 따르면 WARP는 미디어와 데이터가 준비되기까지 필요한 네트워크 왕복을 6회에서 1회로 줄입니다.
네트워크 상태는 사용자마다 다릅니다. 패킷 손실과 연결 변화에 대응하는 전송 기반은 WebRTC이며, WARP의 역할은 시작 단계의 반복 핸드셰이크를 줄이는 데 가깝습니다. OpenAI는 Instant Connect도 함께 사용해 첫 미디어 패킷이 도착할 때 서버가 세션을 구체화할 수 있도록 했습니다.
중요한 점은 모델의 추론 속도만 높여서는 저지연 AI를 만들 수 없다는 사실입니다. 오디오 캡처부터 네트워크 전송, 추론, 음성 출력까지 전체 경로를 함께 최적화해야 사용자가 실제로 빠르다고 느낍니다.
비동기 위임으로 무거운 작업을 분리하다
음성 대화 중에는 바로 답할 수 없는 요청도 등장합니다. 검색이나 도구 사용처럼 추가 추론이 필요한 작업이 끝날 때까지 음성 경로를 막으면 실시간성이 무너집니다.
GPT-Live가 선택한 방법은 비동기 위임입니다. 대화를 담당하는 시스템은 사용자와의 상호작용을 계속 유지하고, 시간이 오래 걸리는 작업은 별도의 처리 흐름에 맡깁니다. 작업이 완료되면 결과를 다시 대화 맥락으로 가져와 설명할 수 있습니다.
공식 아키텍처에서는 GPT-Live가 대화 흐름을 맡고, 검색·깊은 추론·도구 사용이 필요하면 GPT-5.5 같은 프런티어 모델에 별도 경로로 위임합니다. 음성 모델은 위임 결과를 기다리는 동안 대화를 잠시 이어갈 수 있지만, OpenAI도 임의로 긴 지연을 숨길 수는 없다고 설명합니다.
이러한 구조는 속도를 실제보다 빠르게 보이게 만드는 눈속임이 아닙니다. 즉시 처리해야 하는 대화와 시간이 필요한 작업을 구분해, 시스템 자원을 목적에 맞게 사용하는 설계입니다.
6개월 개발에서 배울 수 있는 제품 전략
GPT-Live는 기존 ChatGPT Voice와 Realtime API 인프라를 기반으로 발전했습니다. 여기에 상태를 유지하는 연속 추론, 동적 맥락 압축, 비동기 위임, 세션 시작 최적화를 더했습니다. 미디어 프런트엔드와 추론 로직은 Python asyncio 구현에서 Go로 옮겨 프레임 전달의 안정성을 개선했다고 OpenAI는 밝혔습니다.
또한 평균 응답 시간 하나만 줄이는 방식으로는 충분하지 않습니다. OpenAI는 실제 ChatGPT Voice 세션 일부를 읽기 전용 그림자 경로로 보내 테스트했고, GPU 처리량보다 동시 세션 수·지역별 지연·긴 세션의 상태 복구가 실제 병목이 될 수 있음을 확인했습니다.
특히 음성 에이전트를 개발하려는 팀이라면 처음부터 모든 도구와 업무를 연결하기보다 짧은 대화를 안정적으로 완성하는 것이 좋습니다. 이후 비동기 위임이 필요한 작업을 하나씩 분리하면 복잡도를 통제하면서 기능을 확장할 수 있습니다.
실시간 음성 AI의 경쟁력은 대화 흐름입니다
GPT-Live 아키텍처가 던지는 메시지는 명확합니다. 더 큰 모델 하나만으로 자연스러운 실시간 대화를 만들 수 있는 것이 아니라, 통신 계층과 대화 제어, 작업 위임이 함께 맞물려야 합니다.
풀듀플렉스 음성은 듣기와 말하기를 동시에 수행하게 하고, WebRTC는 낮은 지연의 미디어 전송을 맡습니다. WARP와 Instant Connect는 세션 시작 시간을 줄이고, 비동기 위임은 검색·추론·도구 호출이 음성 경로를 직접 막지 않도록 분리합니다.
앞으로 음성 AI의 차이는 “말을 알아듣는가”보다 “사람처럼 대화의 흐름을 맞추는가”에서 벌어질 가능성이 큽니다. GPT-Live는 저지연 AI를 만드는 일이 모델 개발뿐 아니라 전체 시스템을 설계하는 문제라는 사실을 잘 보여줍니다.
한 줄 요약: GPT-Live의 핵심은 더 빨리 말하는 모델이 아니라, 듣기와 말하기, 연결과 작업 처리를 동시에 움직이게 만든 아키텍처입니다.
