OpenAI, 문장 대신 선택과 점수만 내놓는 Decisions API 정식 공개

왜 지금 이 주제인가

OpenAI가 2026년 10월 22일 Decisions API를 정식 공개했습니다. 지난 9월 29일 데브데이에서 처음 선보이고 10월 6일 퍼블릭 베타로 넘어간 지 보름여 만의 정식 출시입니다. 이 API는 문장을 생성하는 대신 분류값, 확률, 점수 같은 정형 답만 돌려주는 방식으로, 최근 Cloudflare의 Clairic이나 AWS의 결정 전용 모델과 같은 흐름을 OpenAI가 주력 모델 라인업에 그대로 얹은 사례입니다. 두 회사가 처음부터 전용 모델을 새로 만든 것과 달리, OpenAI는 이미 서비스 중인 플래그십 모델의 호출 경로만 바꿔 같은 효과를 내놓았다는 점에서 가장 큰 사업자가 이 흐름에 어떤 식으로 올라탔는지를 보여주는 사례입니다.

핵심 내용

Decisions API는 OpenAI의 추론 모델 GPT-6 Luna를 기반으로 동작하며, 답을 긴 문장이 아니라 선택지·점수·플래그 같은 구조화된 값으로만 돌려줍니다. 목적은 반복적으로 일어나는 저지연 판단 작업입니다. 예컨대 고객지원 티켓을 분류할 때 심각도 점수를 매기고 큐를 고르고 긴급 플래그를 다는 세 가지 판단을 한 번의 요청으로 처리해, 여러 번 모델을 호출하던 방식을 대체합니다.

성능 면에서는 같은 모델을 일반 Responses API로 호출할 때보다 최대 10배 빠르다고 밝혔고, 실제 응답 지연은 약 150밀리초 수준으로 보고됐습니다. 비교 사례로 언급된 Datadog은 P95 지연시간이 기존 대비 약 40배 빨라졌고, Speak는 1.4초였던 응답 시간이 0.13초로 줄었다고 합니다.

가격 구조는 입력 토큰에만 과금하는 방식입니다. 입력 토큰은 100만 개당 0.1달러, 캐시된 입력은 100만 개당 0.01달러이며 출력 토큰과 캐시 쓰기는 무료입니다. 긴 문장을 생성하지 않는 API 특성상 과금 기준 자체를 출력이 아닌 입력 중심으로 바꾼 것으로 보입니다.

베타에서 정식 공개로 넘어오면서 추가된 기능도 있습니다. 한 번의 요청에 담을 수 있는 질문 수가 베타 대비 두 배인 최대 400개로 늘었고, 음성·이미지 입력을 다루는 멀티모달 지원이 추가됐습니다. 구조화된 데이터를 직접 전달할 수 있는 input_json 콘텐츠 형식도 새로 생겼고, 실시간 음성 모델인 GPT-Live와의 네이티브 연동, 지역별 배포를 통한 글로벌 지연시간 개선도 함께 적용됐습니다.

용도는 고객지원 외에도 콘텐츠 분류나 요청 라우팅처럼 반복적으로 일어나는 작은 판단에 걸쳐 있습니다. 에이전트가 다음에 어떤 도구를 호출할지, 어떤 요청을 우선 처리할지를 고르는 과정에서 매번 긴 문장을 생성하는 대신 이 API로 판단만 떼어내 처리하는 방식이 제안되고 있습니다.

의미와 한계

이 발표는 “LLM이 꼭 문장을 써야 하는가”라는 질문에 대한 업계 전반의 답이 좁혀지고 있음을 보여줍니다. Cloudflare와 AWS가 별도의 소형 전용 모델을 처음부터 만든 것과 달리, OpenAI는 기존 플래그십 모델 GPT-6 Luna를 그대로 쓰면서 호출 방식과 과금 구조만 바꿔 같은 효과를 냈습니다. 모델을 새로 학습하지 않고도 지연시간과 비용을 동시에 낮출 수 있다는 점에서, 에이전트 파이프라인 안에서 반복되는 작은 판단들을 이 API로 옮기는 설계가 늘어날 가능성이 있습니다.

다만 한계도 분명합니다. 이 API는 OpenAI의 모델 생태계 안에서만 쓸 수 있고, 답이 정형화된 값으로 제한되는 만큼 복잡한 설명이나 추론 과정이 필요한 작업에는 적합하지 않습니다. 또한 공개된 지연시간·속도 비교 수치는 OpenAI와 일부 초기 사용 기업이 제시한 사례에 근거한 것이어서, 독립적인 벤치마크로 재현된 결과는 아직 나오지 않았습니다. 가격도 입력 토큰에만 매겨지는 구조라 단순해 보이지만, 호출 건수가 많아지는 반복 작업에 실제로 얼마나 유리한지는 각 서비스의 호출 패턴에 따라 달라질 수 있습니다. 이 구조가 실제 프로덕션 환경에서 얼마나 널리 자리 잡을지는 Cloudflare, AWS 같은 다른 사업자들의 유사 서비스와 비교되며 검증될 것으로 보입니다.

한 줄 정리

OpenAI가 문장 생성 없이 선택과 점수만 돌려주는 Decisions API를 정식 공개하며, 결정 전용 모델 흐름에 가장 큰 사업자가 합류했습니다.