OpenAI의 토큰 가격 인하, Weekly EU

■ 잠시 숨 돌릴 틈을 확보했지만 여유 있지는 않은 OpenAI

토큰 가격 인하 행렬에 동참한 OpenAI.
OpenAI가 GPT-5.6 계열에서 중간 성능인 GPT-5.6 Terra의 가격을 입력 100만 토큰당 2.5달러에서 2달러, 출력 100만 토큰당 15달러에서 12달러로 20% 인하.
GPT-5.6 계열에서 가장 성능이 낮은 GPT-5.6 Luna의 가격은 입력 100만 토큰당 1.25달러에서 0.2달러, 출력 100만 토큰당 6달러에서 1.2달러로 80% 인하.
GPT-5.6 계열에서 가장 성능이 높은 Sol의 가격은 유지



효율 개선을 바탕으로 한 토큰 가격 인하는 바람직.
어제 토큰 가격을 인하하기 하루 전에 OpenAI는 GPT-5.6의 효율성을 높였다고 발표.
1) 모델 자체 효율 향상.
GPT-5.6은 정답률뿐만 아니라 효율성을 학습 목표로 설정해서, 문제를 우회하지 않고 더 직접적으로 해결하도록 훈련.
이를 통해, 작업 하나를 완료하는 데에 필요한 토큰 수를 줄이는 성과를 냈음.
2) 추론 인프라 개선.
GPU에서 같은 시간 동안 더 많은 토큰을 생산하도록 하는 기술 성과를 보여줌.
어느 데이터센터나 GPU로 작업을 보낼 지를 결정하는 부하 분산, 같은 계산을 더 적은 동작으로 수행하도록 하는 GPU 커널 (추론 연산을 GPU가 실제로 실행하도록 만든 코드) 개선, 저렴한 모델이 다음 토큰 여러 개를 먼저 예상하도록 하고 비싼 모델은 이를 한꺼번에 검증하도록 해서 비싼 모델의 실행 횟수를 줄이는 추측 디코딩, 재계산하는 시간을 줄이는 KV-Cache 최적화와 GPU당 동시 처리량을 늘리는 배치 최적화 등의 기술을 적용.
특히, GPU 커널 개선을 통해 사용자의 요청이 추론 시스템에 들어온 순간부터 모델이 결과 토큰을 반환할 때까지 드는 전체 추론 운영 비용을 20% 낮췄고, 추측 디코딩을 통해 토큰 생성 효율을 15% 이상 높였다고 함.
이 둘을 단순히 더한 35%의 원가 하락이 있었다고 보기는 어려움.
하지만 경쟁이 치열해지면서 가격을 낮추는 건 좋지 않은 반면, 토큰 원가를 낮추는 기술 성과를 통해 가격을 인하하는 건 매우 바람직 (6/12)