AX 효능감을 높이기 위한 Astra의 도전과 한계

■ OpenAI 관련주가 상승하고 소프트웨어주가 하락하는 흐름이 나타나겠지만, 자신할 수 없는 지속성

OpenAI가 지난주 목요일에 공개한 GPT-6 Astra에 대한 평가가 속속 확인.
1) Claude Fable 5.1과 막상막하의 성능을 보여주는 GPT-6 Astra.
AI 모델의 성능을 평가하는 Artificial Analysis는 GPT-6 Astra에 AI 지능 지수 (Artificial Analysis Intelligence Index) 61점을 부여.
Claude Fable 5.1 66점과 Opus 5 63점뿐만 Muse Spark 1.3 62점에 비해서도 낮은 점수.
그러나 AI 지능 지수를 버전 4.2로 변경하면서 모든 모델을 다시 평가했고, Astra는 55점으로 Fable 5.1의 57점에 이어 2위를 기록.
또 다른 평가 사이트인 VALS는 Fable 5.1을 68.83%, Astra를 66.61%로 평가.
반면, Perplexity의 WANDR 점수는 Astra가 0.682, Fable 5.1이 0.601로 Astra가 높았음.
2) 업계의 관심은 벤치마크로 측정되지 않는 GPT-6 Astra의 성능.
Astra가 종합 점수에서 Fable 5.1를 확실하게 뛰어넘지는 못했고, 현재 가장 광범위하게 활용되는 코딩 분야에서는 앤트로픽 이외의 경쟁사 모델에 일부 뒤처지는 벤치마크 점수도 있었음.
그러나 AI 업계에서는 기존 벤치마크로 제대로 평가하지 못하는 Astra의 강점에 주목.
① 단순히 사용자의 요청에 답을 잘하는 게 아니라, 낯선 환경을 빠르게 파악하고 작업을 수행하는 능력이 탁월.
처음 보는 환경에 들어가서 상황을 탐색하고 규칙을 발견하고 자기 방식으로 상황을 파악한 후에 계획을 수립하고 실행하는 능력이 매우 뛰어나다는 평가.
모델을 ‘정답률’로 평가하다가 ‘추론 능력’, 최근에는 ‘코딩 능력’으로 평가했는데, 앞으로는 이번에 Astra가 보여준 능력으로 평가의 축이 바뀔 전망.
② 작업 효율성이 매우 크게 개선.
기존에는 에이전트가 작업을 하다가 실패하면 다시 시도하면서 시간과 토큰을 적잖게 사용.
반면, Astra는 덜 헤매면서 시간과 토큰을 크게 절약.
③ OpenAI의 하네스 설계 능력도 개선.
ARC-AGI-3 벤치마크 점수가 기본적인 환경에서는 62.7%.
반면, OpenAI가 Astra를 위해 만든 하네스 환경에서는 99.9%까지 점수가 급등했는데, 속도는 3.66배 빨랐고 토큰은 49% 적게 사용.
모델 성능만 단순하게 평가했던 기존 방식에 의문을 제기