Artificial Analysis, AI 모델의 인터랙티브 3D 장면 제작 능력 재는 AA-3D 공개

왜 지금 이 주제인가

독립 AI 평가기관 Artificial Analysis가 10월 12일, AI 모델이 인터랙티브 3D 장면을 얼마나 잘 만드는지 재는 벤치마크 AA-3D를 공개했습니다. 코딩·수학 벤치마크는 정답이 명확한 과제에 집중해 왔지만, 3D 장면 제작은 정답이 하나로 정해지지 않고 결과를 눈으로 봐야 품질을 가늠할 수 있는 영역입니다. 에이전트가 작업 결과를 스스로 확인하고 고치는 능력까지 함께 드러난다는 점에서 기존 벤치마크와 다릅니다. 같은 모델이라도 코딩 문제는 잘 풀면서 사람이 보기 좋은 결과물은 만들지 못할 수 있다는 가능성을 직접 수치로 보여준 사례이기도 합니다.

핵심 내용

모델은 오프라인 샌드박스에서 글로 된 지시(brief)를 받아 이를 three.js(웹 브라우저에서 3D 그래픽을 그리는 자바스크립트 라이브러리) 기반 웹페이지로 변환합니다. 3D 모델링 도구 Blender, 물리 엔진 Rapier, Python 같은 보조 도구를 쓸 수 있고, 작업 시간은 최대 3시간 또는 250턴으로 제한됩니다. v1.0은 55개 과제로 구성되며, 미토콘드리아 내부, 박동하는 심장, 탁자를 치우는 고양이, 걸어 다니는 티라노사우루스 골격, 산호초 다이빙 장면 같은 구체적인 지시가 주어집니다. 평가는 모집한 패널이 같은 과제로 만들어진 두 모델의 장면을 쌍으로 비교해 블라인드로 투표하고, 그 결과를 Elo 점수로 환산하는 방식입니다.

리더보드는 Claude Sonnet 5.5가 1194점으로 1위였고, 2~4위인 Claude Opus 5.5(1190점), GPT-6 Astra(1165점), Claude Fable 5.1(1131점)까지 포함해 상위 네 모델이 통계적으로 동률에 가까웠습니다. Meta의 Muse Spark 1.3은 1035점으로 7위였고, 오픈웨이트 모델 중 가장 높은 Kimi K3는 982점(11위)으로 상위권과 200점 이상 차이가 났습니다.

주목할 발견은 두 가지입니다. 장면에 들어간 UI 컨트롤(버튼 등) 개수와 Elo 점수는 피어슨 상관계수 0.90으로 강하게 연관됐습니다. 상위 5개 모델은 중앙값 1520개의 조작 버튼을 넣었고, 하위 3개 모델은 68개에 그쳤습니다. 반면 출력 토큰 수는 순위와 거의 관련이 없었습니다(스피어만 상관계수 0.33, 유의하지 않음). 길게 생성한다고 품질이 좋아지지는 않았다는 뜻입니다. 작업 시간은 GPT-6 Sol이 중앙값 60분으로 가장 빨랐고, 다른 상위 5개 모델은 115151분이 걸렸습니다. 상위 모델들은 공통적으로 작업 중 자신이 만든 장면을 스크린샷으로 찍어 점검했는데, 중앙값 1013턴째에 첫 점검을 시작해 89% 이상이 20턴 안에 이를 마쳤습니다.

의미와 한계

AA-3D는 정답이 고정된 영역을 넘어, 사람이 보고 느끼는 품질을 재는 벤치마크가 늘고 있다는 흐름을 보여줍니다. 출력량보다 자가 점검 행동이 완성도와 더 밀접하게 연결된다는 발견은, 중간 결과를 스스로 확인하는 피드백 루프가 단순히 더 많이 생성하는 것보다 중요할 수 있다는 시사점을 줍니다. 모델이 코드를 다 쓴 뒤 스크린샷을 찍어 눈으로 확인하는 과정을 거쳤다는 점은, 텍스트만으로 작업하는 에이전트보다 결과를 시각적으로 돌아보는 에이전트가 실제 품질에서 앞선다는 것을 보여줍니다.

다만 과제 수가 55개로 많지 않고, 평가가 모집한 패널의 블라인드 투표에 의존하는데 패널 규모나 선정 기준이 공개되지 않아 평가의 일관성을 외부에서 검증하기는 어렵습니다. 결과물도 three.js 웹페이지라는 특정 기술 스택에 한정돼 있어, 이 순위가 3D 콘텐츠 제작 전반의 능력으로 그대로 확장되는지는 단정할 수 없습니다. UI 컨트롤 개수와 품질의 상관관계도 인과관계를 증명한 것은 아니며, 복잡한 장면일수록 조작 요소가 많아지는 간접 효과일 가능성도 있습니다(추측).

한 줄 정리

Artificial Analysis가 AI 에이전트의 3D 장면 제작 능력을 블라인드 투표로 재는 AA-3D를 공개했고, 작업 중 스스로 결과를 확인하는 습관이 품질과 강하게 연결된다는 점이 드러났습니다.