벤치마크
이 태그가 붙은 글 62편입니다. 전체 태그 보기
메타, 반복 작업 전담 소형 에이전트 모델 Muse Ember 공개
메타가 에이전트의 반복 실행 작업에 특화한 저비용 소형 모델 Muse Ember를 공개하고 경쟁 모델 대비 벤치마크 결과를 제시했습니다.
인터페이스를 스스로 진화시켜 배우는 컴퓨터 사용 에이전트 Agent S4 공개
메타에이전트가 작업 궤적을 보고 도구 인터페이스를 스스로 다시 설계하게 한 오픈소스 에이전트 Agent S4가 OSWorld V2에서 더 비싼 프런티어 모델을 앞섰습니다.
DeepSeek, 프로덕션 추론 엔진 DeepInfer를 오픈소스로 공개
DeepSeek가 자사 서비스를 실제로 돌리는 추론 프레임워크 DeepInfer를 Apache 2.0으로 공개했습니다. 핵심 처리량 수치는 빠졌습니다.
Inception, 초당 1068토큰 생성하는 디퓨전 LLM Mercury 3 공개
디퓨전 방식 언어모델 업체 Inception Labs가 전작보다 파라미터를 40배 늘리면서도 속도는 유지한 Mercury 3를 내놓았지만, 독립 검증된 벤치마크는 아직 없습니다.
Cloudflare, 텍스트 생성 대신 값만 추출·예측하는 모델 Clairic 공개
Cloudflare가 의사결정 대신 값을 직접 추출·계산·예측하는 System One 모델 Clairic을 공개하며 비용 49%, 지연시간 69% 감소 수치를 함께 밝혔습니다.
MiniMax, 작업당 비용 낮춘 에이전트용 모델 M3.1 Flash 공개
MiniMax가 에이전트와 코딩 작업에 특화한 M3.1 Flash를 공개했으며, 독립 평가에서 DeepSeek보다 일부 지표가 높게 나타났습니다.
DeepSeek, 입력과 출력에 다른 연산량 쓰는 오픈 가중치 모델 공개
중국 DeepSeek가 인코더와 디코더에 각각 다른 활성 파라미터를 쓰는 오픈 가중치 모델 V4.1-Flash-1017을 MIT 라이선스로 공개하고 코딩·에이전트 벤치마크를 끌어올렸습니다.
메타, 8160억 파라미터 코딩·에이전트 모델 Muse Spark Open 가중치 공개
메타가 코딩과 에이전트 작업에 특화된 816B 파라미터 모델의 가중치를 공개하며 미국 오픈웨이트 모델 중 가장 강력하다고 밝혔습니다.
메타, 에이전트가 직접 탐색 트리 운용하는 TreeFlex 공개
메타 AI가 ReAct 에이전트의 맥락 오염 문제를 풀기 위해 에이전트가 직접 검색 트리를 운용하는 TreeFlex를 공개했습니다. SWE-bench Verified에서 기존 방식보다 11.6포인트 높은 점수를 기록했습니다.
Artificial Analysis, AI 모델의 인터랙티브 3D 장면 제작 능력 재는 AA-3D 공개
에이전트가 글 지시를 three.js 장면으로 바꾸는 과정을 블라인드 투표로 평가하는 AA-3D 벤치마크가 공개됐고, 결과를 스스로 확인하는 습관이 품질과 강하게 연결됐습니다.
메타, 에이전트형 모델 Muse Wonder와 Wonder Full 공개하며 프런티어 경쟁 합류
메타가 Active Memory와 Active Focus를 갖춘 Muse Wonder·Wonder Full을 공개하며 처음으로 프런티어급 모델 경쟁에 뛰어들었습니다.
에이전트에게 최적화 전략까지 맡기는 벤치마크 AgenticBBO-Bench 공개
난징대 연구진이 하이퍼파라미터 튜닝부터 칩 설계, 분자 설계까지 다섯 분야를 묶어 LLM 에이전트의 블랙박스 최적화 능력을 재는 벤치마크를 공개했습니다.
에이전트 팀을 꾸려도 성능은 제자리, 비용만 늘었다는 벤치마크 결과
Vals AI가 코딩 작업에서 멀티에이전트 팀 구성과 단일 에이전트를 비교해 비용 대비 성능 개선이 미미하다는 결과를 공개했습니다.
Anthropic, 소형 모델 Claude Haiku 5.5 공개하며 가격을 90% 낮췄습니다
Anthropic이 Haiku 5.5를 출시해 입력 토큰 가격을 90% 낮추고, 비용과 성능을 조절하는 effort 설정을 처음 도입했습니다.
Tencent, 2K 해상도 영상-음성 동시 생성 모델 학습을 2.5배 빠르게 만든 Prism 공개
영상과 음성을 함께 생성하는 모델을 2K 해상도로 학습시킬 때 생기는 어텐션 비용 문제를 동적 희소 어텐션으로 줄인 연구가 코드와 함께 공개됐습니다.
작업은 끝냈지만 복구는 못한다는 에이전트 벤치마크 UndoBench 공개
도구를 쓰는 AI 에이전트의 작업 완수율과 장애 복구율을 분리해 측정한 UndoBench가 둘 사이의 큰 격차를 수치로 보여주었습니다.
Reflection AI, 5010억 파라미터 오픈웨이트 모델 Beam 발표
브루클린 스타트업 Reflection AI가 활성 파라미터 230억 개로 중국 오픈모델과 맞먹는 성능을 냈다는 Beam을 발표했습니다. 가중치는 10월 중 공개됩니다.
전문가 설계를 줘도 GPU 커널 구현은 따라가지 못한다는 벤치마크 D2K-Bench 공개
LLM 에이전트에게 GPU 커널 설계 지침을 그대로 줘도 전문가 수준 구현에는 못 미친다는 사실을 수치로 분리해 보여준 진단 벤치마크 D2K-Bench를 소개합니다.
자신의 논문에 영감을 준 선행연구를 찾는 벤치마크 ScholarCatalyst 공개
스탠퍼드 등 6개 기관이 연구자 184명의 회고 판단으로 만든 벤치마크에서, 도구를 쓰는 검색 에이전트가 단순 임베딩 검색보다 나은 성적을 내지 못했습니다.
도구 선택부터 이동까지 묶어 잰 휴머노이드 로봇 벤치마크 HumanoidToolBench 공개
서울대·매사추세츠대·구글 리서치가 휴머노이드 로봇의 도구 선택과 실제 수행 능력을 함께 재는 18개 과제 벤치마크를 내놓았습니다.
코딩 에이전트의 컨텍스트 압축 시점을 직접 학습시킨 AutoCompact 공개
싱가포르 난양공대 연구진이 코딩 에이전트가 컨텍스트 압축 시점과 내용을 정책으로 학습하는 AutoCompact를 공개하고 SWE-bench Verified 통과율을 9.2%포인트 올렸습니다.
보안 도구용 자연어-명령어 번역 능력을 재는 KaliBench 공개
칼리파 대학교 연구진이 칼리 리눅스 보안 도구 8,504개 명령어 쌍으로 LLM의 CLI 명령어 생성 정확도를 측정하는 벤치마크를 내놓았습니다.
마이크로소프트, 실시간 음성인식 모델 MAI-Transcribe-2-Streaming 공개
마이크로소프트가 음성이 끝나기도 전에 자막을 내놓는 스트리밍 전사 모델과 음성 합성 모델 두 종을 함께 선보였습니다.
Surge AI, 전문직 장시간 업무를 재는 벤치마크 DAYJOB 공개
의료·금융 실무 130개 과제로 AI 에이전트를 평가했더니 최고 모델도 통과율 25%를 넘지 못했습니다
CMU·MIT 연구진, 역대 최강 Stratego 선수를 꺾은 AI Ataraxos 공개
체스보다 숨겨진 정보가 훨씬 많은 보드게임 Stratego에서, 학습비용 8천달러 미만의 AI가 20판 중 15승으로 역대 최강 선수를 제압했습니다.
Google, 신형 모델 Gemini 4 Argon을 사이버 방어팀에 먼저 공개
Google이 프런티어 모델 Gemini 4 Argon을 공개하며 가드레일을 뺀 버전을 신뢰받는 사이버 방어팀에 가장 먼저 제공한다고 밝혔습니다.
행과 열을 함께 정규화하는 사전학습 옵티마이저 MeqMuon 공개
AdamW의 2차 모멘트 저장 없이 메모리를 21.6% 줄이면서도 검증 손실은 더 낮춘 옵티마이저 논문이 나왔습니다.
코드를 줘도 논문 재현 성공률 41%에 그친 벤치마크 RECLAIM 공개
NeurIPS 2025 논문 100편으로 AI 에이전트의 재현 능력을 측정한 RECLAIM 벤치마크가, 코드와 데이터를 모두 준 조건에서도 최고 성공률이 41%에 그친다는 결과를 내놓았습니다.
OpenAI, 안전 테스트에 걸린 Astra 대신 GPT-6.1 Sol을 공개했습니다
OpenAI가 DevDay 2026에서 안전 테스트 실패로 출시가 취소된 GPT-6.1 Astra 대신, 5분의 1 가격에 준하는 성능을 내는 GPT-6.1 Sol을 발표했습니다.
Anthropic, Claude Sonnet 5.5 공개하며 가격은 그대로 두고 속도만 높였습니다
Anthropic이 9월 28일 Claude Sonnet 5.5를 출시하며 기존 가격을 유지한 채 출력 속도 30% 이상, 작업당 비용 최대 30% 절감을 발표했습니다.
검색 이후 정리 단계에서 에이전트가 무너진다는 벤치마크 KNOWS 공개
웹 검색 이후 문서·슬라이드·표로 정리하는 능력만 따로 재는 KNOWS 벤치마크에서 최고 성능 에이전트도 완전 성공률 2.7%에 그쳤습니다.
xAI, Grok 4.7 공개하며 코딩 벤치마크와 안전 테스트 수치를 함께 발표
xAI가 9월 21일 공개한 Grok 4.7은 코딩 에이전트 벤치마크에서 전작보다 오른 점수를 냈고, 거부·탈옥 저항성과 위험 프롬프트 차단율도 같은 자리에서 공개했습니다.
샤오미, MiMo-V2.6 공개하며 오픈웨이트 지능지수 46점 기록
샤오미가 1조 파라미터급 오픈웨이트 모델 MiMo-V2.6-Pro를 MIT 라이선스로 공개했고, Artificial Analysis 지능지수에서 46점을 받아 공개 가중치 모델 중 최고 점수를 기록했습니다.
프런티어 코딩 에이전트의 완료 보고 과장 비율을 처음 잰 논문 공개
OverclaimBench 논문이 코딩 에이전트 12종을 평가해 검토를 다 못 마치고도 완료했다고 보고하는 비율이 80%에 달한다고 밝혔습니다.
스탠퍼드, 논문을 실행 가능한 MCP 에이전트로 바꾸는 Paper2Agent 발표
스탠퍼드 연구팀이 논문과 코드를 검증된 MCP 에이전트로 자동 변환하는 Paper2Agent를 네이처에 발표했습니다. 생물학 논문 100편 중 74편 변환에 성공했습니다.
SWE-bench 상위권 순위, 통계적으로 근거가 약하다는 감사 논문 공개
SWE-bench 리더보드 제출물 254개를 재분석한 논문이 상위 서른 개 사이의 순위 차이는 통계적으로 구분되지 않는다고 보고했습니다.
744B 에이전트 모델을 만들며 인간-AI 작업 분담을 기록한 Atria Dawn 공개
상하이 AI 연구소가 744B 파라미터 에이전트 모델 Atria Dawn Preview를 공개하며, 개발 과정에서 사람과 AI가 실제로 작업을 어떻게 나눴는지 정량 기록한 연구도 함께 내놓았습니다.
에이전트가 토큰을 오래 쓸수록 성능이 꺾이는 지점을 잰 논문 공개
LLM 에이전트의 테스트 시점 토큰 사용을 Elo 점수로 추적해, 긴 세션 하나보다 최적 지점에서 나눈 짧은 세션들이 더 나은 성능을 낸다는 것을 실험으로 보여준 논문을 소개합니다.
에이전트 작업 단계별로 KV 캐시를 골라 지우는 AgentKV 공개
계획, 행동, 도구 호출 단계마다 쿼리 방향이 다르다는 점을 이용해 KV 캐시 제거 정책을 다시 짠 AgentKV 논문을 정리했습니다.
장기 기억 에이전트의 유출·오남용 위험을 다섯 갈래로 재는 MemRiskBench 공개
평균 정확도 78%인 모델도 4%의 에피소드에서 정보를 유출한다는 문제의식으로 만든 결정론적 에이전트 메모리 위험 벤치마크를 정리했습니다.
도구를 쓰는 에이전트의 정보 충돌 대응을 재는 KC-Bench 공개
사용자 말과 모델 지식, 환경 관측이 어긋날 때 에이전트가 멈춰 서는지를 238개 다중 턴 과제로 측정한 벤치마크가 arXiv에 올라왔습니다.
질의 한 개로 온폴리시 증류 성능 대부분을 회복한 실험
온폴리시 증류를 학습 질의 한 개로 돌려도 전체 데이터가 만든 향상분의 87%가 재현됐다는 arXiv 논문의 실험 구성과 수치, 한계를 정리했습니다.
자연어 명세를 로컬에서 도는 작은 신경망 함수로 컴파일하는 논문
명세를 교사 모델로 예제화한 뒤 LoRA 어댑터로 굳혀, 0.6B 인터프리터가 대형 모델 호출 없이 실행하는 Compile by Training 논문을 정리했습니다.
에이전트 실행 기록을 되감아 학습용 환경을 복원하는 Terminal-Universe
쌓여만 가는 터미널 에이전트 실행 기록을 거꾸로 재생해 실행 가능한 작업 공간으로 되살리고, 거기서 검증 가능한 새 과제를 합성하는 방법을 제안한 논문입니다.
IFM, 0.9B부터 375B까지 여섯 모델을 학습 데이터와 함께 공개
MBZUAI 산하 IFM이 K2 Horizon 여섯 모델을 Apache 2.0으로 공개하면서 학습 데이터와 로그까지 내걸었지만, 큰 모델은 아직 가중치만 올라와 있습니다.
LLM 추론 흔적의 깨달음 순간이 대부분 예산 효과라는 논문
추론 흔적에서 읽어 내던 breakthrough 순간과 조기 예측 신호를 대조군을 붙여 다시 측정하니 거의 남지 않았다는 arXiv 논문입니다.
IOI 2026에서 AI 시스템이 인간 1위 점수를 넘긴 결과가 논문으로 공개
NVIDIA Nemotron-3 기반 Ultra-CC가 IOI 2026에서 600점 만점에 535.4점을 받아 최고 인간 점수 498.27점을 넘겼습니다. 학습과 추론 파이프라인 전체가 함께 공개됐습니다.
Perplexity, 기기 안에서 개인정보를 걸러 내는 0.6B 모델을 공개
Perplexity가 Mac용 Hybrid Compute를 열면서 개인정보 경계를 지키는 0.6B 분류 모델과 13개 언어 합성 대화 벤치마크를 함께 공개했습니다.
Google, Gemini 3.8 Flash 공개하며 보안 변형은 심사제로 배포
Google이 9월 2일 Gemini 3.8 Flash를 출시했습니다. 토큰 단가는 그대로지만 과제당 비용은 올랐고, 보안 특화 변형은 심사를 거친 곳에만 열립니다.
Meta, Muse Spark 1.3 공개하며 데이터 제공 여부로 단가를 둘로 나눴습니다
Meta가 9월 2일 Muse Spark 1.3을 내놓았습니다. 코딩 지표 상승과 함께, 입력을 학습에 쓰도록 허용하면 단가가 10분의 1 아래로 떨어지는 이중 요금제가 눈에 띕니다.
같은 연산 예산에서 중간 층을 두 번 도는 MoE 스케일링 법칙 SMELT
루프 트랜스포머를 MoE에 적용한 SMELT 논문이 연산과 파라미터와 KV 캐시를 모두 맞춘 비교에서 학습 FLOPs를 6.8~18.0% 절약했다고 보고했습니다.
Anthropic, Claude Fable 5.1 공개하며 캐시 읽기 단가를 4분의 1로 인하
Anthropic이 Fable 5.1과 Mythos 5.1을 공개하며 기본 단가는 두고 캐시 읽기만 4분의 1로 내렸습니다. 벤치마크와 세이프가드 조정 내용, 그리고 그 한계를 정리했습니다.
코딩 에이전트를 지휘하는 모델만 따로 평가하는 LoopArena 벤치마크 공개
코딩 에이전트를 이끄는 Controller 모델만 떼어 측정하는 LoopArena가 나왔습니다. 무지휘 기준선보다 성적이 낮은 모델도 있었습니다.
소비자용 GPU로 2B 모델을 처음부터 학습한 Puro-2B 레시피 공개
RTX 5090만으로 1.4조 토큰을 학습해 Qwen2.5-1.5B 수준에 근접한 2B 모델을 만든 Puro-2B 보고서와, 데이터와 코드까지 함께 공개한 의미를 정리했습니다.
학습 없는 슬라이딩 윈도우 어텐션이 선형 어텐션 변환을 앞섰다는 실험
추가 학습 없이 어텐션 창만 좁힌 기준선이 여러 선형 어텐션 변환 기법과 대등하거나 더 나은 성능을 냈다는 arXiv 논문의 내용과 한계를 정리했습니다.
교사 모델 없이 이미지 생성 모델을 정렬하는 Self-OPD 논문 공개
교사 모델 없이 학생의 자체 탐색을 단계별 지도 신호로 바꾸는 flow matching 정렬 기법 Self-OPD가 arXiv에 공개됐습니다. 교사 기반 방법보다 총 학습 시간이 짧았습니다.
Tencent, 770B 오픈웨이트 모델 Hy4 preview 공개
Tencent이 8월 28일 총 파라미터 770B, 활성 49B의 MoE 모델 Hy4 preview를 Apache 2.0으로 공개했습니다. 구조와 공개 수치, 모델이 참여했다는 자기 최적화 주장을 정리했습니다.
에이전트 경험을 위키로 축적해 스킬을 개선하는 WikiSkill 논문 공개
에이전트가 만든 스킬만 남기지 말고 그 스킬을 낳은 지식까지 위키에 쌓자는 arXiv 논문이 공개됐습니다. 다섯 벤치마크에서 기존 스킬 진화 기법을 앞섰습니다.
진화 전략이 GRPO보다 넓은 추론 범위를 남긴다는 arXiv 논문 공개
역전파 없이 파라미터 공간을 탐색하는 진화 전략이 GRPO보다 Pass@K를 덜 깎는다는 실측 비교 논문이 arXiv에 올라왔습니다. 두 방식의 차이를 정리했습니다.
같은 모델도 인터페이스 언어에 따라 실력이 달라진다는 자기대국 실험
같은 모델의 인스턴스를 언어만 바꿔 맞붙인 다국어 자기대국 실험에서 언어별 실력 격차가 확인됐고, 중간 추론 언어를 바꾸자 상당 부분 회복됐습니다.
OpenAI, 자체 추론 칩 Jalapeño의 첫 벤치마크 측정치를 공개
OpenAI가 Broadcom과 만든 추론 전용 칩 Jalapeño의 InferenceX 측정 결과를 내놨습니다. 전력당 처리량과 지연 수치, 그리고 그 수치가 아직 말해 주지 못하는 것들을 정리했습니다.
정답 라벨 없이 추론 시점에 모델을 학습시키는 TTPO 논문 공개
정답 없이 테스트 시점에 모델을 학습시키는 TTPO가 arXiv에 공개됐습니다. 다수결 임시 정답에 동의한 응답은 증류로, 반대한 응답은 강화학습 벌점으로 나눠 다룹니다.