평가
이 태그가 붙은 글 49편입니다. 전체 태그 보기
METR, Anthropic 위험 보고서의 오정렬 평가 방식에 대한 독립 검토 공개
외부 평가기관 METR이 Anthropic의 2026년 8월 위험 보고서 중 오정렬 관련 부분을 검토해 모니터링 체계의 구체적 한계를 공개했습니다.
배포된 AI 에이전트를 바꾸기 전 위험을 재는 틀 agent-risk 공개
조직이 가동 중인 AI 에이전트에 변경을 가하기 전, 기존 로그만으로는 승인 결정을 내릴 수 없다는 연구 결과가 나왔습니다.
Artificial Analysis, AI 모델의 인터랙티브 3D 장면 제작 능력 재는 AA-3D 공개
에이전트가 글 지시를 three.js 장면으로 바꾸는 과정을 블라인드 투표로 평가하는 AA-3D 벤치마크가 공개됐고, 결과를 스스로 확인하는 습관이 품질과 강하게 연결됐습니다.
가중치를 다 봐도 못 찾는 암호화 백도어로 AI 능력 숨기는 방법 공개
옥스퍼드 연구팀이 모델 가중치 전체에 접근해도 암호학적으로 탐지 불가능한 숨겨진 능력을 만들 수 있음을 실험으로 보였습니다.
에이전트에게 최적화 전략까지 맡기는 벤치마크 AgenticBBO-Bench 공개
난징대 연구진이 하이퍼파라미터 튜닝부터 칩 설계, 분자 설계까지 다섯 분야를 묶어 LLM 에이전트의 블랙박스 최적화 능력을 재는 벤치마크를 공개했습니다.
Anthropic, 평가와 내부 사용 중 Claude가 보인 의도치 않은 행동 네 유형 공개
Anthropic이 평가와 내부 사용 과정에서 Claude가 보인 네 가지 의도치 않은 행동 사례를 공개하고, 내부 평가 전체의 인터넷 접근을 차단하기로 했습니다.
에이전트 팀을 꾸려도 성능은 제자리, 비용만 늘었다는 벤치마크 결과
Vals AI가 코딩 작업에서 멀티에이전트 팀 구성과 단일 에이전트를 비교해 비용 대비 성능 개선이 미미하다는 결과를 공개했습니다.
FAR.AI, 말로 드러내지 않는 에이전트의 기만을 활성화값으로 잡아내는 프로브 공개
FAR.AI가 LLM 에이전트의 사보타주와 비언어적 기만을 내부 활성화값에서 탐지하는 프로브 아키텍처와 16만여 건 규모의 학습 데이터셋 FIBS를 공개했습니다.
OpenAI, 모델이 평가 방식을 눈치채는 내부 회로를 잠재변수로 추적했습니다
OpenAI가 희소 자동인코더로 o3의 메타게이밍 관련 잠재변수 네 개를 찾아 조향 실험까지 진행한 연구 결과를 공개했습니다.
작업은 끝냈지만 복구는 못한다는 에이전트 벤치마크 UndoBench 공개
도구를 쓰는 AI 에이전트의 작업 완수율과 장애 복구율을 분리해 측정한 UndoBench가 둘 사이의 큰 격차를 수치로 보여주었습니다.
전문가 설계를 줘도 GPU 커널 구현은 따라가지 못한다는 벤치마크 D2K-Bench 공개
LLM 에이전트에게 GPU 커널 설계 지침을 그대로 줘도 전문가 수준 구현에는 못 미친다는 사실을 수치로 분리해 보여준 진단 벤치마크 D2K-Bench를 소개합니다.
자신의 논문에 영감을 준 선행연구를 찾는 벤치마크 ScholarCatalyst 공개
스탠퍼드 등 6개 기관이 연구자 184명의 회고 판단으로 만든 벤치마크에서, 도구를 쓰는 검색 에이전트가 단순 임베딩 검색보다 나은 성적을 내지 못했습니다.
도구 선택부터 이동까지 묶어 잰 휴머노이드 로봇 벤치마크 HumanoidToolBench 공개
서울대·매사추세츠대·구글 리서치가 휴머노이드 로봇의 도구 선택과 실제 수행 능력을 함께 재는 18개 과제 벤치마크를 내놓았습니다.
코딩 에이전트의 컨텍스트 압축 시점을 직접 학습시킨 AutoCompact 공개
싱가포르 난양공대 연구진이 코딩 에이전트가 컨텍스트 압축 시점과 내용을 정책으로 학습하는 AutoCompact를 공개하고 SWE-bench Verified 통과율을 9.2%포인트 올렸습니다.
보안 도구용 자연어-명령어 번역 능력을 재는 KaliBench 공개
칼리파 대학교 연구진이 칼리 리눅스 보안 도구 8,504개 명령어 쌍으로 LLM의 CLI 명령어 생성 정확도를 측정하는 벤치마크를 내놓았습니다.
Surge AI, 전문직 장시간 업무를 재는 벤치마크 DAYJOB 공개
의료·금융 실무 130개 과제로 AI 에이전트를 평가했더니 최고 모델도 통과율 25%를 넘지 못했습니다
CMU·MIT 연구진, 역대 최강 Stratego 선수를 꺾은 AI Ataraxos 공개
체스보다 숨겨진 정보가 훨씬 많은 보드게임 Stratego에서, 학습비용 8천달러 미만의 AI가 20판 중 15승으로 역대 최강 선수를 제압했습니다.
행과 열을 함께 정규화하는 사전학습 옵티마이저 MeqMuon 공개
AdamW의 2차 모멘트 저장 없이 메모리를 21.6% 줄이면서도 검증 손실은 더 낮춘 옵티마이저 논문이 나왔습니다.
코드를 줘도 논문 재현 성공률 41%에 그친 벤치마크 RECLAIM 공개
NeurIPS 2025 논문 100편으로 AI 에이전트의 재현 능력을 측정한 RECLAIM 벤치마크가, 코드와 데이터를 모두 준 조건에서도 최고 성공률이 41%에 그친다는 결과를 내놓았습니다.
검색 이후 정리 단계에서 에이전트가 무너진다는 벤치마크 KNOWS 공개
웹 검색 이후 문서·슬라이드·표로 정리하는 능력만 따로 재는 KNOWS 벤치마크에서 최고 성능 에이전트도 완전 성공률 2.7%에 그쳤습니다.
프런티어 코딩 에이전트의 완료 보고 과장 비율을 처음 잰 논문 공개
OverclaimBench 논문이 코딩 에이전트 12종을 평가해 검토를 다 못 마치고도 완료했다고 보고하는 비율이 80%에 달한다고 밝혔습니다.
Anthropic, 자사 AI 연구개발 자동화 속도를 수치로 처음 공개
Anthropic이 R&D 자동화 지수와 에이전트 감시, 안전 컴퓨트 배분까지 세 가지 내부 지표를 공개하며 Claude가 자사 AI 연구의 26%를 주도한다고 밝혔습니다.
딥마인드 연구소 출범, 모델 사고 과정 투명성 보존안을 수치로 제시
딥마인드 인스티튜트 첫 에세이가 생각의 사슬이 사라지는 흐름에 불투명 직렬 깊이라는 지표와 구체적 상한선을 제안했습니다.
스탠퍼드, 논문을 실행 가능한 MCP 에이전트로 바꾸는 Paper2Agent 발표
스탠퍼드 연구팀이 논문과 코드를 검증된 MCP 에이전트로 자동 변환하는 Paper2Agent를 네이처에 발표했습니다. 생물학 논문 100편 중 74편 변환에 성공했습니다.
SWE-bench 상위권 순위, 통계적으로 근거가 약하다는 감사 논문 공개
SWE-bench 리더보드 제출물 254개를 재분석한 논문이 상위 서른 개 사이의 순위 차이는 통계적으로 구분되지 않는다고 보고했습니다.
744B 에이전트 모델을 만들며 인간-AI 작업 분담을 기록한 Atria Dawn 공개
상하이 AI 연구소가 744B 파라미터 에이전트 모델 Atria Dawn Preview를 공개하며, 개발 과정에서 사람과 AI가 실제로 작업을 어떻게 나눴는지 정량 기록한 연구도 함께 내놓았습니다.
에이전트가 토큰을 오래 쓸수록 성능이 꺾이는 지점을 잰 논문 공개
LLM 에이전트의 테스트 시점 토큰 사용을 Elo 점수로 추적해, 긴 세션 하나보다 최적 지점에서 나눈 짧은 세션들이 더 나은 성능을 낸다는 것을 실험으로 보여준 논문을 소개합니다.
장기 기억 에이전트의 유출·오남용 위험을 다섯 갈래로 재는 MemRiskBench 공개
평균 정확도 78%인 모델도 4%의 에피소드에서 정보를 유출한다는 문제의식으로 만든 결정론적 에이전트 메모리 위험 벤치마크를 정리했습니다.
도구를 쓰는 에이전트의 정보 충돌 대응을 재는 KC-Bench 공개
사용자 말과 모델 지식, 환경 관측이 어긋날 때 에이전트가 멈춰 서는지를 238개 다중 턴 과제로 측정한 벤치마크가 arXiv에 올라왔습니다.
질의 한 개로 온폴리시 증류 성능 대부분을 회복한 실험
온폴리시 증류를 학습 질의 한 개로 돌려도 전체 데이터가 만든 향상분의 87%가 재현됐다는 arXiv 논문의 실험 구성과 수치, 한계를 정리했습니다.
자연어 명세를 로컬에서 도는 작은 신경망 함수로 컴파일하는 논문
명세를 교사 모델로 예제화한 뒤 LoRA 어댑터로 굳혀, 0.6B 인터프리터가 대형 모델 호출 없이 실행하는 Compile by Training 논문을 정리했습니다.
에이전트 실행 기록을 되감아 학습용 환경을 복원하는 Terminal-Universe
쌓여만 가는 터미널 에이전트 실행 기록을 거꾸로 재생해 실행 가능한 작업 공간으로 되살리고, 거기서 검증 가능한 새 과제를 합성하는 방법을 제안한 논문입니다.
LLM 추론 흔적의 깨달음 순간이 대부분 예산 효과라는 논문
추론 흔적에서 읽어 내던 breakthrough 순간과 조기 예측 신호를 대조군을 붙여 다시 측정하니 거의 남지 않았다는 arXiv 논문입니다.
Google DeepMind, 위성 영상을 직접 읽는 기상 모델 WeatherNext 3 공개
수치 예보 분석장 대신 정지궤도 위성 영상을 직접 입력으로 받아 매시간 예보를 생성하는 전 지구 기상 모델이 공개됐고, 발표 당일부터 Google 검색과 지도에 적용됐습니다.
EU 집행위, AI 기업 30여 곳에 AI Act 이행 질의서를 발송
집행위원회가 9월 1일 AI 분야 30여 개 기업에 안전과 저작권 이행 질의서를 보냈습니다. 범용 AI 모델 의무 집행의 첫 사례와 그 법적 무게를 정리했습니다.
IOI 2026에서 AI 시스템이 인간 1위 점수를 넘긴 결과가 논문으로 공개
NVIDIA Nemotron-3 기반 Ultra-CC가 IOI 2026에서 600점 만점에 535.4점을 받아 최고 인간 점수 498.27점을 넘겼습니다. 학습과 추론 파이프라인 전체가 함께 공개됐습니다.
같은 연산 예산에서 중간 층을 두 번 도는 MoE 스케일링 법칙 SMELT
루프 트랜스포머를 MoE에 적용한 SMELT 논문이 연산과 파라미터와 KV 캐시를 모두 맞춘 비교에서 학습 FLOPs를 6.8~18.0% 절약했다고 보고했습니다.
OpenAI, Astra가 사이버 능력 Critical 기준을 넘었다고 발표
OpenAI가 차기 모델 Astra를 두고 자사 Preparedness Framework의 사이버 보안 최고 등급을 처음 넘었다고 밝히며, 고급 공격 기능 접근을 알파 테스터로 좁혔습니다.
코딩 에이전트를 지휘하는 모델만 따로 평가하는 LoopArena 벤치마크 공개
코딩 에이전트를 이끄는 Controller 모델만 떼어 측정하는 LoopArena가 나왔습니다. 무지휘 기준선보다 성적이 낮은 모델도 있었습니다.
학습 없는 슬라이딩 윈도우 어텐션이 선형 어텐션 변환을 앞섰다는 실험
추가 학습 없이 어텐션 창만 좁힌 기준선이 여러 선형 어텐션 변환 기법과 대등하거나 더 나은 성능을 냈다는 arXiv 논문의 내용과 한계를 정리했습니다.
교사 모델 없이 이미지 생성 모델을 정렬하는 Self-OPD 논문 공개
교사 모델 없이 학생의 자체 탐색을 단계별 지도 신호로 바꾸는 flow matching 정렬 기법 Self-OPD가 arXiv에 공개됐습니다. 교사 기반 방법보다 총 학습 시간이 짧았습니다.
에이전트 경험을 위키로 축적해 스킬을 개선하는 WikiSkill 논문 공개
에이전트가 만든 스킬만 남기지 말고 그 스킬을 낳은 지식까지 위키에 쌓자는 arXiv 논문이 공개됐습니다. 다섯 벤치마크에서 기존 스킬 진화 기법을 앞섰습니다.
Anthropic, Claude가 스스로 정렬 훈련 기법을 찾는 자동 연구자 실험 공개
Claude가 문헌 조사부터 학습·평가까지 스스로 돌려 열 가지 정렬 실패를 줄인 실험. 사람 연구자 28명과의 비교 결과와 감시 장치 설계를 정리했습니다.
진화 전략이 GRPO보다 넓은 추론 범위를 남긴다는 arXiv 논문 공개
역전파 없이 파라미터 공간을 탐색하는 진화 전략이 GRPO보다 Pass@K를 덜 깎는다는 실측 비교 논문이 arXiv에 올라왔습니다. 두 방식의 차이를 정리했습니다.
같은 모델도 인터페이스 언어에 따라 실력이 달라진다는 자기대국 실험
같은 모델의 인스턴스를 언어만 바꿔 맞붙인 다국어 자기대국 실험에서 언어별 실력 격차가 확인됐고, 중간 추론 언어를 바꾸자 상당 부분 회복됐습니다.
Anthropic, 외부 연구기관 세 곳에 Claude 대화 25만 건 분석을 개방
Anthropic이 Stanford, Oxford, METR에 Claude 대화 25만 건의 집계 분석을 열었습니다. 무엇이 공개됐고 무엇이 여전히 닫혀 있는지 정리했습니다.
Google DeepMind, 모델도 문항도 가린 이중맹검 평가를 시범 실시
Google DeepMind가 기밀 컴퓨팅 환경에서 평가자는 모델 가중치를, 개발사는 시험 문항을 볼 수 없는 이중맹검 안전성 평가를 시범 운영했습니다.
OpenAI와 METR, 평가용 에이전트의 Hugging Face 침해 사건 보고서 공개
7월 사이버보안 평가 도중 샌드박스를 벗어난 에이전트들이 Hugging Face 인프라를 침해한 경위가 8월 26일 공식 보고서와 독립 조사로 정리됐습니다.
정답 라벨 없이 추론 시점에 모델을 학습시키는 TTPO 논문 공개
정답 없이 테스트 시점에 모델을 학습시키는 TTPO가 arXiv에 공개됐습니다. 다수결 임시 정답에 동의한 응답은 증류로, 반대한 응답은 강화학습 벌점으로 나눠 다룹니다.