Surge AI, 전문직 장시간 업무를 재는 벤치마크 DAYJOB 공개

왜 지금 이 주제인가

AI 스타트업 Surge AI가 10월 1일 arXiv에 공개한 DAYJOB은 의료와 금융 분야 실무자가 직접 만든 130개 과제로 AI 에이전트의 업무 수행 능력을 측정한 벤치마크입니다. 지금까지 나온 에이전트 벤치마크 대부분은 소프트웨어 개발(SWE-bench)이나 웹 탐색(WebArena)처럼 특정 기술 영역에 국한돼 있었습니다. DAYJOB은 실제 사무직 노동자가 메일 한 통으로 받는 애매한 업무 지시를 그대로 재현했다는 점에서 평가 방식 자체가 다릅니다.

핵심 내용

DAYJOB은 의료 과제 50개, 금융 과제 80개로 구성됩니다. 전문가가 추산한 과제당 평균 소요 시간은 의료 13.6시간, 금융 16.6시간입니다. 각 과제는 세 요소로 이뤄집니다.

브리프(요청문) 는 동료가 보낼 법한 짧은 지시문입니다. 의료 과제 브리프는 평균 48.9단어(중앙값 42.5단어), 금융은 평균 80.7단어(중앙값 62.5단어)에 불과합니다. “이 사례에 대한 초안 문서를 작성해 달라” 정도로, 무엇이 필요한지 모델이 스스로 파악해야 합니다.

워크스페이스 는 과제와 관련된 파일 묶음입니다. 의료는 평균 19.8개(최소 8개, 최대 50개), 금융은 평균 25.7개(최소 8개, 최대 122개) 파일로 구성되며 PDF 비중이 의료 80퍼센트, 금융 70퍼센트에 달합니다. 일부러 관련 없는 행정 서식이나 오래된 정보, 서로 모순되는 자료를 섞어 넣어 모델이 무엇이 진짜 필요한 자료인지 걸러내도록 설계했습니다.

루브릭 은 완성된 결과물이 갖춰야 할 조건을 이진 판정 기준으로 나열한 목록입니다. 의료는 중앙값 47.5개, 금융은 중앙값 57.5개 기준으로 구성되고, 이 중 하나라도 어기면 과제 전체가 실패로 처리됩니다. 금지 행위를 다루는 기준 비중도 의료 16퍼센트, 금융 8퍼센트로 낮지 않습니다.

평가는 Harbor라는 격리 컨테이너 환경에서 진행돼 모델이 외부 웹 검색이나 패키지 설치 없이 주어진 자료만으로 작업하도록 했습니다. 13개 개발사의 모델 설정 30가지를 테스트한 결과, Claude Opus 5.5(적응형/맥스 설정)가 가장 높은 성적을 냈지만 그마저도 의료 24.7퍼센트, 금융 23.9퍼센트 통과율에 그쳤습니다. 중간 수준 모델의 통과율은 의료 0.6퍼센트, 금융 2.5퍼센트였고, 19개 모델 설정은 두 영역 모두에서 5퍼센트 미만을 기록했습니다.

실패 사례를 보면 단순한 지식 부족보다 판단력 문제가 두드러집니다. 한 의료 과제에서는 모델이 “필요하지 않다면 진단에 의문을 제기하지 말아야 한다”고 판단해 응급 상황에서 동맥 박리 가능성을 배제하지 못했습니다. 금융 과제에서는 남아프리카공화국 센트 단위 입력값을 랜드 단위로 잘못 환산해 펀드 가격을 2,570만 달러 과대평가했고, 다른 과제에서는 반품 금액을 더해야 할 계산에서 빼는 바람에 레버리지 계약 위반 사실을 놓쳤습니다.

연구진은 OpenAI의 GDPval과 비교하며 DAYJOB의 설계 의도를 밝혔습니다. GDPval의 요청문은 평균 337.2단어로 DAYJOB 의료 과제보다 6.9배 길고, 첨부 파일도 평균 1.19개로 DAYJOB 금융 과제의 22분의 1 수준입니다. 즉 GDPval이 비교적 상세한 지시와 적은 자료로 결과물의 질을 인간과 쌍대 비교하는 방식이라면, DAYJOB은 모호한 지시와 방대한 자료 더미 속에서 스스로 맥락을 구성하는 능력을 이진 기준으로 가른다는 차이가 있습니다.

의미와 한계

DAYJOB은 헬스케어 과제 전체와 금융 과제 80개 중 50개, 평가 하네스, 리더보드를 공개해 외부에서 재현과 검증이 가능하도록 했습니다. 실무 문서 더미 속에서 전제를 의심하고 모순을 걸러내는 능력을 정량화했다는 점은 기존 코딩 중심 벤치마크가 다루지 못한 영역입니다.

다만 한계도 뚜렷합니다. 루브릭 기준에 가중치가 없어 치명적인 오류와 사소한 서식 문제가 동등하게 취급됩니다. 과제 수도 130개로 많지 않아 분야별 세부 편차를 안정적으로 측정하기는 어렵습니다. 통과율 자체가 극히 낮다는 사실은 모델이 아직 장시간 전문 업무를 독립적으로 맡기기엔 이르다는 점을 보여주지만, 이 수치가 실제 업무 현장에서의 위험도를 그대로 반영하는지는 별개로 따져 볼 문제입니다.

한 줄 정리

의료·금융 실무 130개 과제를 푼 결과 최고 모델도 통과율 25퍼센트를 넘지 못해, 장시간 전문 업무는 AI 에이전트에게 여전히 벽이 높다는 점이 확인됐습니다.