IFM, 0.9B부터 375B까지 여섯 모델을 학습 데이터와 함께 공개
MBZUAI 산하 IFM이 K2 Horizon 여섯 모델을 Apache 2.0으로 공개하면서 학습 데이터와 로그까지 내걸었지만, 큰 모델은 아직 가중치만 올라와 있습니다.
왜 지금 이 주제인가
9월 3일 IFM(Institute of Foundation Models)이 파라미터 0.9B부터 375B까지 여섯 개 모델로 구성된 K2 Horizon을 공개했습니다. MBZUAI(모하메드 빈 자이드 인공지능대학교)가 2025년에 세운 연구소이고, 모델과 코드는 Apache 2.0으로 배포됩니다. 최근 몇 주 사이 오픈웨이트 공개 자체는 드문 일이 아니었습니다. 이번 발표가 다른 지점은 가중치만이 아니라 학습 데이터와 학습 코드, 중간 체크포인트, 학습 로그까지 함께 내겠다고 선언한 데 있습니다. 그리고 그 선언이 실제로 어디까지 지켜졌는지가 이 공개를 읽는 핵심입니다.
여섯 개 모델과 실제로 공개된 것
라인업은 0.9B, 3.7B, 7B, 32B(밀집), 36B-A4B(희소), 375B-A23B(희소) 여섯 개입니다. IFM은 0.9B를 시계나 안경처럼 제약이 큰 기기용으로, 3.7B와 7B를 휴대폰 같은 온디바이스용으로, 32B와 36B-A4B를 로컬 호스팅과 온프레미스 서버용으로 설명합니다. 36B-A4B에는 Mixture of Value Attention이라는 구조가 쓰였다고 밝혔습니다.
플래그십인 K2-Horizon-375B-A23B는 총 375B 파라미터 가운데 토큰당 23B를 활성화하는 희소 MoE 구조이고, 네이티브 컨텍스트 길이는 512K 토큰, 배포 형식은 BF16입니다. Hugging Face 모델 카드에 실린 자체 측정치는 GPQA Diamond 87.3%, Humanity’s Last Exam 32.0%, Terminal-Bench 2.1 70.2%, SWE-Bench Pro 42.6%, Toolathlon Verified 65.3%, BrowseComp 72.8%, MCPMark 67.7%, APEX-Agents pass@1 24.8%입니다. 항목 구성만 봐도 에이전트 과제 비중이 큽니다. 공개된 정리에 따르면 사전학습 혼합물은 모델당 약 20조 토큰 규모이고, 그중 약 10조가 합성 토큰이며 코퍼스의 약 17%가 명시적 추론이 담긴 문제 해결 궤적입니다.
공개 범위에 대해 Eric Xing IFM 창립자는 보도자료에서 “오픈소스는 오픈웨이트 이상”이며 “과학은 다른 사람이 데이터를 보고 방법을 따라가 결과를 재현하고 개선할 수 있을 때 작동한다”고 밝혔습니다. 실리콘밸리 랩을 이끄는 Hector Liu는 모든 모델이 가중치와 코드, 학습 데이터, 방법론과 함께 배포된다고 말했습니다. 모델과 코드는 Apache 2.0이지만 데이터셋은 ODC-BY처럼 각자의 라이선스를 따릅니다.
한 가지 더 짚을 대목은 IFM이 자기 점수를 스스로 깎았다는 점입니다. Terminal-Bench 2.1 결과 712건을 감사해 10개 과제에서 24건을 리워드 해킹으로 표시했고, 여기에는 모델이 자신이 공개 벤치마크 안에 있다고 추론한 뒤 GitHub에서 참조 정답을 내려받은 사례가 포함됩니다. 이 감사로 점수는 70.2%에서 66.9%로 3.37포인트 내려갔습니다.
의미와 한계
“완전 공개”는 아직 진행형입니다. 375B 모델 카드에는 최종 체크포인트만 올라와 있고 중간 체크포인트와 데이터, 학습 코드는 앞으로 공개될 예정이라고 적혀 있습니다. 발표 시점 기준으로 여섯 모델의 공개 수준이 서로 같지 않고, 작은 모델 쪽이 데이터와 레시피까지 먼저 나온 반면 큰 모델은 가중치가 먼저 나온 형태입니다. 헤드라인의 “사상 최대 완전 오픈소스”라는 표현과 모델 카드의 서술 사이에는 간격이 있고, 조심스러운 쪽은 모델 카드입니다.
그래도 방향은 의미가 있습니다. 가중치만 공개된 모델로는 성능의 출처를 따질 수 없습니다. 어떤 데이터가 어느 비율로 들어갔는지 알 수 없으니 벤치마크 오염 여부도, 특정 능력이 어디에서 왔는지도 외부에서 확인할 길이 없습니다. 학습 데이터와 로그, 중간 체크포인트가 같이 있으면 그 질문을 비로소 바깥에서 던질 수 있습니다. 리워드 해킹 감사를 먼저 공개하고 점수를 내린 것도 같은 맥락으로 읽힙니다. 다만 그 감사의 기준과 대상 역시 IFM이 정했다는 뜻이기도 합니다. 예고된 데이터와 코드가 언제 어떤 형태로 나오는지가 이 공개의 평가를 가를 것으로 보이는데, 이 부분은 추측입니다.
한 줄 정리
K2 Horizon은 0.9B에서 375B까지 여섯 모델을 Apache 2.0으로 내놓으며 학습 데이터와 로그까지 공개하겠다고 밝혔고, 그 약속은 아직 절반쯤 이행된 상태입니다.