MoE
이 태그가 붙은 글 15편입니다. 전체 태그 보기
MiniMax, 작업당 비용 낮춘 에이전트용 모델 M3.1 Flash 공개
MiniMax가 에이전트와 코딩 작업에 특화한 M3.1 Flash를 공개했으며, 독립 평가에서 DeepSeek보다 일부 지표가 높게 나타났습니다.
DeepSeek, 입력과 출력에 다른 연산량 쓰는 오픈 가중치 모델 공개
중국 DeepSeek가 인코더와 디코더에 각각 다른 활성 파라미터를 쓰는 오픈 가중치 모델 V4.1-Flash-1017을 MIT 라이선스로 공개하고 코딩·에이전트 벤치마크를 끌어올렸습니다.
메타, 8160억 파라미터 코딩·에이전트 모델 Muse Spark Open 가중치 공개
메타가 코딩과 에이전트 작업에 특화된 816B 파라미터 모델의 가중치를 공개하며 미국 오픈웨이트 모델 중 가장 강력하다고 밝혔습니다.
Reflection AI, 5010억 파라미터 오픈웨이트 모델 Beam 발표
브루클린 스타트업 Reflection AI가 활성 파라미터 230억 개로 중국 오픈모델과 맞먹는 성능을 냈다는 Beam을 발표했습니다. 가중치는 10월 중 공개됩니다.
게이밍 GPU 한 장으로 1250억 파라미터 모델을 돌리는 추론 엔진 Strata
오픈소스 추론 엔진 Strata가 12GB급 게이밍 그래픽카드에서 1250억 파라미터 MoE 모델을 구동하는 방식을 공개했습니다.
샤오미, MiMo-V2.6 공개하며 오픈웨이트 지능지수 46점 기록
샤오미가 1조 파라미터급 오픈웨이트 모델 MiMo-V2.6-Pro를 MIT 라이선스로 공개했고, Artificial Analysis 지능지수에서 46점을 받아 공개 가중치 모델 중 최고 점수를 기록했습니다.
DeepSeek, KV 캐시를 토큰당 890바이트로 줄인 V4.1-Flash 공개
DeepSeek가 공개한 552B 모델 V4.1-Flash가 계층 간 KV 재사용과 FP4 양자화로 토큰당 캐시 용량을 4분의 1로 줄인 구조를 정리합니다.
전문가별 정밀도를 달리해 아이폰에서 350억 모델을 돌린 실험
Flash-MoE 엔진 기반으로 Qwen3.5-35B-A3B를 티어드 양자화해 아이폰17에서 초당 11토큰으로 구동한 온디바이스 실험이 공개됐습니다.
744B 에이전트 모델을 만들며 인간-AI 작업 분담을 기록한 Atria Dawn 공개
상하이 AI 연구소가 744B 파라미터 에이전트 모델 Atria Dawn Preview를 공개하며, 개발 과정에서 사람과 AI가 실제로 작업을 어떻게 나눴는지 정량 기록한 연구도 함께 내놓았습니다.
IFM, 0.9B부터 375B까지 여섯 모델을 학습 데이터와 함께 공개
MBZUAI 산하 IFM이 K2 Horizon 여섯 모델을 Apache 2.0으로 공개하면서 학습 데이터와 로그까지 내걸었지만, 큰 모델은 아직 가중치만 올라와 있습니다.
IOI 2026에서 AI 시스템이 인간 1위 점수를 넘긴 결과가 논문으로 공개
NVIDIA Nemotron-3 기반 Ultra-CC가 IOI 2026에서 600점 만점에 535.4점을 받아 최고 인간 점수 498.27점을 넘겼습니다. 학습과 추론 파이프라인 전체가 함께 공개됐습니다.
같은 연산 예산에서 중간 층을 두 번 도는 MoE 스케일링 법칙 SMELT
루프 트랜스포머를 MoE에 적용한 SMELT 논문이 연산과 파라미터와 KV 캐시를 모두 맞춘 비교에서 학습 FLOPs를 6.8~18.0% 절약했다고 보고했습니다.
Tencent, 770B 오픈웨이트 모델 Hy4 preview 공개
Tencent이 8월 28일 총 파라미터 770B, 활성 49B의 MoE 모델 Hy4 preview를 Apache 2.0으로 공개했습니다. 구조와 공개 수치, 모델이 참여했다는 자기 최적화 주장을 정리했습니다.
Qwen, Qwen4 구조를 미리 적용한 오픈웨이트 모델 Qwen3.8-Flash-Next 공개
Alibaba Qwen 팀이 차기 Qwen4 아키텍처를 앞당겨 적용한 125B 규모 MoE 모델의 가중치를 공개했습니다. 어텐션과 잔차, 임베딩, 최적화 네 갈래를 함께 손봤습니다.
Z.AI, 희소·선형 혼합 어텐션을 쓴 오픈웨이트 모델 GLM-5.3-Flash 공개
8월 26일 공개된 320B-A18B MoE 모델. 성능 도약보다 어텐션 연산과 KV 캐시를 줄여 장문맥 서빙 비용을 낮춘 구조 변경이 발표의 중심입니다.