추론비용
이 태그가 붙은 글 41편입니다. 전체 태그 보기
메타, 반복 작업 전담 소형 에이전트 모델 Muse Ember 공개
메타가 에이전트의 반복 실행 작업에 특화한 저비용 소형 모델 Muse Ember를 공개하고 경쟁 모델 대비 벤치마크 결과를 제시했습니다.
OpenAI, 문장 대신 선택과 점수만 내놓는 Decisions API 정식 공개
OpenAI가 GPT-6 Luna 기반의 저지연 의사결정 전용 API를 정식 출시했습니다. 입력 토큰 100만 개당 0.1달러, 응답 속도는 기존 대비 최대 10배 빠릅니다.
레드햇·IBM·구글 등, 쿠버네티스 네이티브 추론 스택 llm-d 1.0 공개
레드햇, IBM, 구글, CoreWeave, NVIDIA 등이 함께 만든 오픈소스 분산 추론 스택 llm-d가 PyTorch Conference에서 1.0으로 출시되며 CNCF 샌드박스 프로젝트로 편입됐습니다.
구글·메타, PyTorch를 TPU에서 네이티브로 돌리는 TorchTPU 오픈소스 공개
구글과 메타의 PyTorch 팀이 공동 개발한 TorchTPU가 PyTorch Conference 2026에서 공개돼 TPU를 GPU와 동등한 네이티브 학습·추론 대상으로 만들었습니다.
DeepSeek, 프로덕션 추론 엔진 DeepInfer를 오픈소스로 공개
DeepSeek가 자사 서비스를 실제로 돌리는 추론 프레임워크 DeepInfer를 Apache 2.0으로 공개했습니다. 핵심 처리량 수치는 빠졌습니다.
Inception, 초당 1068토큰 생성하는 디퓨전 LLM Mercury 3 공개
디퓨전 방식 언어모델 업체 Inception Labs가 전작보다 파라미터를 40배 늘리면서도 속도는 유지한 Mercury 3를 내놓았지만, 독립 검증된 벤치마크는 아직 없습니다.
Cloudflare, 텍스트 생성 대신 값만 추출·예측하는 모델 Clairic 공개
Cloudflare가 의사결정 대신 값을 직접 추출·계산·예측하는 System One 모델 Clairic을 공개하며 비용 49%, 지연시간 69% 감소 수치를 함께 밝혔습니다.
MiniMax, 작업당 비용 낮춘 에이전트용 모델 M3.1 Flash 공개
MiniMax가 에이전트와 코딩 작업에 특화한 M3.1 Flash를 공개했으며, 독립 평가에서 DeepSeek보다 일부 지표가 높게 나타났습니다.
DeepSeek, 입력과 출력에 다른 연산량 쓰는 오픈 가중치 모델 공개
중국 DeepSeek가 인코더와 디코더에 각각 다른 활성 파라미터를 쓰는 오픈 가중치 모델 V4.1-Flash-1017을 MIT 라이선스로 공개하고 코딩·에이전트 벤치마크를 끌어올렸습니다.
메타, 에이전트형 모델 Muse Wonder와 Wonder Full 공개하며 프런티어 경쟁 합류
메타가 Active Memory와 Active Focus를 갖춘 Muse Wonder·Wonder Full을 공개하며 처음으로 프런티어급 모델 경쟁에 뛰어들었습니다.
마이크로소프트, 차세대 AI 추론 전용 칩 Maia 300 공개
마이크로소프트가 커스텀 AI 추론 칩 Maia 300을 공개하고 2027년부터 대규모로 배포해 자사 서비스의 주력 추론 시스템으로 삼겠다고 밝혔습니다.
에이전트 팀을 꾸려도 성능은 제자리, 비용만 늘었다는 벤치마크 결과
Vals AI가 코딩 작업에서 멀티에이전트 팀 구성과 단일 에이전트를 비교해 비용 대비 성능 개선이 미미하다는 결과를 공개했습니다.
NVIDIA, 에이전트 강화학습의 가중치 동기화를 최대 40배 빠르게 만든 NeMo-DCR 공개
1조 파라미터 모델의 학습-추론 간 가중치 전송을 87.5분에서 150초로 줄인 델타 압축 기법을 NVIDIA 연구진이 논문으로 공개했습니다.
Anthropic, 소형 모델 Claude Haiku 5.5 공개하며 가격을 90% 낮췄습니다
Anthropic이 Haiku 5.5를 출시해 입력 토큰 가격을 90% 낮추고, 비용과 성능을 조절하는 effort 설정을 처음 도입했습니다.
Tencent, 2K 해상도 영상-음성 동시 생성 모델 학습을 2.5배 빠르게 만든 Prism 공개
영상과 음성을 함께 생성하는 모델을 2K 해상도로 학습시킬 때 생기는 어텐션 비용 문제를 동적 희소 어텐션으로 줄인 연구가 코드와 함께 공개됐습니다.
Reflection AI, 5010억 파라미터 오픈웨이트 모델 Beam 발표
브루클린 스타트업 Reflection AI가 활성 파라미터 230억 개로 중국 오픈모델과 맞먹는 성능을 냈다는 Beam을 발표했습니다. 가중치는 10월 중 공개됩니다.
전문가 설계를 줘도 GPU 커널 구현은 따라가지 못한다는 벤치마크 D2K-Bench 공개
LLM 에이전트에게 GPU 커널 설계 지침을 그대로 줘도 전문가 수준 구현에는 못 미친다는 사실을 수치로 분리해 보여준 진단 벤치마크 D2K-Bench를 소개합니다.
게이밍 GPU 한 장으로 1250억 파라미터 모델을 돌리는 추론 엔진 Strata
오픈소스 추론 엔진 Strata가 12GB급 게이밍 그래픽카드에서 1250억 파라미터 MoE 모델을 구동하는 방식을 공개했습니다.
코딩 에이전트의 컨텍스트 압축 시점을 직접 학습시킨 AutoCompact 공개
싱가포르 난양공대 연구진이 코딩 에이전트가 컨텍스트 압축 시점과 내용을 정책으로 학습하는 AutoCompact를 공개하고 SWE-bench Verified 통과율을 9.2%포인트 올렸습니다.
마이크로소프트, 실시간 음성인식 모델 MAI-Transcribe-2-Streaming 공개
마이크로소프트가 음성이 끝나기도 전에 자막을 내놓는 스트리밍 전사 모델과 음성 합성 모델 두 종을 함께 선보였습니다.
AWS, 텍스트 생성 없이 선택지만 고르는 결정 모델 공개
AWS 산하 Strands Labs가 문장을 쓰지 않고 선택지만 고르는 오픈소스 결정 모델 Strands Decider 2B를 공개했습니다.
Cerebras, 추론 단계를 쪼개 처리량을 5배로 늘렸다는 분석 글 공개
Cerebras가 prefill과 decode를 분리하는 disaggregated inference 기법으로 같은 하드웨어에서 처리량을 5배로 늘렸다고 설명하는 블로그 연재를 시작했습니다.
OpenAI, 안전 테스트에 걸린 Astra 대신 GPT-6.1 Sol을 공개했습니다
OpenAI가 DevDay 2026에서 안전 테스트 실패로 출시가 취소된 GPT-6.1 Astra 대신, 5분의 1 가격에 준하는 성능을 내는 GPT-6.1 Sol을 발표했습니다.
Anthropic, Claude Sonnet 5.5 공개하며 가격은 그대로 두고 속도만 높였습니다
Anthropic이 9월 28일 Claude Sonnet 5.5를 출시하며 기존 가격을 유지한 채 출력 속도 30% 이상, 작업당 비용 최대 30% 절감을 발표했습니다.
xAI, Grok 4.7 공개하며 코딩 벤치마크와 안전 테스트 수치를 함께 발표
xAI가 9월 21일 공개한 Grok 4.7은 코딩 에이전트 벤치마크에서 전작보다 오른 점수를 냈고, 거부·탈옥 저항성과 위험 프롬프트 차단율도 같은 자리에서 공개했습니다.
샤오미, MiMo-V2.6 공개하며 오픈웨이트 지능지수 46점 기록
샤오미가 1조 파라미터급 오픈웨이트 모델 MiMo-V2.6-Pro를 MIT 라이선스로 공개했고, Artificial Analysis 지능지수에서 46점을 받아 공개 가중치 모델 중 최고 점수를 기록했습니다.
DeepSeek, KV 캐시를 토큰당 890바이트로 줄인 V4.1-Flash 공개
DeepSeek가 공개한 552B 모델 V4.1-Flash가 계층 간 KV 재사용과 FP4 양자화로 토큰당 캐시 용량을 4분의 1로 줄인 구조를 정리합니다.
전문가별 정밀도를 달리해 아이폰에서 350억 모델을 돌린 실험
Flash-MoE 엔진 기반으로 Qwen3.5-35B-A3B를 티어드 양자화해 아이폰17에서 초당 11토큰으로 구동한 온디바이스 실험이 공개됐습니다.
에이전트가 토큰을 오래 쓸수록 성능이 꺾이는 지점을 잰 논문 공개
LLM 에이전트의 테스트 시점 토큰 사용을 Elo 점수로 추적해, 긴 세션 하나보다 최적 지점에서 나눈 짧은 세션들이 더 나은 성능을 낸다는 것을 실험으로 보여준 논문을 소개합니다.
에이전트 작업 단계별로 KV 캐시를 골라 지우는 AgentKV 공개
계획, 행동, 도구 호출 단계마다 쿼리 방향이 다르다는 점을 이용해 KV 캐시 제거 정책을 다시 짠 AgentKV 논문을 정리했습니다.
NVIDIA, 집 안 여러 기기에 추론 요청을 나눠 보내는 PAIR 공개
NVIDIA가 같은 네트워크의 여러 기기로 추론 요청을 분배하는 오픈소스 라우터 PAIR를 공개했습니다. 이 도구가 하는 일과 하지 않는 일을 정리했습니다.
자연어 명세를 로컬에서 도는 작은 신경망 함수로 컴파일하는 논문
명세를 교사 모델로 예제화한 뒤 LoRA 어댑터로 굳혀, 0.6B 인터프리터가 대형 모델 호출 없이 실행하는 Compile by Training 논문을 정리했습니다.
LLM 추론 흔적의 깨달음 순간이 대부분 예산 효과라는 논문
추론 흔적에서 읽어 내던 breakthrough 순간과 조기 예측 신호를 대조군을 붙여 다시 측정하니 거의 남지 않았다는 arXiv 논문입니다.
Google, Gemini 3.8 Flash 공개하며 보안 변형은 심사제로 배포
Google이 9월 2일 Gemini 3.8 Flash를 출시했습니다. 토큰 단가는 그대로지만 과제당 비용은 올랐고, 보안 특화 변형은 심사를 거친 곳에만 열립니다.
Meta, Muse Spark 1.3 공개하며 데이터 제공 여부로 단가를 둘로 나눴습니다
Meta가 9월 2일 Muse Spark 1.3을 내놓았습니다. 코딩 지표 상승과 함께, 입력을 학습에 쓰도록 허용하면 단가가 10분의 1 아래로 떨어지는 이중 요금제가 눈에 띕니다.
Anthropic, Claude Fable 5.1 공개하며 캐시 읽기 단가를 4분의 1로 인하
Anthropic이 Fable 5.1과 Mythos 5.1을 공개하며 기본 단가는 두고 캐시 읽기만 4분의 1로 내렸습니다. 벤치마크와 세이프가드 조정 내용, 그리고 그 한계를 정리했습니다.
학습 없는 슬라이딩 윈도우 어텐션이 선형 어텐션 변환을 앞섰다는 실험
추가 학습 없이 어텐션 창만 좁힌 기준선이 여러 선형 어텐션 변환 기법과 대등하거나 더 나은 성능을 냈다는 arXiv 논문의 내용과 한계를 정리했습니다.
Tencent, 770B 오픈웨이트 모델 Hy4 preview 공개
Tencent이 8월 28일 총 파라미터 770B, 활성 49B의 MoE 모델 Hy4 preview를 Apache 2.0으로 공개했습니다. 구조와 공개 수치, 모델이 참여했다는 자기 최적화 주장을 정리했습니다.
OpenAI, 자체 추론 칩 Jalapeño의 첫 벤치마크 측정치를 공개
OpenAI가 Broadcom과 만든 추론 전용 칩 Jalapeño의 InferenceX 측정 결과를 내놨습니다. 전력당 처리량과 지연 수치, 그리고 그 수치가 아직 말해 주지 못하는 것들을 정리했습니다.
Qwen, Qwen4 구조를 미리 적용한 오픈웨이트 모델 Qwen3.8-Flash-Next 공개
Alibaba Qwen 팀이 차기 Qwen4 아키텍처를 앞당겨 적용한 125B 규모 MoE 모델의 가중치를 공개했습니다. 어텐션과 잔차, 임베딩, 최적화 네 갈래를 함께 손봤습니다.
Z.AI, 희소·선형 혼합 어텐션을 쓴 오픈웨이트 모델 GLM-5.3-Flash 공개
8월 26일 공개된 320B-A18B MoE 모델. 성능 도약보다 어텐션 연산과 KV 캐시를 줄여 장문맥 서빙 비용을 낮춘 구조 변경이 발표의 중심입니다.