인프라
이 태그가 붙은 글 36편입니다. 전체 태그 보기
미국 11월 지방선거, 데이터센터 반대 주민투표 40건 가결
미국 10개 주 41건의 데이터센터 관련 주민투표 중 40건이 제한·금지 쪽으로 가결되며 AI 인프라 확장에 지역 차원의 저항이 확인됐습니다.
DARPA, 해킹 아닌 시장 설계 결함을 AI로 찾는 IMR 프로그램 공고
DARPA가 해킹이 아닌 시장 규칙 자체의 설계 결함을 찾아 고치는 연구 프로그램 IMR을 공고했습니다. LLM으로 규제 문서를 모델로 바꿔 취약점을 찾습니다.
에이전틱 AI 표준화 재단 AAIF, 신규 프로젝트 4개 추가해 10개로
Linux Foundation 산하 AAIF가 Anthropic, OpenAI, Hugging Face, Alibaba가 각각 기여한 프로젝트를 추가해 출범 1년 만에 10개 프로젝트를 보유하게 됐습니다.
OpenAI, 문장 대신 선택과 점수만 내놓는 Decisions API 정식 공개
OpenAI가 GPT-6 Luna 기반의 저지연 의사결정 전용 API를 정식 출시했습니다. 입력 토큰 100만 개당 0.1달러, 응답 속도는 기존 대비 최대 10배 빠릅니다.
레드햇·IBM·구글 등, 쿠버네티스 네이티브 추론 스택 llm-d 1.0 공개
레드햇, IBM, 구글, CoreWeave, NVIDIA 등이 함께 만든 오픈소스 분산 추론 스택 llm-d가 PyTorch Conference에서 1.0으로 출시되며 CNCF 샌드박스 프로젝트로 편입됐습니다.
NVIDIA, AI 데이터센터 장애 원인을 추적하는 운영 플랫폼 Minerva 공개
NVIDIA가 수십만 GPU 규모 AI 데이터센터의 장애를 조기에 잡아내는 AIOps 플랫폼 Minerva를 공개했습니다. IREN 등이 도입을 준비 중입니다.
구글·메타, PyTorch를 TPU에서 네이티브로 돌리는 TorchTPU 오픈소스 공개
구글과 메타의 PyTorch 팀이 공동 개발한 TorchTPU가 PyTorch Conference 2026에서 공개돼 TPU를 GPU와 동등한 네이티브 학습·추론 대상으로 만들었습니다.
DeepSeek, 프로덕션 추론 엔진 DeepInfer를 오픈소스로 공개
DeepSeek가 자사 서비스를 실제로 돌리는 추론 프레임워크 DeepInfer를 Apache 2.0으로 공개했습니다. 핵심 처리량 수치는 빠졌습니다.
Cloudflare, 텍스트 생성 대신 값만 추출·예측하는 모델 Clairic 공개
Cloudflare가 의사결정 대신 값을 직접 추출·계산·예측하는 System One 모델 Clairic을 공개하며 비용 49%, 지연시간 69% 감소 수치를 함께 밝혔습니다.
Perplexity, 자사 에이전트용 마이크로VM 샌드박스 SPACE 오픈소스 공개
Perplexity가 자체 에이전트 Computer를 격리해 온 샌드박스 플랫폼 SPACE를 Apache 2.0으로 공개하고 보안 테스트 결과를 함께 발표했습니다.
NVIDIA·KAIST, 로봇이 새 작업 배우며 기존 기술 안 잊는 ACCRUE 공개
실제 로봇 조립 작업에서 이전 지식을 재사용해 강화학습 훈련 시간을 최대 68.5% 줄인 지속학습 기법이 발표됐습니다.
Anthropic, 깃 대신 에이전트 전용 소스 컨트롤 시스템 Scion 공개
코딩 에이전트가 쏟아내는 코드량을 감당 못 한 깃을 버리고 Anthropic이 자체 개발한 소스 컨트롤 시스템 Scion의 구조와 수치를 정리했습니다.
마이크로소프트, 차세대 AI 추론 전용 칩 Maia 300 공개
마이크로소프트가 커스텀 AI 추론 칩 Maia 300을 공개하고 2027년부터 대규모로 배포해 자사 서비스의 주력 추론 시스템으로 삼겠다고 밝혔습니다.
AMD, 에이전틱 AI 전용 랙 설계 청사진 Helion 공개
AMD가 CPU 코어 밀도를 크게 높인 에이전틱 AI 전용 데이터센터 랙 설계 Helion을 공개하고 OCP 표준화를 추진합니다.
NVIDIA, 에이전트 강화학습의 가중치 동기화를 최대 40배 빠르게 만든 NeMo-DCR 공개
1조 파라미터 모델의 학습-추론 간 가중치 전송을 87.5분에서 150초로 줄인 델타 압축 기법을 NVIDIA 연구진이 논문으로 공개했습니다.
Tencent, 2K 해상도 영상-음성 동시 생성 모델 학습을 2.5배 빠르게 만든 Prism 공개
영상과 음성을 함께 생성하는 모델을 2K 해상도로 학습시킬 때 생기는 어텐션 비용 문제를 동적 희소 어텐션으로 줄인 연구가 코드와 함께 공개됐습니다.
전문가 설계를 줘도 GPU 커널 구현은 따라가지 못한다는 벤치마크 D2K-Bench 공개
LLM 에이전트에게 GPU 커널 설계 지침을 그대로 줘도 전문가 수준 구현에는 못 미친다는 사실을 수치로 분리해 보여준 진단 벤치마크 D2K-Bench를 소개합니다.
게이밍 GPU 한 장으로 1250억 파라미터 모델을 돌리는 추론 엔진 Strata
오픈소스 추론 엔진 Strata가 12GB급 게이밍 그래픽카드에서 1250억 파라미터 MoE 모델을 구동하는 방식을 공개했습니다.
마이크로소프트, 실시간 음성인식 모델 MAI-Transcribe-2-Streaming 공개
마이크로소프트가 음성이 끝나기도 전에 자막을 내놓는 스트리밍 전사 모델과 음성 합성 모델 두 종을 함께 선보였습니다.
AWS, 텍스트 생성 없이 선택지만 고르는 결정 모델 공개
AWS 산하 Strands Labs가 문장을 쓰지 않고 선택지만 고르는 오픈소스 결정 모델 Strands Decider 2B를 공개했습니다.
Cerebras, 추론 단계를 쪼개 처리량을 5배로 늘렸다는 분석 글 공개
Cerebras가 prefill과 decode를 분리하는 disaggregated inference 기법으로 같은 하드웨어에서 처리량을 5배로 늘렸다고 설명하는 블로그 연재를 시작했습니다.
OpenAI, 전용 클라우드 컴퓨터로 돌아가는 상시 작동 에이전트 Dots 공개
OpenAI가 DevDay에서 전용 클라우드 컴퓨터를 쓰는 상시 작동 에이전트 Dots를 공개했습니다. 읽기 전용 기본값과 승인 규칙으로 자율성과 통제를 함께 설계했습니다.
행과 열을 함께 정규화하는 사전학습 옵티마이저 MeqMuon 공개
AdamW의 2차 모멘트 저장 없이 메모리를 21.6% 줄이면서도 검증 손실은 더 낮춘 옵티마이저 논문이 나왔습니다.
NVIDIA, 에이전트 이탈을 하드웨어로 막는 세이프티 플랫폼 공개
NVIDIA가 소프트웨어 경계를 넘는 AI 에이전트를 BlueField-4 DPU 워치독으로 격리하는 Open Agent Safety Platform을 9월 28일 발표했습니다.
Anthropic, Claude로 생체분자 모델 30여 개 속도를 평균 4배로 높였습니다
Anthropic이 코딩 에이전트 Claude로 오픈소스 생체분자 모델 30여 개를 최적화하고, Adaptyv Bio와 단백질 설계 대회를 공동 개최한다고 밝혔습니다.
DeepSeek, KV 캐시를 토큰당 890바이트로 줄인 V4.1-Flash 공개
DeepSeek가 공개한 552B 모델 V4.1-Flash가 계층 간 KV 재사용과 FP4 양자화로 토큰당 캐시 용량을 4분의 1로 줄인 구조를 정리합니다.
전문가별 정밀도를 달리해 아이폰에서 350억 모델을 돌린 실험
Flash-MoE 엔진 기반으로 Qwen3.5-35B-A3B를 티어드 양자화해 아이폰17에서 초당 11토큰으로 구동한 온디바이스 실험이 공개됐습니다.
에이전트 작업 단계별로 KV 캐시를 골라 지우는 AgentKV 공개
계획, 행동, 도구 호출 단계마다 쿼리 방향이 다르다는 점을 이용해 KV 캐시 제거 정책을 다시 짠 AgentKV 논문을 정리했습니다.
노트북 GPU에서 100만 토큰 에이전트 작업공간을 돌리는 KVMem 공개
컨텍스트 창을 넘어간 에이전트 실행 기록을 요약하지 않고 KV 상태로 GPU와 RAM, NVMe에 나눠 저장하는 KVMem 논문을 정리했습니다.
NVIDIA, 집 안 여러 기기에 추론 요청을 나눠 보내는 PAIR 공개
NVIDIA가 같은 네트워크의 여러 기기로 추론 요청을 분배하는 오픈소스 라우터 PAIR를 공개했습니다. 이 도구가 하는 일과 하지 않는 일을 정리했습니다.
NVIDIA, 모델 허브 Hugging Face를 129억 달러에 인수
NVIDIA가 9월 3일 Hugging Face 인수를 발표했습니다. 발표문에 담긴 중립성 약속과 오픈 모델 생태계에 남는 구조적 변수를 정리했습니다.
같은 연산 예산에서 중간 층을 두 번 도는 MoE 스케일링 법칙 SMELT
루프 트랜스포머를 MoE에 적용한 SMELT 논문이 연산과 파라미터와 KV 캐시를 모두 맞춘 비교에서 학습 FLOPs를 6.8~18.0% 절약했다고 보고했습니다.
소비자용 GPU로 2B 모델을 처음부터 학습한 Puro-2B 레시피 공개
RTX 5090만으로 1.4조 토큰을 학습해 Qwen2.5-1.5B 수준에 근접한 2B 모델을 만든 Puro-2B 보고서와, 데이터와 코드까지 함께 공개한 의미를 정리했습니다.
학습 없는 슬라이딩 윈도우 어텐션이 선형 어텐션 변환을 앞섰다는 실험
추가 학습 없이 어텐션 창만 좁힌 기준선이 여러 선형 어텐션 변환 기법과 대등하거나 더 나은 성능을 냈다는 arXiv 논문의 내용과 한계를 정리했습니다.
OpenAI 등 100여 개 기업, AI 사이버 공격 대비 공동 서한에 서명
경쟁 관계인 프런티어 AI 기업과 보안·금융 기업 100여 곳이 8월 27일 공동 서한을 내고 AI를 활용한 사이버 공격 확산에 대비한 방어 강화를 요구했습니다.
OpenAI, 자체 추론 칩 Jalapeño의 첫 벤치마크 측정치를 공개
OpenAI가 Broadcom과 만든 추론 전용 칩 Jalapeño의 InferenceX 측정 결과를 내놨습니다. 전력당 처리량과 지연 수치, 그리고 그 수치가 아직 말해 주지 못하는 것들을 정리했습니다.