게이밍 GPU 한 장으로 1250억 파라미터 모델을 돌리는 추론 엔진 Strata

왜 지금 이 주제인가

오픈소스 추론 엔진 Strata가 9월 24일 첫 공개 이후 빠르게 플랫폼을 넓히고 있습니다. 10월 2일 Windows 10/11 지원이 추가됐고, 10월 4일에는 병렬 요청 처리를 더한 v0.1.39가 나왔습니다. 1250억 파라미터 규모의 MoE(혼합 전문가) 모델 Qwen3.8-Flash-Next를 12GB급 게이밍 그래픽카드 한 장으로 돌릴 수 있다는 점이 핵심입니다. 로컬 추론과 API 호출 사이의 비용 구조를 다시 따져볼 만한 사례입니다.

핵심 내용

Strata는 llama.cpp/ggml 기반으로 만들어진 MIT 라이선스 추론 엔진으로, 개발자 Niko1221과 기여자들이 관리합니다. 모델 가중치 압축은 ISTA-DASLab, UkisAI, Unsloth가 맡았습니다.

대상 모델 Qwen3.8-Flash-Next는 24,576개의 소형 전문가(expert)로 이뤄진 MoE 구조이며, 토큰 하나를 생성할 때마다 이 중 10개만 활성화됩니다. 전체 파라미터는 125B지만 희소 라우팅 덕분에 실제 연산량은 훨씬 작습니다. Strata는 자주 쓰이는 전문가는 GPU VRAM에 유지하고 나머지는 시스템 RAM으로 내려 보내는 방식으로 메모리를 관리합니다. 개발진은 이를 “자주 쓰는 재료는 조리대에, 나머지는 찬장에 두는 것”에 비유했습니다.

요구 사양은 NVIDIA RTX 20~50 시리즈 또는 AMD RX 7800/7900, 9060/9070 계열 중 12GB 이상 VRAM, 32GB 이상(권장 64GB) 시스템 RAM, SSD 여유 공간 약 80GB입니다.

성능은 양자화 수준에 따라 다릅니다. RTX 5070에서 가장 가벼운 Q2_0 빌드는 출력 초당 94토큰, 프롬프트 읽기 초당 2,650토큰입니다. 더 정밀한 IQ3_S 빌드는 출력이 초당 53토큰으로 떨어집니다. AMD RX 9070 XT는 Q2_0 기준 출력 초당 60토큰, 읽기 초당 1,160토큰입니다. 투기적 디코딩(speculative decoding)을 적용해 작은 드래프트 모델이 다음 몇 토큰을 먼저 추측하고 본 모델이 한 번에 검증하는 방식으로 1.6~1.8배의 처리량 향상을 얻었다고 밝혔습니다.

10월 4일 v0.1.39는 여러 요청을 동시에 처리하는 병렬 요청 기능과, Codex CLI 연동을 위한 OpenAI Responses API를 추가했습니다. 구형 GPU와 AVX 명령어만 지원하는 CPU까지 호환 범위도 넓혔습니다. 같은 버전에서 Q2_0 빌드 디코딩 속도가 약 6% 빨라졌고, RTX 4090 두 장으로 코드 작업을 돌렸을 때는 최대 132%의 성능 향상이 확인됐습니다. 병렬 요청 환경에서는 응답 시작까지 걸리는 시간이 11.2초에서 1.8초로 줄었습니다.

Strata는 로컬호스트에서 OpenAI 및 Anthropic 호환 API를 노출하기 때문에, 클라우드 API를 호출하도록 짜인 코딩 에이전트나 도구를 설정 변경만으로 로컬 모델에 연결할 수 있습니다.

의미와 한계

1250억 파라미터급 MoE 모델을 1,000달러 미만의 소비자용 그래픽카드에서 돌릴 수 있다는 점은 로컬 추론의 접근성을 끌어올립니다. OpenAI/Anthropic 호환 API를 그대로 제공해 기존 에이전트 도구 생태계에 끼워 넣기 쉽다는 점도 실용적입니다.

다만 한계도 있습니다. 가장 가벼운 Q2_0 양자화는 속도를 위해 정밀도를 크게 낮춘 빌드여서 원본 대비 응답 품질이 떨어질 가능성이 있습니다. 초당 60~94토큰은 클라우드 API보다 느려 대화형보다는 오래 걸리는 백그라운드 에이전트 작업에 더 어울립니다. VRAM과 RAM을 오가는 오프로딩 구조라 동시 요청이 늘면 디코딩 속도가 떨어지는 현상도 확인됐습니다. 커뮤니티 주도 프로젝트인 만큼 장기 유지보수나 보안 검증 체계가 상용 서비스 수준은 아니라는 점도 염두에 둘 부분입니다. 또한 수치는 모두 개발진이 자체 측정해 공개한 값으로, 독립 기관의 검증을 거친 결과는 아직 아닙니다.

한 줄 정리

Strata는 1250억 파라미터 MoE 모델을 12GB급 게이밍 GPU에서 돌려 로컬 추론과 API 호출의 비용 비교를 다시 생각하게 만드는 오픈소스 프로젝트입니다.