전문가별 정밀도를 달리해 아이폰에서 350억 모델을 돌린 실험
Flash-MoE 엔진 기반으로 Qwen3.5-35B-A3B를 티어드 양자화해 아이폰17에서 초당 11토큰으로 구동한 온디바이스 실험이 공개됐습니다.
왜 지금 이 주제인가
9월 16일, 개발자들이 350억 파라미터 규모의 혼합전문가(Mixture of Experts, MoE) 모델 Qwen3.5-35B-A3B를 아이폰17에서 초당 11토큰 속도로 돌린 실험 결과를 공개했습니다. 이 모델은 4비트로 양자화해도 약 20GB의 RAM이 필요한데, 아이폰 대부분은 8GB 메모리만 갖고 있어 물리적으로 두 배 넘게 모자랍니다. 그런데도 실행이 가능했던 것은 전문가마다 정밀도를 차등 적용하고, 필요한 전문가만 SSD에서 그때그때 읽어 오는 방식 덕분입니다. 온디바이스 AI가 소형 모델의 전유물이라는 통념을 다시 흔드는 사례라 눈여겨볼 만합니다.
핵심 내용
MoE 구조와 메모리 병목
Qwen3.5-35B-A3B는 토큰 하나를 생성할 때마다 전체 350억 파라미터 중 약 30억 개(전체의 8.6%)만 활성화하는 구조입니다. 라우터가 입력을 보고 40개 전문가 중 일부만 골라 쓰기 때문에, 이론적으로는 활성화되는 부분만 메모리에 올려 두면 됩니다. 문제는 어느 전문가가 다음에 필요할지 미리 알 수 없다는 점입니다. 토큰마다 필요한 전문가 조합이 바뀌기 때문에, 결국 전체 전문가 가중치를 어딘가에 두고 필요할 때마다 꺼내 쓰는 구조가 되어야 합니다. 이 실험은 애플 실리콘용으로 먼저 만들어진 오픈소스 추론 엔진 Flash-MoE를 iOS용으로 이식해, 같은 전략을 휴대폰 안에서도 그대로 적용한 것입니다.
티어드 양자화: 핫 전문가와 콜드 전문가
개발팀은 실제 추론 과정에서 전체 40개 전문가 중 약 25%가 작업량의 80%를 처리한다는 점을 확인했습니다. 자주 쓰이는 이 “핫” 전문가는 4비트 정밀도를 유지하고, 나머지 “콜드” 전문가는 2비트로 더 압축했습니다. 이 차등 압축으로 모델 크기는 19GB에서 13GB로 34% 줄었고, 자주 쓰는 부분이 더 빠른 메모리 영역에 남을 확률이 높아졌습니다.
메모리 계층과 I/O 최적화
상주 메모리에는 임베딩과 어텐션, 라우터 등 핵심 구성요소 1.4GB만 올려 두고, 나머지 12GB는 전문가별 파일(각 약 300MB) 40개로 나눠 SSD에 저장했습니다. 토큰 하나를 생성할 때마다 SSD에서 약 320회의 소규모 읽기가 발생합니다. 아이폰의 실제 플래시 읽기 속도는 초당 1.6GB인데 필요한 속도는 초당 5GB 이상이라, 개발팀은 처음에 별도의 캐시 시스템을 직접 구현했지만 GPU 메모리, OS 캐시와 경합하면서 오히려 성능이 떨어지는 경험을 했습니다. 자체 캐시를 걷어내고 iOS의 페이지 캐시에만 맡기자 성능이 38% 개선됐습니다. 이 과정에서 콜드 전문가를 읽어 오는 함수의 검증 오류로 모델이 불완전한 상태로 실행돼 같은 토큰을 반복하는 버그도 확인됐습니다.
같은 Flash-MoE 엔진으로 올해 초 3,970억 파라미터 모델을 아이폰에서 돌린 시도가 이미 있었지만, 그때는 초당 0.6토큰에 그쳐 시연 이상의 의미를 갖기 어려웠습니다. 티어드 양자화와 페이지 캐시 활용을 더한 이번 350억 모델 실험은 초당 11토큰까지 속도를 끌어올려, 실사용에 근접한 사례로 꼽힙니다.
의미와 한계
이번 실험은 MoE 구조의 희소 활성화 특성이 모바일 환경에 특히 잘 맞는다는 점, 그리고 운영체제 수준의 캐싱이 잘 짠 커스텀 캐시보다 나을 수 있다는 점을 보여줍니다. 서버나 노트북이 아니라 손안의 기기에서 수십억 파라미터급 모델을 돌릴 수 있다는 가능성 자체가 온디바이스 AI 진영에 참고가 될 만합니다.
다만 한계도 뚜렷합니다. 지속적인 고부하 연산으로 기기 발열이 심하게 발생해 장시간 사용은 현실적이지 않고, 배터리 소모나 저장 공간 점유 문제는 아직 검증되지 않았습니다. 콜드 전문가 읽기 검증 오류처럼 안정성이 다듬어지지 않은 부분도 남아 있습니다. 무엇보다 이 실험은 공식 제품이 아니라 오픈소스 커뮤니티 차원의 개인 프로젝트에서 나온 결과라, 실제 아이폰 사용자가 일상적으로 쓸 수 있는 형태로 이어질지는 별개 문제입니다.
한 줄 정리
전문가별로 정밀도를 달리하고 읽기 작업을 OS 캐시에 맡기는 방식으로, 아이폰에서 350억 파라미터 모델이 초당 11토큰까지 돌아갔습니다.