DeepSeek, KV 캐시를 토큰당 890바이트로 줄인 V4.1-Flash 공개

왜 지금 이 주제인가

DeepSeek가 9월 17일 arXiv에 공개한 기술보고서에서 새 모델 DeepSeek-V4.1-Flash를 발표했습니다. 이 모델의 초점은 답변 품질이 아니라 메모리입니다. 대화나 에이전트 작업이 길어질수록 모델이 붙들고 있어야 하는 KV 캐시, 즉 과거 토큰들의 키·값 벡터가 커지면서 GPU 메모리와 서비스 비용을 잡아먹는데, 이번 보고서는 이 캐시를 토큰당 890바이트까지 줄이는 방법을 구체적인 구조와 함께 공개했습니다. 100만 토큰 문맥을 유지하는 에이전트가 늘어나는 상황에서, 캐시 압축은 응답 품질보다 먼저 비용 구조를 좌우하는 변수가 되고 있습니다.

핵심 내용

DeepSeek-V4.1-Flash는 552B 규모 백본을 가진 MoE(전문가 혼합) 모델로, 토큰마다 공유 전문가 1개와 라우팅 전문가 384개 중 6개만 활성화합니다. 활성 파라미터는 프리필(prefill) 단계에서 8B, 디코드 단계에서 16B이며, 여기에 196B 규모의 별도 Engram 파라미터가 더해집니다. 학습에는 텍스트와 이미지를 섞은 45조 토큰 규모 코퍼스를 사용했고, 문맥 길이는 최대 100만 토큰까지 지원합니다.

캐시 압축의 핵심은 CSA2(Compressed Sparse Attention 2)라는 어텐션 구조입니다. 인코더의 18개 레이어를 6개씩 3개 그룹으로 묶어, 각 그룹의 첫 레이어만 자신의 키·값과 인덱서 쿼리를 새로 계산하는 ‘풀 모드’로 돌리고, 나머지 레이어는 이전 레이어가 고른 상위 512개 토큰의 인덱스를 그대로 재사용하는 ‘재사용 모드’로 처리합니다. 중간 단계인 ‘재인덱스 모드’는 가장 최근의 키·값은 재사용하되 쿼리만 새로 계산해 순위를 다시 매깁니다. 이렇게 레이어 간 계산을 나눠 맡기면서 프리필 단계에서는 레이어당 15개, 디코드 단계에서는 11개의 커널만으로 어텐션을 처리할 수 있게 됐습니다.

여기에 KV 캐시 자체도 4비트 부동소수점(FP4, E2M1 형식에 16채널당 하나의 E4M3 스케일)으로 양자화합니다. 보고서는 RMSNorm을 거친 값의 최댓값이 약 22.6인 반면 이 형식이 표현할 수 있는 최댓값은 2688에 달해, 전역 스케일 값을 따로 저장하지 않아도 정확도 손실이 측정되지 않는다고 밝혔습니다.

마지막으로 SSD나 호스트 메모리에 저장해 두는 영구 KV 캐시는 SWA Bounded Replay라는 기법으로 줄였습니다. 전체 프리필 문맥을 다시 계산하는 대신 가장 최근 구간만 다시 계산해 슬라이딩 윈도 어텐션 레이어에 채워 넣는 방식으로, 전체 프리필 연산량을 절반 가까이 줄이면서도 응답 품질 저하는 미미하다고 보고했습니다.

이런 조합의 결과로 토큰당 전역 KV 캐시 용량은 890바이트로, 전작인 DeepSeek-V4-Flash 대비 약 4분의 1, 2024년 모델인 V1 대비로는 437분의 1까지 줄었습니다. 영구 캐시는 V4-Flash 대비 약 8분의 1 수준입니다. 문맥을 4천 토큰에서 100만 토큰으로 256배 늘려도 디코드 연산량은 4분의 1 늘어나는 데 그쳤습니다. 벤치마크에서도 V4-Flash 대비 MMLU-Pro는 68.3에서 74.1로, HumanEval은 69.5에서 79.4로, GSM8K는 90.8에서 93.0으로, BigCodeBench는 56.8에서 60.6으로 모두 올랐습니다.

의미와 한계

이번 보고서가 보여주는 것은 문맥이 길어져도 메모리 비용이 비례해서 커지지 않도록 만드는 구체적인 엔지니어링 경로입니다. 에이전트가 도구를 여러 번 호출하며 긴 작업 기록을 계속 붙들고 있어야 하는 상황에서, 캐시 용량은 곧 서비스 단가와 직결되기 때문에 이런 압축 기법은 실제 배포 비용에 바로 영향을 줍니다.

다만 이 수치는 모두 DeepSeek 자신이 작성한 기술보고서에 실린 것으로, 외부 기관의 독립적인 재현이나 검증을 아직 거치지 않았습니다. CSA2와 SWA Bounded Replay는 DeepSeek의 자체 MoE 구조와 학습 파이프라인에 맞춰 설계된 기법이라, 다른 아키텍처의 모델에 그대로 옮겨 적용할 수 있을지는 확인되지 않았습니다. 또 MATH 벤치마크 점수는 V4-Flash보다는 올랐지만 더 큰 모델인 V4-Pro보다는 낮아, 압축이 모든 영역에서 성능을 끌어올린 것은 아닙니다. 캐시를 줄이는 최적화가 늘 그렇듯, 실제 서비스 환경에서 다양한 배치 크기와 하드웨어 조건에 걸쳐 얼마나 안정적으로 재현되는지는 별도로 지켜봐야 할 부분입니다.

한 줄 정리

DeepSeek가 KV 캐시를 토큰당 890바이트까지 줄인 V4.1-Flash 기술보고서를 공개해, 긴 문맥 처리의 비용 구조를 바꿀 근거를 제시했습니다.