학습 없는 슬라이딩 윈도우 어텐션이 선형 어텐션 변환을 앞섰다는 실험

왜 지금 이 주제인가

최근 공개되는 대형 모델들은 추론 비용을 낮추려고 선형 어텐션(linear attention)을 구조에 섞는 쪽으로 움직이고 있습니다. 이미 학습을 마친 트랜스포머를 선형 어텐션으로 바꿔 다시 학습시키는 변환 기법도 여러 갈래로 나와 있습니다. 8월 28일 arXiv에 올라온 논문 한 편은 이 흐름과 반대되는 결과를 내놨습니다. 추가 학습을 전혀 하지 않고 어텐션이 보는 창만 좁혀도 그 변환 기법들과 비슷하거나 더 나은 성능이 나온다는 주장입니다.

실험 설계와 결과

Alexia Jolicoeur-Martineau 등 네 명이 쓴 이 논문의 방법은 단순합니다. 기존 모델의 어텐션을 슬라이딩 윈도우 어텐션(SWA)으로 바꾸되, 가장 최근 토큰 몇 개만 보는 대신 문장 맨 앞 4개 토큰을 항상 함께 보도록 했습니다. 앞쪽 토큰들이 어텐션 싱크(attention sink), 즉 트랜스포머가 쓸 곳 없는 주의를 흘려보내는 저장소 역할을 하기 때문입니다. 창 크기는 64, 128, 256, 512를 시험했고 별도의 학습은 하지 않았습니다. 전체 어텐션은 문맥 길이에 따라 연산과 메모리가 제곱으로 늘어나는데, 보는 범위를 고정된 창으로 끊으면 그 증가가 멈춘다는 것이 출발점입니다.

비교 대상은 SUPRA, Hedgehog, LoLCATs, Liger-GLA, MOHAWK, Mamba in the Llama, DiJiang, ARWKV, Llamba, QRWKV 계열 등 선형 어텐션 변환 기법들입니다. 기반 모델은 Phi-1.5-1.3B, Mistral-7B-v0.1, Llama 2/3/3.1 계열, Qwen2.5의 7B·32B·72B-Instruct, QwQ-32B까지 1.3B에서 70B 규모를 아우릅니다.

짧은 문맥 과제에서는 차이가 크지 않았습니다. MMLU, ARC-C, ARC-E, HellaSwag, PIQA, WinoGrande 여섯 개 평균에서 창 64에 싱크 4를 쓴 SWA는 원본 모델 성능의 99.0%를 회복했습니다. 추가 학습 토큰은 0입니다. 변환 기법 중 평균이 가장 높았던 QRWKV6는 99.1%로 사실상 같았지만 0.6B 토큰의 사후 학습이 필요했습니다. 5-shot MMLU만 놓고 보면 SWA가 93.2%, QRWKV6가 92.4%였습니다.

격차는 긴 문맥에서 벌어졌습니다. 4K 길이의 S-NIAH(건초더미 속 바늘) 과제에서 창 512에 싱크 4를 쓴 SWA는 1923% 구간의 정확도를 냈지만, LoLCATs는 한 자릿수에 머물렀고 Liger-GLA는 0.8% 이하였습니다. BABILong 4K에서도 SWA가 기준 성능의 25%를 회복한 반면 LoLCATs는 5%에 그쳤습니다. 논문은 이 두 과제를 근거로 긴 문맥에서 SWA가 선형 어텐션보다 210배 높은 성능을 낸다고 정리합니다. 속도와 메모리 측정에서는 창 64짜리 SWA가 가장 빨랐고, 메모리 사용량은 창 크기에 도달한 뒤 평평해졌습니다. 반면 전체 어텐션은 문맥이 1K를 넘어서면서 속도가 떨어졌고 메모리는 문맥 길이에 비례해 계속 늘어났습니다.

의미와 한계

논문의 실질적인 주장은 선형 어텐션이 틀렸다는 쪽이 아니라, 사후 변환이라는 경로가 값에 비해 남는 것이 적다는 쪽에 가깝습니다. 이미 학습된 트랜스포머를 나중에 선형화하는 접근은 적지 않은 추가 학습을 치르고도 학습이 필요 없는 단순한 기준선을 확실히 넘지 못했습니다. 저자들은 선형 어텐션이 제 실력을 내려면 처음부터 그 구조로 학습하거나 훨씬 많은 사후 학습이 필요할 것이라고 봅니다. 기법마다 요구하는 사후 학습 토큰의 양이 제각각이라는 점을 감안하면, 새로운 효율화 기법을 제안할 때 학습이 필요 없는 SWA를 기준선으로 함께 보고해야 한다는 요구로도 읽힙니다.

한계도 분명합니다. 실험은 추가 학습 없는 SWA만 다뤘기 때문에, 같은 예산을 SWA 쪽에 썼을 때 얼마나 더 오르는지는 비교되지 않았습니다. 전체 어텐션 층을 일부 남기는 하이브리드 구성도 비교에서 빠졌는데, 최근 공개된 모델들이 실제로 택하는 방식이 대체로 그쪽입니다. 평가는 언어 모델에 한정돼 멀티모달과 영상은 다루지 않았고, 초대형 모델이나 에이전트형 장기 과제도 분석되지 않았습니다. 4K 문맥에서 회복률이 20~25% 수준이라는 점은, 두 방식의 순위를 떠나 SWA 역시 긴 문맥에서 원본 어텐션을 대체하기에는 멀다는 뜻으로 읽힙니다. 공개된 코드 저장소가 논문에 표시돼 있지 않아 외부 재현에는 시간이 걸릴 것으로 보입니다.

한 줄 정리

학습 한 번 없이 어텐션 창만 좁힌 기준선이 여러 선형 어텐션 변환 기법을 따라잡았고, 긴 문맥일수록 격차가 컸습니다.