Tencent, 2K 해상도 영상-음성 동시 생성 모델 학습을 2.5배 빠르게 만든 Prism 공개

왜 지금 이 주제인가

영상과 음성을 한 모델이 동시에 만들어 내는 작업은 두 modality를 하나의 토큰 시퀀스에 함께 넣고 학습시켜야 합니다. 문제는 해상도가 올라갈수록 토큰 수가 급격히 늘어나고, 영상-음성 쌍을 함께 다루는 풀 어텐션(full attention)의 연산량은 토큰 수의 제곱에 비례해 커진다는 점입니다. Tencent Hunyuan과 Fudan University, Zhejiang University 연구진이 10월 4일 arXiv에 공개한 논문 “Prism”은 이 비용을 동적 희소 어텐션(dynamic sparse attention)으로 줄여, 2K 해상도 영상-음성 동시 생성 모델을 네이티브로 학습시키면서도 풀 어텐션보다 2.5배 빠른 학습 속도를 냈다고 밝혔습니다. 코드와 프리뷰 모델 가중치도 함께 공개됐습니다.

핵심 내용

기존의 희소 어텐션 기법들은 두 갈래로 나뉩니다. 하나는 학습이 끝난 모델에 사후적으로 적용하는 훈련 없는(training-free) 가속화 기법이고, 다른 하나는 영상만 다루는 단일 modality용 희소화 기법입니다. 논문은 이 두 방식 모두 영상-음성 결합 데이터의 구조를 고려하지 않는다고 지적합니다. 영상과 음성 사이의 교차 modality 상호작용은 특정 영역, 즉 소리가 나는 지점 주변에 집중적으로 몰려 있는데, 기존 방법은 이런 구조를 반영하지 못하고 중복된 토큰에까지 어텐션을 분산시켜 학습 신호를 희석시키고 사전학습된 특성을 훼손한다는 것입니다.

Prism은 이 문제를 세 단계로 풀어냅니다.

첫째, 토큰 시퀀스를 시공간상의 매크로존(macro-zone)으로 조직화합니다. 영상의 어느 구간이 빠르게 변화하는지, 어느 구간에서 음성과 영상의 결합이 강한지를 먼저 구분해 두는 단계입니다.

둘째, 매크로존마다 블록 형태를 다르게 할당합니다. 시각 콘텐츠가 빠르게 바뀌는 축에서는 더 세밀하게 쪼개고, 음성-영상 상호작용이 강한 영역도 마찬가지로 촘촘하게 나눕니다. 반대로 변화가 적고 결합이 약한 영역은 큰 블록으로 묶어 연산을 아낍니다.

셋째, top-k와 top-p(CDF 기반) 방식을 결합한 하이브리드 블록 선택 전략으로 질의(query)마다 어텐션을 어디에 집중할지, 즉 희소성의 정도를 그때그때 동적으로 정합니다. 고정된 패턴을 미리 정해 두는 것이 아니라 입력 내용에 따라 어텐션 범위가 달라지는 방식입니다.

연구진은 이 구조를 720p, 1080p, 2K 세 해상도에서 네이티브로 학습시켰습니다. 공개된 저장소에 따르면 720p 학습에는 H100 GPU 32장, 1080p와 2K 학습에는 각각 64장이 쓰였습니다. 그 결과 Prism은 풀 어텐션 대비 2.5배의 학습 속도 향상을 기록했고, 생성 품질은 풀 어텐션을 오히려 웃돌았다고 보고했습니다. 즉 연산을 줄이면서 품질까지 희생하지 않았다는 주장입니다. 연구진은 학습·추론 코드와 Prism-preview-alpha, Prism-preview-beta로 이름 붙인 프리뷰 모델 가중치를 Hugging Face와 GitHub에 함께 올렸고, 데이터 전처리 도구와 단일·다중 GPU 추론 스크립트도 공개했습니다.

의미와 한계

영상 생성 모델들은 최근 몇 달 사이 해상도와 길이를 빠르게 끌어올리고 있지만, 음성을 영상과 동시에, 그리고 서로 어긋나지 않게 생성하는 일은 여전히 계산 비용이 큰 걸림돌이었습니다. Prism이 보여준 것은 두 modality의 상호작용이 몰리는 지점을 어텐션 구조 설계에 반영하면, 품질을 낮추지 않고도 연산량을 크게 줄일 수 있다는 점입니다. 이는 2K급 영상-음성 동시 생성을 더 적은 GPU 자원으로 시도할 수 있는 길을 열어 준다는 의미가 있습니다.

다만 이번 공개는 preview 단계의 alpha·beta 모델이며, 논문 초록 수준에서 확인한 2.5배 속도 향상과 품질 우위는 연구진 자체 실험 환경과 비교 기준(풀 어텐션)에 한정된 수치입니다. 다른 희소 어텐션 기법이나 제3자의 독립적인 재현 결과와 비교한 수치는 이번에 확인하지 못했습니다. 또한 영상-음성 간 상호작용이 약한 장면, 예를 들어 배경음만 깔리는 장면이나 화면 밖에서 소리가 나는 상황에서도 이 매크로존 분할 방식이 동일하게 효과적인지는 추가로 검증이 필요한 영역으로 보입니다.

한 줄 정리

Tencent Hunyuan 연구진이 영상-음성 동시 생성 모델의 2K 학습 비용을 어텐션 구조 재설계로 2.5배 줄인 Prism을 코드와 함께 공개했습니다.