전문가 설계를 줘도 GPU 커널 구현은 따라가지 못한다는 벤치마크 D2K-Bench 공개

왜 지금 이 주제인가

GPU 커널 코드는 모델 훈련과 추론 비용을 좌우하는 핵심 요소이지만, 전문가가 손으로 짠 커널은 여전히 LLM 에이전트가 생성한 코드보다 빠른 경우가 많습니다. 문제는 그 격차가 어디서 오는지 알기 어렵다는 점입니다. 에이전트가 좋은 알고리즘을 떠올리지 못해서인지, 알고리즘은 맞게 떠올렸지만 구현을 못해서인지 런타임 숫자만으로는 구분이 안 됩니다. HKUST, Alibaba Group, USTC 연구진이 공개한 D2K-Bench는 전문가의 설계 지침을 주고 안 주고를 나눠 실험해 이 둘을 분리해 측정했다는 점에서 눈에 띕니다.

핵심 내용

D2K-Bench는 26개 작업과 85개 워크로드로 구성된 진단용 벤치마크입니다. 작업은 네 갈래로 나뉩니다. 어텐션·순환 연산자 7개, 전문가 혼합(MoE)·분산 실행 8개, 인덱싱·샘플링·제어흐름 6개, 양자화·훈련·구조 연산자 5개입니다. 하나의 작업에 배치 크기나 행렬 크기 같은 조건을 다르게 적용해 85개 워크로드를 만들었기 때문에, 같은 커널이라도 조건이 바뀌면 에이전트가 설계를 다시 조정해야 합니다.

기존 코딩 벤치마크는 대부분 에이전트에게 작업 설명만 주고 완성된 코드의 런타임을 재는 방식이었습니다. 이 방식으로는 코드가 느린 이유가 애초에 좋은 알고리즘을 떠올리지 못했기 때문인지, 알고리즘은 맞았지만 GPU 메모리 접근이나 스레드 배치 같은 세부 구현을 못했기 때문인지 구분할 수 없습니다. D2K-Bench는 이 둘을 분리하기 위해 전문가가 실제로 짠 설계 지침을 단계별로 떼어 제공하는 방식을 택했습니다.

연구진은 전문가 설계 지침을 세 단계로 나눠 제공했습니다.

• L1: 고수준 알고리즘 통찰
• L2: 데이터흐름 설계
• L3: 저수준 최적화 기법

같은 작업 설명, 워크로드, 도구, 하드웨어, 350턴의 작업 예산을 유지한 채 지침을 준 경우와 주지 않은 경우를 짝지어 비교했습니다. 추가로 에이전트가 스스로 제안한 설계와, 생성된 코드에 실제로 구현된 설계 속성을 따로 점검했습니다.

실험은 NVIDIA B200 GPU에서 GPT-6-Astra, Claude-Opus-4.8, GPT-5.6-Sol, GLM-5.3, Kimi-K3 다섯 모델을 대상으로 진행했습니다. 지침 없이도 GPT-6-Astra, Claude-Opus-4.8, GPT-5.6-Sol 세 모델은 26개 작업 전부에서 정확한 코드를 생성했고, GLM-5.3과 Kimi-K3는 각각 21개, 22개에서 정확했습니다. 지침을 주자 GLM-5.3은 25개, Kimi-K3도 25개로 올라갔습니다.

속도 측면에서는 지침이 주어졌을 때 GPT-6-Astra가 전문가 구현 대비 2.68배에서 3.33배로, Claude-Opus-4.8이 1.38배에서 2.31배로, GPT-5.6-Sol이 1.31배에서 2.01배로 각각 향상됐습니다. 130개 모델-작업 조합을 종합하면 정확도는 93.1%에서 98.5%로, 26개 작업 전체의 성능 점수는 1.46에서 1.95로 올랐습니다.

GPT-5.6-Sol과 Claude-Opus-4.8 같은 모델은 L2 단계보다 L3, 즉 저수준 최적화 기법을 추가로 받았을 때 성능 향상이 더 컸습니다. 다시 말해 알고리즘 방향을 아는 것보다 구체적인 구현 트릭을 아는 쪽이 더 큰 차이를 만들었다는 뜻입니다. 연구진은 여기에 더해 에이전트가 지침 없이 스스로 내놓은 설계와, 완성된 코드에 실제로 반영된 설계 속성을 별도로 채점했습니다. 이렇게 하면 모델이 좋은 아이디어를 말로는 제안했는지, 그 아이디어를 코드로 옮기는 데 실패했는지까지 구분할 수 있습니다.

의미와 한계

이 결과가 보여주는 것은 설계를 알려줘도 구현 능력 자체가 부족하다는 사실입니다. 연구진이 측정한 구현 점수는 지침을 받은 뒤에도 평균 57점에서 70점(100점 만점)으로 오르는 데 그쳤습니다. 즉 전문가가 짚어 준 설계 속성 중 상당수가 여전히 코드에 반영되지 않았습니다. 지금까지 LLM의 커널 생성 능력을 평가할 때 런타임 하나로 뭉뚱그렸던 것과 달리, 이 벤치마크는 성능 저하의 원인이 알고리즘 발견 부족과 구현 능력 부족 중 어디에 더 가까운지 가늠할 틀을 제공합니다.

다만 실험은 NVIDIA B200이라는 단일 하드웨어, 350턴이라는 고정된 작업 예산 안에서 이뤄졌고, 테스트한 모델도 GPT, Claude, GLM, Kimi 계열의 대형 프런티어 모델 다섯 개에 한정됩니다. 더 작은 오픈웨이트 모델이었다면 지침을 줘도 구현 격차가 더 크게 벌어졌을 가능성이 있는데, 이는 논문이 직접 다루지 않은 추정입니다.

한 줄 정리

전문가의 설계 지침을 그대로 줘도 LLM 에이전트는 GPU 커널 구현에서 여전히 전문가 수준을 따라가지 못한다는 것을 수치로 보여준 벤치마크입니다.