보안 도구용 자연어-명령어 번역 능력을 재는 KaliBench 공개

왜 지금 이 주제인가

보안 업무에 LLM 에이전트를 끌어다 쓰는 사례가 늘고 있지만, 모델이 실제 보안 도구를 다루는 명령어를 제대로 만들어 내는지 측정할 방법은 마땅치 않았습니다. 아랍에미리트 칼리파 대학교와 서호주 대학교 연구진이 2026년 10월 1일 arXiv에 올린 KaliBench는 이 공백을 겨냥한 벤치마크입니다. 평가 대상은 침투테스트 전문가들이 실제로 쓰는 배포판인 칼리 리눅스의 명령줄 도구입니다. 지식 테스트나 성공 여부만 보는 기존 평가와 달리, 자연어 요청을 실행 가능한 명령어로 얼마나 정확히 옮기는지를 세밀하게 잰다는 점이 다릅니다.

핵심 내용

KaliBench는 8,504개의 쿼리-명령어 쌍과 1,642개 도구로 구성됩니다. 평가 범위는 정보수집, 무선, 웹, 익스플로잇, 포렌식, 리버스엔지니어링 등 23개 기능 차원과 정찰 및 초기 접근, 취약점 분석, 익스플로잇과 페이로드 전달, 포스트 익스플로잇과 측면 이동, 방어 분석과 리포팅의 5개 보안 단계로 나뉩니다. 평가용 5,000개와 훈련용 3,504개 세트를 분리해 두었습니다.

평가는 입력 정보량을 달리한 세 가지 설정으로 진행됩니다. 제약 없이 요청만 주는 Unrestricted(U), 추가 제약 조건을 붙이는 Restricted(R), 정답에 가까운 힌트를 주는 Hinted(H) 설정입니다. 명령어를 실제로 실행하지 않고도 구성 요소 단위로 정확성을 판정하는 “런타임 프리” 검증 방식을 써서, 위험한 도구를 실행하지 않으면서도 세밀한 채점이 가능하게 했습니다.

오픈웨이트 모델 중 가장 높은 점수를 받은 것은 753B 규모의 GLM-5.2로, 제약 없는 설정에서 정확한 명령어 비율 41.3%를 기록했습니다. 685B 규모의 DeepSeek-V3.2는 33.0%, Qwen3 기반 8B 모델인 RedSage-Ins는 19.7%에 그쳤습니다. 논문은 “제약 없는 설정에서 정확한 명령어 정확도가 42%를 넘는 오픈웨이트 모델이 없다”고 밝혔습니다.

상용 모델 평가에서는 GPT-5.6-Sol이 전체 5,000개 쿼리 기준 61.68%로 가장 높았고, Codex(GPT-5.5)가 51.68%, Claude Opus 5가 44.02%였습니다. 다만 Claude Opus 5는 5,000개 쿼리 중 73.5%에만 응답했고, 응답한 것만 따지면 정확도가 59.89%로 올라갑니다. 나머지는 보안 정책상 거부로 추정됩니다. 이번 평가에는 Gemini 계열 모델이 포함되지 않았습니다.

연구진은 8B 규모 모델의 학습 효과도 함께 실험했습니다. Qwen3-8B 기반 모델에 KaliBench 훈련셋으로 지도학습(SFT)을 적용한 뒤, 구성 요소별로 검증 가능한 보상을 주는 GRPO(그룹상대정책최적화) 강화학습을 추가로 적용했습니다. 그 결과 RedSage-K(SFT+GRPO) 모델은 제약 없는 설정에서 32.2%를 기록해, 685B 규모 DeepSeek-V3.2의 33.0%와 0.8퍼센트포인트 차이까지 좁혔습니다.

의미와 한계

8B 모델이 적절한 훈련 데이터와 검증 가능한 보상만으로 685B 모델에 근접한 성능을 낼 수 있다는 결과는, 특정 도메인에서는 거대 모델 대신 작은 전문 모델을 쓸 여지가 있다는 것을 보여줍니다. 보안 도구 자동화나 레드팀 에이전트를 평가할 세밀한 기준이 생겼다는 점도 실무적으로 쓸모가 있습니다.

다만 이 벤치마크가 재는 것은 명령어를 올바른 형태로 구성했는지이지, 그 명령이 실제 침투테스트나 방어 작업에서 성공하는지는 별도 문제입니다. 모든 오픈웨이트 모델이 제약 없는 설정에서 42%를 넘지 못했다는 것은, 자동화된 보안 도구 조작을 모델에 그대로 맡기기엔 아직 이르다는 뜻으로도 읽힙니다. Claude Opus 5처럼 응답률 자체가 낮은 모델은 안전 정책에 따른 거부와 실제 능력 부족이 수치에 섞여 들어가 상용 모델 간 비교가 깔끔하지 않습니다. 데이터 범위도 칼리 리눅스 생태계에 한정돼 있어, 보안 업무 전반을 대표한다고 보기는 어렵습니다.

한 줄 정리

칼리 리눅스 명령어 생성 능력을 재는 KaliBench에서 오픈웨이트 모델은 제약 없는 설정 기준 42%를 넘지 못했고, 8B 모델도 학습을 거쳐 685B급에 근접했습니다.