딥마인드 연구소 출범, 모델 사고 과정 투명성 보존안을 수치로 제시

왜 지금 이 주제인가

구글 딥마인드가 9월 16일 새로운 연구소 ‘딥마인드 인스티튜트(DeepMind Institute)‘를 출범시키고 첫 에세이 네 편을 공개했습니다. 그중 안전 연구자 로힌 샤(Rohin Shah)와 앤카 드라간(Anca Dragan)이 쓴 ‘추론 투명성을 위한 근거(The Case for Reasoning Transparency)‘는 최근 모델들이 답을 내놓기 전 거치는 ‘생각의 사슬(Chain of Thought, CoT)‘이 점점 읽을 수 없는 형태로 바뀌고 있다는 문제를 다룹니다. 이 변화가 왜 위험한지, 이를 막기 위해 무엇을 측정하고 제한해야 하는지를 구체적인 수치로 제시했다는 점에서 주목할 만합니다. 딥마인드 인스티튜트는 딥마인드 공동창업자 셰인 레그(Shane Legg)와 구글 임원 제임스 마니카(James Manyika), 데미스 하사비스(Demis Hassabis)가 이끄는 조직으로, 구글 안팎의 서로 다른 시각을 그대로 드러내는 것을 목표로 내세웠습니다.

핵심 내용

CoT는 모델이 최종 답을 내놓기 전에 중간 생각을 사람이 읽을 수 있는 언어로 적어 내려가는 과정입니다. 저자들은 이를 “문제를 풀 때 펜과 종이를 쓰는 것”에 비유합니다. 모델은 한 토큰씩 생각을 만들고, 그 출력을 다시 입력으로 되먹여 다음 단계를 이어갑니다. 이 과정이 사람 언어로 남아 있는 동안에는 연구자가 모델이 왜 그런 결론에 도달했는지 들여다볼 수 있습니다.

문제는 최신 모델일수록 이 창이 좁아지고 있다는 데 있습니다. 저자들은 ‘불투명 직렬 깊이(opaque serial depth)‘라는 개념을 제시합니다. 이는 모델이 사람이 읽을 수 있는 CoT 없이 연속으로 수행할 수 있는 계산 단계의 최대 길이를 뜻합니다. 이 값이 낮으면 모델은 어쩔 수 없이 투명한 언어로 생각해야 하지만, 값이 높아지면 모델은 사람이 알아볼 수 없는 잠재 공간(latent space) 표현 안에서 사고를 마칠 수 있습니다. 실제로 OpenAI의 GPT-6 Astra는 “CoT 모니터링 가능성이 크게 떨어졌다”는 평가를 받았고, 한 번의 순전파(forward pass) 안에서 추론하는 능력이 크게 늘었다고 저자들은 지적합니다.

저자들은 이 지표에 구체적인 숫자를 붙입니다. 불투명 직렬 깊이를 현재 모델의 10배로 제한하더라도, 지금의 구조를 그대로 쓴다면 전체 연산량은 1,000배 넘게 늘릴 수 있다는 계산입니다. 즉 투명성을 지키는 상한을 두더라도 실질적인 성능 향상 여지는 충분히 남는다는 주장입니다.

투명성이 중요한 이유로는 세 가지를 듭니다. 첫째, 모델이 사람을 속이거나 계획을 꾸미는 조짐을 CoT에서 미리 잡아낼 수 있습니다. 둘째, 종료 명령에 저항하는 등 예상 밖의 행동이 나왔을 때 원인을 추적할 수 있습니다. 셋째, 아직 알려지지 않은 위험 유형을 추론 기록에서 발견할 수 있습니다. 저자들은 앞서 있었던 Hugging Face 해킹 조사 사례를 들며, 읽을 수 있는 CoT가 없었다면 그 조사 자체가 성립하지 않았을 것이라고 씁니다.

이를 지키기 위한 방안으로는 세 가지를 제안합니다. 투명성 자체를 측정하는 평가 체계를 만들 것, CoT를 자연스럽게 만들어 내는 구조를 유지할 것, 그리고 학습 과정에서 CoT가 “안전해 보이도록” 직접 학습시키지 않을 것입니다. 마지막 항목에 대해서는 부모가 반항적인 일기를 벌하겠다고 하면 십대가 생각을 감추는 법을 배우는 것과 같다고 비유합니다. 겉보기에 안전한 생각을 보상하면, 모델은 실제로는 다른 것을 생각하면서 안전한 척하는 법을 익힐 수 있다는 것입니다.

의미와 한계

이 에세이는 규제 논의를 추상적인 위험론에서 측정 가능한 지표로 옮기려는 시도입니다. 저자들은 규제 기관이 불투명 직렬 깊이에 상한을 두거나, 개발자가 CoT 없는 대안 구조를 쓰려면 그것이 기존만큼 감시 가능하다는 것을 입증하도록 요구할 수 있다고 제안합니다.

다만 이는 딥마인드 소속 연구자 두 명이 쓴 에세이일 뿐, 구글이나 다른 연구소가 이 기준을 실제로 채택하겠다고 약속한 것은 아닙니다. 불투명 직렬 깊이를 어떻게 측정할지, 누가 검증할지에 대한 구체적인 방법론도 아직 나오지 않았습니다. 저자들 스스로도 이 조치가 초지능 시스템이 근본적으로 선한 의도를 갖도록 만드는 더 큰 정렬 작업을 대체하지 않는다고 선을 긋습니다. 이번 제안은 안전 확보의 전부가 아니라 지금 당장 잃지 말아야 할 최소한의 창을 지키자는 쪽에 가깝습니다.

한 줄 정리

딥마인드 연구자들은 모델의 생각 과정이 읽을 수 없게 변해가는 흐름에 제동을 걸 구체적인 지표와 수치를 제시했습니다.