캐나다·독일, 벤지오의 안전 AI 비영리기관 LawZero에 3억 달러 투자

왜 지금 이 주제인가

2026년 9월 16일 몬트리올에서 열린 ALL IN 컨퍼런스에서 캐나다 정부와 독일 정부가 요슈아 벤지오가 만든 비영리기관 LawZero에 자금을 투자한다고 공식 발표했습니다. 캐나다는 1억 5천만 캐나다달러, 독일은 1억 유로를 투입해 합계 약 3억 캐나다달러 규모입니다. 튜링상 수상자인 벤지오는 2025년 6월 자신의 우려를 기술적으로 풀어보겠다며 LawZero를 세웠고, 이번 투자는 정부가 민간 실험실 바깥에서 안전성 연구를 직접 후원하는 드문 사례입니다. 개별 모델 출시가 아니라 안전성 연구 자체에 정부 예산이 붙었다는 점에서 살펴볼 만합니다.

핵심 내용

LawZero는 현재 직원 약 50명 규모의 몬트리올 소재 비영리기관입니다. 설립 초기에는 Future of Life Institute, Schmidt Sciences, Gates Foundation 등 민간 자선 자금 약 3천만 미국달러로 시작했는데, 이번 캐나다·독일 투자로 자금 규모가 열 배 가까이 늘었습니다.

이 기관이 만드는 것은 “Scientist AI”라는 시스템입니다. 벤지오가 밝힌 설계 원칙은 다음과 같습니다.

• 검증 가능한 사실 기반 학습: 최첨단 파운데이션 모델과 에이전트가 보이는 문제적 특성, 특히 아첨성(sycophancy)과 설득 행동을 피하도록 검증 가능한 사실을 기반으로 학습시킵니다.
• 자체 목표를 추구하지 않음: 캐나다 정부 발표문은 이 시스템이 “투명하게 추론하고 신뢰할 수 있는 증거 기반 결과물을 제공하도록 설계”되었으며 스스로 목표를 추구하지 않는다는 점을 강조했습니다.
• 가드레일 역할: 다른 AI 에이전트의 행동이 해를 끼칠 가능성을 미리 예측해 차단하는 안전장치로 기능하는 구조를 지향합니다. 상용 AI 도구에 안전장치로 판매하는 것이 목표라고 밝혔습니다.

투자금의 용도는 세 갈래로 나뉩니다. 첫째는 연구·엔지니어링 인력 확충이고, 둘째는 컴퓨팅 인프라 확보입니다. 캐나다 AI 인프라 기업 Hypertec과 5C가 새로 구축할 클러스터에 대한 접근권을 얻는 방식으로, 자체 데이터센터를 짓는 대신 국내 인프라 기업과 제휴해 컴퓨팅 자원을 조달하는 구조입니다. 셋째는 조직 확장으로, LawZero는 베를린에 새 사무소를 열 계획이며 캐나다 내 정규직 일자리 360개 창출을 지원한다고 발표문에 명시했습니다.

이번 투자는 갑자기 나온 것이 아니라 캐나다와 독일이 지난 2월 맺은 AI 공동선언 및 주권기술동맹 합의를 기반으로 합니다. 캐나다 정부는 이를 자국의 국가 AI 전략 이행의 일환으로 자리매김했습니다. 벤지오는 이번 발표에 대해 “정부들이 우리 미션을 중요하게 생각한다는 확약을 받고 있다”며 “AI가 우리 지시를 따르면서 엉뚱한 짓을 하지 않도록 구축하는 방법을 알아내야 한다”고 말했습니다. LawZero는 상용화 시점을 특정하지는 않았지만, Scientist AI를 독자 제품이 아니라 기존 AI 도구에 덧붙이는 안전장치 형태로 판매하겠다는 방향을 밝혔습니다.

의미와 한계

정부가 특정 실험실의 상업 모델이 아니라 비영리 안전성 연구 기관에 대규모 공공 자금을 투입한 것은 흔한 일이 아닙니다. 민간 자선 재단 의존도가 높았던 AI 안전성 연구가 국가 예산으로 뒷받침되는 사례가 늘고 있다는 신호로 볼 수 있습니다. 캐나다와 독일이 이를 “주권 AI” 전략의 일부로 규정한 점도 눈에 띕니다. 특정 실험실에 안전성 검증을 맡기는 대신 독립된 기관이 감시자 역할을 하는 구조를 국가가 지원하겠다는 뜻입니다.

다만 Scientist AI가 실제로 얼마나 작동하는지는 아직 공개된 벤치마크나 논문으로 확인되지 않았습니다. “자체 목표를 추구하지 않는 시스템”이라는 설계 목표와 “다른 에이전트의 위해 가능성을 예측해 차단하는 가드레일”이라는 실제 구현 사이의 간극이 얼마나 좁혀졌는지는 이번 발표만으로는 판단하기 어렵습니다. 상용화까지 걸릴 시간, 실제 실험실 모델과의 통합 방식, 검증 가능한 성능 지표는 앞으로 나올 후속 자료를 지켜봐야 알 수 있습니다. 또한 이번 자금이 캐나다·독일 두 나라에서만 나왔다는 점에서, 벤지오가 목표로 삼는 국제적 협력 규모에는 아직 미치지 못한다는 지적도 나올 수 있습니다.

한 줄 정리

캐나다와 독일 정부가 벤지오의 비영리기관 LawZero에 3억 캐나다달러를 투자해 자체 목표 없이 다른 AI 에이전트를 감시하는 Scientist AI 개발을 지원하기로 했습니다.