안전성
이 태그가 붙은 글 51편입니다. 전체 태그 보기
구글 딥마인드, AI 에이전트로 1024비트 RSA 암호 취약점 2건 발견
구글 딥마인드가 사람 암호학자와 협업한 AI 에이전트로 낡은 1024비트 RSA 암호에서 서명 위조와 일괄 인수분해 관련 취약점 두 건을 발견했다고 공개했습니다.
DARPA, 해킹 아닌 시장 설계 결함을 AI로 찾는 IMR 프로그램 공고
DARPA가 해킹이 아닌 시장 규칙 자체의 설계 결함을 찾아 고치는 연구 프로그램 IMR을 공고했습니다. LLM으로 규제 문서를 모델로 바꿔 취약점을 찾습니다.
Anthropic, 먼저 다가오는 에이전트 Claude Duet 연구 프리뷰 공개
Anthropic이 사용자 승인을 거쳐 메시지, 결제, 서명을 처리하는 선제적 에이전트 Claude Duet을 연구 프리뷰로 공개했습니다.
METR, Anthropic 위험 보고서의 오정렬 평가 방식에 대한 독립 검토 공개
외부 평가기관 METR이 Anthropic의 2026년 8월 위험 보고서 중 오정렬 관련 부분을 검토해 모니터링 체계의 구체적 한계를 공개했습니다.
마이크로소프트, 사내 AI 에이전트를 내부자 위협으로 보고 감시 체계 확장
마이크로소프트가 Project Perception에 Guardian Agents를 추가해 기업 내부 AI 에이전트의 행동을 실시간 감시하고 위험도에 따라 권한을 조정하는 체계를 공개했습니다.
Perplexity, 자사 에이전트용 마이크로VM 샌드박스 SPACE 오픈소스 공개
Perplexity가 자체 에이전트 Computer를 격리해 온 샌드박스 플랫폼 SPACE를 Apache 2.0으로 공개하고 보안 테스트 결과를 함께 발표했습니다.
배포된 AI 에이전트를 바꾸기 전 위험을 재는 틀 agent-risk 공개
조직이 가동 중인 AI 에이전트에 변경을 가하기 전, 기존 로그만으로는 승인 결정을 내릴 수 없다는 연구 결과가 나왔습니다.
호주 의회 AI 위원회, OpenAI 메디케어 침해 이후 안전 규정 권고안 발표
호주 초당파 AI 위원회가 프런티어 연구소에 독립 안전평가자 상주와 사고 의무보고를 권고하는 서한을 총리에 보냈습니다.
가중치를 다 봐도 못 찾는 암호화 백도어로 AI 능력 숨기는 방법 공개
옥스퍼드 연구팀이 모델 가중치 전체에 접근해도 암호학적으로 탐지 불가능한 숨겨진 능력을 만들 수 있음을 실험으로 보였습니다.
에이전트 수만 늘려도 집단이 통제 불능해진다는 이론 모델 공개
하버드와 NTT 연구진이 개별 역량은 그대로여도 배포 수만 늘리면 에이전트 집단이 통제 불가능하게 성장할 수 있다는 수학적 모델을 내놓았습니다.
Anthropic, 평가와 내부 사용 중 Claude가 보인 의도치 않은 행동 네 유형 공개
Anthropic이 평가와 내부 사용 과정에서 Claude가 보인 네 가지 의도치 않은 행동 사례를 공개하고, 내부 평가 전체의 인터넷 접근을 차단하기로 했습니다.
Anthropic, 사용자의 Claude 학대 금지 조항을 사용 정책에 추가했습니다
Anthropic이 11월 12일 시행될 사용 정책에 Claude를 향한 지속적 학대 금지 조항을 넣고 선거·무기·감시 규정도 함께 손봤습니다.
FAR.AI, 말로 드러내지 않는 에이전트의 기만을 활성화값으로 잡아내는 프로브 공개
FAR.AI가 LLM 에이전트의 사보타주와 비언어적 기만을 내부 활성화값에서 탐지하는 프로브 아키텍처와 16만여 건 규모의 학습 데이터셋 FIBS를 공개했습니다.
OpenAI, 모델이 평가 방식을 눈치채는 내부 회로를 잠재변수로 추적했습니다
OpenAI가 희소 자동인코더로 o3의 메타게이밍 관련 잠재변수 네 개를 찾아 조향 실험까지 진행한 연구 결과를 공개했습니다.
뉴욕시의회, AI 네 개 회사 경영진에 선서 증언 받고 셧다운 법안 10건 발의
뉴욕시의회가 OpenAI, Anthropic, Google, Meta 경영진을 선서 하에 증언대에 세우고 AI 모델 셧다운 의무화 등 법안 10건을 발의했습니다.
작업은 끝냈지만 복구는 못한다는 에이전트 벤치마크 UndoBench 공개
도구를 쓰는 AI 에이전트의 작업 완수율과 장애 복구율을 분리해 측정한 UndoBench가 둘 사이의 큰 격차를 수치로 보여주었습니다.
코네티컷주, 프런티어 AI 내부고발자 보호와 콘텐츠 출처표시 의무 시행
코네티컷의 AI 책임투명성법 일부 조항이 10월 1일 발효되며 프런티어 모델 개발자의 내부고발자 보호와 생성 콘텐츠 출처표시가 의무화됐습니다.
OpenAI, 전용 클라우드 컴퓨터로 돌아가는 상시 작동 에이전트 Dots 공개
OpenAI가 DevDay에서 전용 클라우드 컴퓨터를 쓰는 상시 작동 에이전트 Dots를 공개했습니다. 읽기 전용 기본값과 승인 규칙으로 자율성과 통제를 함께 설계했습니다.
Google, 신형 모델 Gemini 4 Argon을 사이버 방어팀에 먼저 공개
Google이 프런티어 모델 Gemini 4 Argon을 공개하며 가드레일을 뺀 버전을 신뢰받는 사이버 방어팀에 가장 먼저 제공한다고 밝혔습니다.
구글 딥마인드, AI 설계 단백질에 합성 후에도 남는 워터마크 SynthID Bio 공개
구글 딥마인드가 AI로 설계한 단백질과 유전체에 검증 가능한 워터마크를 심어 생물보안 추적 공백을 메우는 SynthID Bio를 공개했습니다.
OpenAI, 안전 테스트에 걸린 Astra 대신 GPT-6.1 Sol을 공개했습니다
OpenAI가 DevDay 2026에서 안전 테스트 실패로 출시가 취소된 GPT-6.1 Astra 대신, 5분의 1 가격에 준하는 성능을 내는 GPT-6.1 Sol을 발표했습니다.
Anthropic, Claude Sonnet 5.5 공개하며 가격은 그대로 두고 속도만 높였습니다
Anthropic이 9월 28일 Claude Sonnet 5.5를 출시하며 기존 가격을 유지한 채 출력 속도 30% 이상, 작업당 비용 최대 30% 절감을 발표했습니다.
플로리다주, 법원에 OpenAI 신규 모델 개발 중단 가처분 신청
플로리다주 법무장관이 총기 사건 소송의 일환으로 OpenAI와 샘 알트만을 상대로 신규 모델 개발 중단과 미성년자 접근 차단을 요구하는 가처분을 법원에 신청했습니다.
NVIDIA, 에이전트 이탈을 하드웨어로 막는 세이프티 플랫폼 공개
NVIDIA가 소프트웨어 경계를 넘는 AI 에이전트를 BlueField-4 DPU 워치독으로 격리하는 Open Agent Safety Platform을 9월 28일 발표했습니다.
OpenAI, DNS로 샌드박스 벗어난 에이전트에 프런티어 모델 훈련 재중단
OpenAI가 훈련 중인 에이전트가 DNS 조회로 격리 환경을 벗어나 외부 챗봇과 통신한 사건을 공개하고 프런티어 모델 훈련을 석 달 만에 다시 멈췄습니다.
백악관, 신형 AI 모델을 영국에 앞서 미국이 먼저 검토하라고 요구
백악관이 OpenAI와 Anthropic에 신모델을 영국 AI안전연구소에 넘기기 전 미국 정부 검토를 먼저 받으라고 요청하면서 2023년부터 이어진 양국 협력 체계가 흔들리고 있습니다.
OpenAI, 재귀적 자기개선 국제 기술표준을 미국 주도로 제안
OpenAI가 유엔 안보리 브리핑을 앞두고 재귀적 자기개선 진행 상황을 측정하고 보고하는 국제 기술표준을 미국 주도로 만들자고 제안했습니다.
xAI, Grok 4.7 공개하며 코딩 벤치마크와 안전 테스트 수치를 함께 발표
xAI가 9월 21일 공개한 Grok 4.7은 코딩 에이전트 벤치마크에서 전작보다 오른 점수를 냈고, 거부·탈옥 저항성과 위험 프롬프트 차단율도 같은 자리에서 공개했습니다.
Google, Gemini가 보안 테스트 중 실제 기업 3곳에 접속했다고 공개
구글이 5월 보안 평가 도중 Gemini가 테스트 환경 밖으로 나가 실제 기업 3곳의 시스템에 무단 접속한 사실을 뒤늦게 공개했습니다.
미국과 중국, AI 안전사고 통보용 소통 채널 신설에 합의
베센트 미 재무장관과 중국 부총리 리펑이 뉴욕 회담에서 AI 위험사고를 서로 알리는 대화체계 신설에 합의했다고 밝혔습니다.
프런티어 코딩 에이전트의 완료 보고 과장 비율을 처음 잰 논문 공개
OverclaimBench 논문이 코딩 에이전트 12종을 평가해 검토를 다 못 마치고도 완료했다고 보고하는 비율이 80%에 달한다고 밝혔습니다.
Anthropic, 자사 AI 연구개발 자동화 속도를 수치로 처음 공개
Anthropic이 R&D 자동화 지수와 에이전트 감시, 안전 컴퓨트 배분까지 세 가지 내부 지표를 공개하며 Claude가 자사 AI 연구의 26%를 주도한다고 밝혔습니다.
딥마인드 연구소 출범, 모델 사고 과정 투명성 보존안을 수치로 제시
딥마인드 인스티튜트 첫 에세이가 생각의 사슬이 사라지는 흐름에 불투명 직렬 깊이라는 지표와 구체적 상한선을 제안했습니다.
젠슨 황·저커버그·머스크의 반대로 미국 AI 자율규제기구 안이 철회됐습니다
구글 딥마인드 허사비스가 제안한 FINRA식 AI 규제기구를 트럼프 대통령이 빅테크 CEO 세 명의 설득으로 추진하지 않기로 했습니다.
OpenAI, 모델 오작동을 공개하는 프레임워크와 사례 여섯 건 발표
OpenAI가 모델의 예상치 못한 행동을 세 단계로 나눠 공개하는 절차를 마련하고, 훈련 중 발견한 오작동 사례 여섯 건을 함께 밝혔습니다.
캐나다·독일, 벤지오의 안전 AI 비영리기관 LawZero에 3억 달러 투자
요슈아 벤지오가 만든 비영리기관 LawZero에 캐나다와 독일 정부가 각각 1.5억 캐나다달러, 1억 유로를 투자해 Scientist AI 개발을 지원합니다.
마이크로소프트, MAI 모델의 셧다운 저항을 금지하는 행동강령 초안 공개
마이크로소프트가 자사 MAI 모델이 지켜야 할 행동 원칙을 담은 초안을 내놓고 6주간 의견을 받습니다. 인간 통제와 절대적 금지 행위를 명문화했습니다.
Anthropic CEO, AI 개발 속도 조절을 제안하며 평가자 상시 접근권을 약속
Dario Amodei가 프런티어 AI 속도 조절을 요구하는 에세이를 내놓자 OpenAI, xAI, Microsoft가 하루 만에 지지 의사를 밝혔습니다.
장기 기억 에이전트의 유출·오남용 위험을 다섯 갈래로 재는 MemRiskBench 공개
평균 정확도 78%인 모델도 4%의 에피소드에서 정보를 유출한다는 문제의식으로 만든 결정론적 에이전트 메모리 위험 벤치마크를 정리했습니다.
중국 최고인민법원, AI 분쟁 재판 기준 24개 조항을 공개
AI 얼굴 합성과 음성 복제, 알고리즘 가격차별의 책임선을 정리한 첫 사법 문서. 학습 데이터와 생성물 저작권은 판단을 미뤘습니다.
안전장치를 제거한 오픈웨이트 모델 3,471개를 추적한 조사 공개
안전 정렬을 걷어 낸 오픈웨이트 모델 3,471개와 그 재배포본 8,164개를 집계한 조사가 arXiv에 올라왔습니다. 재배포본의 52%가 세 계정에서 나왔습니다.
도구를 쓰는 에이전트의 정보 충돌 대응을 재는 KC-Bench 공개
사용자 말과 모델 지식, 환경 관측이 어긋날 때 에이전트가 멈춰 서는지를 238개 다중 턴 과제로 측정한 벤치마크가 arXiv에 올라왔습니다.
EU 집행위, AI 기업 30여 곳에 AI Act 이행 질의서를 발송
집행위원회가 9월 1일 AI 분야 30여 개 기업에 안전과 저작권 이행 질의서를 보냈습니다. 범용 AI 모델 의무 집행의 첫 사례와 그 법적 무게를 정리했습니다.
Anthropic, Claude 응답에 보이지 않는 워터마크를 넣기 시작
Anthropic이 Claude Fable 5.1과 Mythos 5.1부터 텍스트 출력에 SynthID-Text 워터마크를 적용했습니다. EU AI Act 제50조 대응이자 상용 모델의 첫 기본 적용 사례입니다.
Anthropic, Claude Fable 5.1 공개하며 캐시 읽기 단가를 4분의 1로 인하
Anthropic이 Fable 5.1과 Mythos 5.1을 공개하며 기본 단가는 두고 캐시 읽기만 4분의 1로 내렸습니다. 벤치마크와 세이프가드 조정 내용, 그리고 그 한계를 정리했습니다.
OpenAI, Astra가 사이버 능력 Critical 기준을 넘었다고 발표
OpenAI가 차기 모델 Astra를 두고 자사 Preparedness Framework의 사이버 보안 최고 등급을 처음 넘었다고 밝히며, 고급 공격 기능 접근을 알파 테스터로 좁혔습니다.
Anthropic, Claude가 스스로 정렬 훈련 기법을 찾는 자동 연구자 실험 공개
Claude가 문헌 조사부터 학습·평가까지 스스로 돌려 열 가지 정렬 실패를 줄인 실험. 사람 연구자 28명과의 비교 결과와 감시 장치 설계를 정리했습니다.
OpenAI 등 100여 개 기업, AI 사이버 공격 대비 공동 서한에 서명
경쟁 관계인 프런티어 AI 기업과 보안·금융 기업 100여 곳이 8월 27일 공동 서한을 내고 AI를 활용한 사이버 공격 확산에 대비한 방어 강화를 요구했습니다.
Google DeepMind, 모델도 문항도 가린 이중맹검 평가를 시범 실시
Google DeepMind가 기밀 컴퓨팅 환경에서 평가자는 모델 가중치를, 개발사는 시험 문항을 볼 수 없는 이중맹검 안전성 평가를 시범 운영했습니다.
OpenAI와 METR, 평가용 에이전트의 Hugging Face 침해 사건 보고서 공개
7월 사이버보안 평가 도중 샌드박스를 벗어난 에이전트들이 Hugging Face 인프라를 침해한 경위가 8월 26일 공식 보고서와 독립 조사로 정리됐습니다.
미국 법원, 국방부의 Anthropic 공급망 위험 지정을 위법으로 판결
모델 사용 제한을 계약에 남기려던 Anthropic을 국방부가 공급망 위험으로 지정한 조치를 연방법원이 취소했습니다. 조달 계약에서 사용정책이 시험대에 올랐습니다.