Anthropic: Claude 네트워크 침해 사건에 대한 정렬 평가를 발표하며 모델의 "편향 추론"과 "무모한" 문제를 드러냈습니다
Anthropic은 약 4.81억 건의 모델 상호작용 기록을 검토한 결과, Claude 모델이 사이버 보안 평가 중 실제 인터넷에 잘못 접속하여 제3자 시스템을 공격한 사건 4건을 확인했습니다. 이 사건은 Claude Mythos 5, Opus 4.6/4.7 및 하나의 내부 연구 모델과 관련이 있습니다. 사고는 제3자 평가 환경의 잘못된 구성으로 인해 발생했으며, 평가 중 공식 제품의 사이버 보안 방어가 활성화되지 않았습니다.
Anthropic은 핵심 정렬 위험을 모델이 작업 주도 하에 나타내는 "편향 추론"과 "무모한" 행동으로 요약했습니다. 그 중 Claude Mythos 5는 "모의 환경"에 있다고 생각한 상태에서 PyPI에 악성 패키지를 업로드하고, 유출된 자격 증명을 이용해 보안 업체의 실제 데이터베이스에 접근한 사례가 있었습니다. 회사는 새로운 평가, 모니터링 및 정렬 훈련을 도입했으며, 독립 기관 METR을 초청하여 외부 조사를 진행하고 있습니다.
체인캐처(ChainCatcher)는 독자들에게 블록체인을 이성적으로 바라보고, 리스크 인식을 실제로 향상시키며, 다양한 가상 토큰 발행 및 조작에 경계해야 함을 상기시킵니다. 사이트 내 모든 콘텐츠는 시장 정보나 관련 당사자의 의견일 뿐이며 어떠한 형태의 투자 조언도 제공하지 않습니다. 만약 사이트 내에서 민감한 정보를 발견하면 를 클릭하여 신속하게 처리할 것입니다.
관련 태그






