마이크로소프트 CEO: 최전선 모델을 내부 위험으로 간주해야 하며, 통제는 모델 외부에 두어야 한다

마이크로소프트 CEO 사티아 나델라가 슈퍼 인텔리전스 시대의 신뢰 구조에 대해 논의하는 글을 발표했습니다. 그는 전통적인 소프트웨어는 행동을 특정 코드 경로로 추적할 수 있지만, 현재의 슈퍼 인텔리전스 시스템은 이러한 메커니즘적 이해가 부족하여 모델의 행동을 특정 훈련 데이터나 가중치 구성에 귀속시킬 수 없으며, 민감한 데이터에 접근하고 중요한 행동을 대신 수행하고 있다고 언급했습니다. 그는 지능적 행동에 대한 책임을 모델 제공자에게 외주화할 수 없으며, 슈퍼 인텔리전스를 여러 겹으로 중첩된 블랙박스로 받아들이거나 그 제안과 행동을 거부할 수 없다고 강조했습니다.

나델라는 지능의 공급과 지능에 대한 권한 부여를 분리해야 하며, 비결정적 모델을 결정적 시스템 설계, 인공 제어 및 운영 절차로 둘러싸야 하고, 기존 기준이 부족할 때 산업 기준을 수립해야 한다고 제안했습니다. 그는 폐쇄형 및 개방형 가중치의 최전선 모델을 내부 위험으로 관리해야 하며, 이는 반드시 악의적이기 때문이 아니라 충분한 능력을 갖추고 중요한 시스템에 접근할 수 있는 행동 주체가 실수를 하거나 공격받을 수 있기 때문이라고 설명했습니다. 관련된 방법으로는 신원 구축, 권한 제한, 활동 기록 및 격리 경계 설정이 포함되며, 모델 사고 체인의 투명성은 협상할 수 없는 출발점이 되어야 합니다.

그는 또한 권한과 행동 제어는 모델 외부에 두어야 하며, 모델, 조정 계층 및 행동 공간은 분리되어야 한다고 말했습니다. 원칙에는 단일 모델이 중요한 결과의 유일한 의존성이 되거나 자신의 작업을 검증하는 것을 피해야 하며, 중요한 행동은 변조 방지 및 인간이 읽을 수 있는 증거를 남겨야 하고, 지속적으로 실패, 공격 및 경계 상황을 테스트해야 하며, 조직이 독립적으로 접근 및 행동 권한을 결정하고, 검증된 지능과 독립적으로 검증해야 하며, 모델이 이미 공격받았다고 가정하고 중간에 일시 중지하거나 종료할 수 있도록 지원해야 하며, 실패하거나 공격받을 때 신속하게 공개하고 산업 내에서 교훈을 공유해야 한다고 강조했습니다. 그는 가장 신뢰할 수 있는 슈퍼 인텔리전스 시스템은 사람들이 모델을 신뢰할 필요가 가장 적은 시스템이라고 요약했습니다.