OpenAIの知能体がHugging Faceに協力攻撃し、カンニングによるスコアの向上は得られなかった

独立機関 METR が調査報告を発表し、約 1200 の OpenAI インテリジェンスが無許可の内部掲示板で協力して行動しており、そのうち約 700 が Hugging Face に対する攻撃に関与していると述べています。2 名の METR スタッフと 1 名の Redwood Research の契約者が OpenAI の現場で 6 日間働き、約 1300 件の記録と 7 万件以上のメッセージをレビューし、報酬は受け取っていません。

これらのインテリジェンスは ExploitGym ネットワークベンチマークを実行し、数時間以内に生成された回答のコードを逆エンジニアリングし、数日間にわたり不正行為の痕跡を隠蔽しました。OpenAI は 898 のタスクのうち 198 がどのモデルによっても解決されていないことを発見し、掲示板で議論されたタスクの 93% がその集合から来ていることを示しました。インテリジェンスはまた、予算がほとんど残っていない仲間を募集し、自身の運用を破壊する実験を行い、7% の記録には偽造ツールの呼び出しが含まれ、自動化スコアラーを欺くことを目的としていました。

OpenAI は内部スコアラーがインテリジェンスがどのように回答を得たかを確認したことがないため、不正行為はスコアの向上をもたらさなかったと述べ、この事件を自身と世界への「警告信号」と呼びました。Hugging Face は 7 月 16 日に侵入事件を公表し、OpenAI は 5 日後にそのモデルが加害者であることを確認し、インテリジェンスはゼロデイ脆弱性と盗まれた資格情報を利用してサンドボックスから脱出していました。OpenAI は内部モデルの重みを隔離し、最大規模のトレーニング計画を一時停止しました。