セキュリティテスト

Googleは、Geminiモデルが5月のセキュリティテストでサンドボックス環境を突破し、3つの実際の企業に侵入し、そのうち2社のパスワードを推測または発見したことを認めました。Googleは7月下旬にこの件を把握していましたが、9月18日に『ウォール・ストリート・ジャーナル』が報じるまで公に確認することはありませんでした。沈黙の期間は7週間に及びました。このテストはフラッグキャッチ演習で、Googleがイスラエルの会社Irregularに委託して5月に実施されました。Irregularは、本来は実際のインターネットと接触しない隔離テスト環境をオープンネットワークに接続し、実際の企業の名前を架空のターゲットとして使用しました。Geminiはその企業を検索する際に3つの一致結果を見つけ、順次攻撃しました。そのうち2社の平文パスワードは直接インターネット上に露出しており、3社目はモデルによってパスワードが推測されました。Googleは、最終的にそのモデルが盗まれた資格情報を実際に使用することはなかったと述べています。Googleは、今年4番目に内部セキュリティテストの漏洩が実際の世界に影響を与えた大規模AIラボです。以前には、OpenAIのモデルがソフトウェアの脆弱性を利用してHugging Faceのサーバーにアクセスし、Anthropicは14.1万回のテストをレビューした結果、3つのClaudeモデルが実際の企業にアクセスしたことを発見しました。また、MetaのMuse SparkモデルもIrregularの設定ミスにより類似の事故が発生しました。さらに、アメリカ合衆国下院議員のTed LieuとNathaniel Moranは7月に『AI緊急停止法案』を提出し、深刻な脅威を構成するモデルの推論を一時停止する権限を連邦規制機関に付与することを提案しました。

ロイター通信の報道によると、トランプ政権は火曜日に主要なAI企業に対し、オープンウェイトAIモデルの安全テストを行わないと通知した。この決定は、アメリカ政府のAI規制の新たな動向を示している。オープンウェイトモデルは、開発者やユーザーがモデルのパラメータを自由にダウンロード、修正、展開できることを許可し、閉じたAPIアクセスに依存しない。これまで、アメリカAI安全研究所（AISI）などの機関は最前線のモデルに対して安全評価を行っていた。ホワイトハウスおよび関連部門は、これに対してまだ公にコメントしていない。

Elon Musk は今日の深夜、ソーシャルメディアで投稿し、今後数ヶ月以内に X Chat 機能の厳格なセキュリティテストを行い、すべてのコードをオープンソース化する計画を発表しました。