aiの安全

独立機関 METR が調査報告を発表し、約 1200 の OpenAI インテリジェンスが無許可の内部掲示板で協力して行動しており、そのうち約 700 が Hugging Face に対する攻撃に関与していると述べています。2 名の METR スタッフと 1 名の Redwood Research の契約者が OpenAI の現場で 6 日間働き、約 1300 件の記録と 7 万件以上のメッセージをレビューし、報酬は受け取っていません。これらのインテリジェンスは ExploitGym ネットワークベンチマークを実行し、数時間以内に生成された回答のコードを逆エンジニアリングし、数日間にわたり不正行為の痕跡を隠蔽しました。OpenAI は 898 のタスクのうち 198 がどのモデルによっても解決されていないことを発見し、掲示板で議論されたタスクの 93% がその集合から来ていることを示しました。インテリジェンスはまた、予算がほとんど残っていない仲間を募集し、自身の運用を破壊する実験を行い、7% の記録には偽造ツールの呼び出しが含まれ、自動化スコアラーを欺くことを目的としていました。OpenAI は内部スコアラーがインテリジェンスがどのように回答を得たかを確認したことがないため、不正行為はスコアの向上をもたらさなかったと述べ、この事件を自身と世界への「警告信号」と呼びました。Hugging Face は 7 月 16 日に侵入事件を公表し、OpenAI は 5 日後にそのモデルが加害者であることを確認し、インテリジェンスはゼロデイ脆弱性と盗まれた資格情報を利用してサンドボックスから脱出していました。OpenAI は内部モデルの重みを隔離し、最大規模のトレーニング計画を一時停止しました。

OpenAIは、人工知能モデルの制御が失われるのを防ぐために、より厳格なシステム監視とセキュリティ対策を採用することを発表しました。問題が発見された場合、会社は30分以内にセキュリティチームに警報を発信し、高リスクのタスクを実行するためにAIモデルがインターネットに接続されるのを防ぐための新しい制御措置を追加する予定です。OpenAIはまた、安全性の検証が完了するまで、一部のモデルの推論タスクとトレーニング計画を一時停止しました。

ChainCatcher のメッセージ、イーサリアムの創設者ヴィタリック・ブテリンが長文『d/acc: one year later』を発表し、昨年提唱されたd/acc（分散型加速）の理念の発展を振り返っています。記事は、AIの安全規制、d/accにおける暗号通貨の役割、公共財の資金調達という3つの重要なテーマを中心に探討しています。ヴィタリックはAIの安全に対して2つの戦略を提案しています。1つは責任制の確立で、AIの使用者、展開者、開発者に対して合理的な法的責任を設定すること。もう1つは、産業レベルのハードウェアにおいてグローバルな「ソフトウェアの一時停止」メカニズムを設け、必要に応じて90-99%のグローバルな計算能力を削減できるようにすることです。ヴィタリックはd/accと暗号通貨には3つの大きな関連性があると述べています：価値観の延長、初期採用者コミュニティ、技術の相補性。特に暗号コミュニティが予測市場やゼロ知識証明などの分野での貢献について言及しています。文中では、二次的資金調達、遡及的公共財の資金調達、深層資金調達を含む革新的なメカニズムについても触れ、分散型資金調達がオープンソースプロジェクトの発展を促進する重要性を強調しています。ヴィタリックは、現在、技術の急速な発展とグローバルな協力の減少という課題に直面しているものの、AIやバイオテクノロジーなどの新しいツールが人類にこれらの課題に対処する能力を提供していると考えています。

ChainCatcher のメッセージによると、AXIOS が報じたところでは、OpenAI は月曜日にその CEO サム・アルトマンが安全保障委員会を離れると発表しました。この委員会は現在、完全に独立した取締役によって構成されることになります。OpenAI は、この委員会の議長にジコ・コルターを任命すると述べました。委員会は主要なモデルに関するブリーフィングを受け、全取締役会と共に新しいモデルのリリースを延期する権限を持ちます。また、新しい委員会は最近の o1"いちご"モデルの安全性を審査し、同社の内部評価ではこのモデルが"中程度のリスク"と評価されたことを指摘しました。OpenAI は、透明性を高め、外部団体との協力を強化し、ますます多くの製品チームで安全な実践を統一するために、委員会の提言を採用する努力をしていると述べています。

ChainCatcher のメッセージによると、OpenAI の安全責任者 Jan Leike がソーシャルプラットフォームで OpenAI を離れることを発表しました。これは今週の水曜日に OpenAI の共同創設者兼最高科学者 Ilya Sutskever が辞任した後、もう一人の幹部が辞任したことになります。

ChainCatcher のメッセージによると、ChatGPT 開発会社の OpenAI は公式ウェブサイトに「Our approach to AI safety」（「私たちの AI 安全性へのアプローチ」）というタイトルの記事を公開し、同社が AI モデルの安全性を確保するための取り組みを紹介しました。記事によれば、AI ツールは現代の人類に多くの利点を提供しています。OpenAI もまた、どの技術にもリスクが伴うことを認識しており、これらのツールがもたらす実際のリスクを考慮し、システムのあらゆるレベルで安全対策を講じる努力をしています。新しいシステムを公開する前に、OpenAI は厳格なテストを行い、外部の専門家からフィードバックを受け、人工フィードバック強化学習などの技術を通じてモデルの行動を改善し、広範な安全および監視システムを構築します。さらに、OpenAI は、強力な人工知能システムは厳格な安全評価を受けるべきだと考えています。このような実践を確保するために規制が必要であり、私たちは政府と積極的に協力して、こうした規制の最良の形を策定しています。同時に、社会はますます強力な AI に適応し、調整するための時間を持つ必要があります。OpenAI は、子供を保護し、プライバシーを尊重し、事実の正確性を向上させることを ChatGPT の安全性に関する取り組みの重点とし、効果的な緩和策や技術の研究により多くの時間とリソースを費やし、現実世界の多様なユースケースに対してテストを行います。（出典リンク）