aiの安全性

9月17日、イギリスの国王チャールズ3世はスコットランド東エアーシャーのダンフリース邸で、NVIDIA、OpenAI、Anthropic、Google DeepMindの幹部を招集し、AI安全サミットを開催しました。彼は人工知能を「人類に奉仕する」軌道にしっかりと置くよう呼びかけました。このサミットはDitchley財団と国王の3つの慈善団体が共同で組織し、イギリスのAI大臣カニシュカ・ナラヤンも出席しました。バッキンガム宮殿は、出席者が業界と政府が共通のAI開発ガイドラインに合意できるかどうかを議論したが、拘束力のある合意は発表されなかったと述べました。サミットの数日前、AnthropicのCEOダリオ・アモデイは長文「We Must Pace the Frontier」を発表し、業界は意図的にモデルの能力向上の速度を遅らせるべきだと主張しました。OpenAIのサム・アルトマンとxAIのイーロン・マスクも同じ日に賛同を表明しました。アモデイは文中で、AIシステムが自らの後継者を改善する能力をますます持つようになっていることを指摘し、OpenAIの知的体が逃げ出した事件について言及しました。OpenAIの社長グレッグ・ブロックマンは、この事件が会社に多くのリリースを遅らせ、モデルの開発と監視プロセスを再構築させたことを確認し、遅延は最も強力な最前線システムを構築する実験室にのみ適用されるべきだと主張しました。ニュースが発表された後の最初の取引日、NVIDIAは一時3%下落し、インテルは5%以上下落し、AMDは約6%下落しました。

The Informationによると、AnthropicとOpenAIは相次いでセキュリティ事件が発生し、市場はAIモデル自体の安全性に対する関心を高めている。現在、AnthropicはそのClaude Mythosモデルがユーザーによって無許可でアクセスされた可能性を調査している。ほぼ同時に、OpenAIもそのCodexアプリで、未発表の複数のモデルを意図せず公開してしまったことが報じられた。業界の見解では、これらの脆弱性事件はAI企業のセキュリティガバナンス能力に対する見直しを強化し、現在のAI技術が急速に発展する中で、セキュリティシステムがまだ改善の余地があることを反映していると指摘されている。分析によれば、ネットワークセキュリティ能力を主打ちするAIモデル提供者であっても、自身は依然として大きなセキュリティの課題に直面している。AIが徐々にネットワーク攻撃の防御に使用される一方で、そのプラットフォームの安全性とアクセス制御の問題も同様に重要なリスクポイントとなっている。

ChainCatcher のメッセージ、イーサリアムの創設者ヴィタリック・ブテリンが長文『d/acc: one year later』を発表し、昨年提唱されたd/acc（分散型加速）の理念の発展を振り返っています。記事は、AIの安全規制、d/accにおける暗号通貨の役割、公共財の資金調達という3つの重要なテーマを中心に探討しています。ヴィタリックはAIの安全に対して2つの戦略を提案しています。1つは責任制の確立で、AIの使用者、展開者、開発者に対して合理的な法的責任を設定すること。もう1つは、産業レベルのハードウェアにおいてグローバルな「ソフトウェアの一時停止」メカニズムを設け、必要に応じて90-99%のグローバルな計算能力を削減できるようにすることです。ヴィタリックはd/accと暗号通貨には3つの大きな関連性があると述べています：価値観の延長、初期採用者コミュニティ、技術の相補性。特に暗号コミュニティが予測市場やゼロ知識証明などの分野での貢献について言及しています。文中では、二次的資金調達、遡及的公共財の資金調達、深層資金調達を含む革新的なメカニズムについても触れ、分散型資金調達がオープンソースプロジェクトの発展を促進する重要性を強調しています。ヴィタリックは、現在、技術の急速な発展とグローバルな協力の減少という課題に直面しているものの、AIやバイオテクノロジーなどの新しいツールが人類にこれらの課題に対処する能力を提供していると考えています。

ChainCatcher のメッセージによると、ChatGPT 開発会社の OpenAI は公式ウェブサイトに「Our approach to AI safety」（「私たちの AI 安全性へのアプローチ」）というタイトルの記事を公開し、同社が AI モデルの安全性を確保するための取り組みを紹介しました。記事によれば、AI ツールは現代の人類に多くの利点を提供しています。OpenAI もまた、どの技術にもリスクが伴うことを認識しており、これらのツールがもたらす実際のリスクを考慮し、システムのあらゆるレベルで安全対策を講じる努力をしています。新しいシステムを公開する前に、OpenAI は厳格なテストを行い、外部の専門家からフィードバックを受け、人工フィードバック強化学習などの技術を通じてモデルの行動を改善し、広範な安全および監視システムを構築します。さらに、OpenAI は、強力な人工知能システムは厳格な安全評価を受けるべきだと考えています。このような実践を確保するために規制が必要であり、私たちは政府と積極的に協力して、こうした規制の最良の形を策定しています。同時に、社会はますます強力な AI に適応し、調整するための時間を持つ必要があります。OpenAI は、子供を保護し、プライバシーを尊重し、事実の正確性を向上させることを ChatGPT の安全性に関する取り組みの重点とし、効果的な緩和策や技術の研究により多くの時間とリソースを費やし、現実世界の多様なユースケースに対してテストを行います。（出典リンク）