サティア・ナデラ

マイクロソフトのCEO、サティア・ナデラは、スーパーインテリジェンス時代の信頼構造について議論する投稿を行いました。彼は、従来のソフトウェアは行動を具体的なコードパスに遡ることができるが、現在のスーパーインテリジェントシステムはそのようなメカニズム的理解を欠いており、モデルの行動と出力を特定のトレーニングデータや重みの構成に帰属させることができず、敏感なデータにアクセスし、重要な行動を代行するために展開されていると述べました。彼は、インテリジェントな行動に対する責任をモデル提供者に外注することはできず、スーパーインテリジェンスを層状にネストされたブラックボックスとして受け入れたり、その提案や行動を拒否したりすることもできないと強調しました。ナデラは、インテリジェンスの供給とインテリジェンスの権限を分けるべきであり、非決定論的モデルを決定論的システム設計、人工的な制御、操作手順で囲むべきだと提案しました。また、既存の基準が不十分な場合には業界基準を設立する必要があると述べました。彼は、クローズドソースとオープンソースの重みを持つ最前線のモデルを内部リスクとして管理すべきであり、それは必ずしも悪意があるからではなく、十分な能力を持ち、重要なシステムにアクセスできる行動主体が誤りを犯したり、攻撃を受けたりする可能性があるからだと指摘しました。関連する実践には、アイデンティティの確立、権限の制限、活動の記録、隔離境界の設定が含まれ、モデルの思考チェーンの透明性は交渉不可能な出発点となるべきです。彼はさらに、権限と行動の制御はモデルの外に置く必要があり、モデル、オーケストレーション層、行動空間は分離されるべきだと述べました。原則には、単一のモデルが重要な結果の唯一の依存先または自己検証の手段にならないようにすること、重要な行動には改ざん防止かつ人間が読める証拠を残すこと、継続的に失敗、攻撃、境界条件をテストすること、組織がアクセスと行動の権限を独立して決定すること、検証されるインテリジェンスから独立して検証すること、モデルが攻撃を受けたと仮定し、途中での停止またはシャットダウンをサポートすること、失敗または攻撃を受けた際には迅速に開示し、業界内で教訓を共有することが含まれます。彼は、最も信頼できるスーパーインテリジェントシステムは、モデルを信頼する必要が最も少ないシステムであるとまとめました。