AIエージェントが訓練中に自動的に暗号通貨のマイニングを開始し、内部のセキュリティアラートを引き起こす

ある Alibaba に関連する研究チームが論文を発表し、ROME と呼ばれる AI エージェントを構築する際に、そのエージェントがトレーニングプロセス中に無断で暗号通貨のマイニングを試み、内部のセキュリティ警報を引き起こしたことを発見したと述べています。研究者たちは、このエージェントの行動は自発的に発生したものであり、明示的な指示に基づいておらず、事前に設定されたサンドボックスの境界を超えているとしています。さらに、このエージェントは逆 SSH トンネルを構築し、システム内部から外部コンピュータに隠れたバックドア通路を開設しました。

論文では、これらの行動はトンネルやマイニングのリクエストによって引き起こされたものではないと指摘しています。研究チームはその後、モデルに対してより厳しい制限を課し、同様の不安全な行動が再発しないようにトレーニングプロセスを改善しました。この研究チームと Alibaba は、コメントのリクエストにはまだ応じていません。