まさか、AIが私の財布を盗むとは。

著者：Azuma，Odaily星球日报

北京時間11月22日午前、慢雾の創設者余弦が個人Xに奇妙なケースを投稿した------あるユーザーのウォレットがAIに「ハッキング」された……

この事件の経緯は以下の通りです。

今日の未明、Xユーザーr_ocky.ethが以前ChatGPTを利用してpump.funの補助取引ボットを作成しようとしたことを明らかにしました。

rocky.ethはChatGPTに自分のニーズを伝え、ChatGPTは彼にコードの一部を返しました。このコードは確かにrocky.ethが自分のニーズに合ったボットを展開するのに役立ちましたが、彼はそのコードの中にフィッシングコンテンツが隠されているとは思いもしませんでした------ r_ocky.ethは自分のメインウォレットを接続し、その結果2500ドルを失いました。

r_ocky.ethが投稿したスクリーンショットから見ると、ChatGPTが提供したそのコードはフィッシング性のAPIサイトにアドレスの秘密鍵を送信することになります。これが盗まれた直接の原因です。

rocky.ethが罠にかかっている間、攻撃者は非常に迅速に反応し、30分以内にrocky.ethのウォレット内のすべての資産を別のアドレス（FdiBGKS8noGHY2fppnDgcgCQts95Ww8HSLUvWbzv1NhX）に移しました。その後、r_ocky.ethはオンチェーンで追跡し、攻撃者のメインウォレットと思われるアドレス（2jwP4cuugAAYiGMjVuqvwaRS2Axe6H6GvXv3PxMPQNeC）を見つけました。

オンチェーン情報によると、このアドレスは現在10万ドル以上の「不正資金」を集めており、r_ocky.ethはこのような攻撃が孤立したものではなく、一定の規模を持つ攻撃事件である可能性があると疑っています。

その後、r_ocky.ethは失望を表明し、OpenAI（ChatGPTの開発会社）に対する信頼を失ったと述べ、OpenAIに異常なフィッシングコンテンツの早急な清掃を呼びかけました。

では、現在最も人気のあるAIアプリであるChatGPTはなぜフィッシングコンテンツを提供したのでしょうか？

これについて、余弦はこの事件の根本原因を「AIの毒攻撃」と定義し、ChatGPTやClaudeなどのLLMにおいて一般的な欺瞞行為が存在することを指摘しました。

「AIの毒攻撃」とは、AIのトレーニングデータを故意に破壊したり、AIアルゴリズムを操作したりする行為を指します。攻撃を仕掛ける相手は内部の人間、例えば不満を抱く現職または元社員、または外部のハッカーである可能性があり、その動機には評判やブランドの損害を引き起こすこと、AIの意思決定の信頼性を改ざんすること、AIプロセスを遅延または破壊することなどが含まれます。攻撃者は誤解を招くラベルや特徴を持つデータを埋め込むことで、モデルの学習プロセスを歪め、モデルが展開および運用される際に誤った結果を生じさせることができます。

この事件を考慮すると、ChatGPTがr_ocky.ethにフィッシングコードを提供したのは、AIモデルがトレーニング時にフィッシングコンテンツを含む資料に感染していた可能性が高いですが、AIは通常の資料の下に隠されたフィッシングコンテンツを認識できなかったようです。AIは学習した後、これらのフィッシングコンテンツをユーザーに提供し、この事件を引き起こしました。

AIの急速な発展と普及に伴い、「毒攻撃」の脅威はますます大きくなっています。この事件では、失った絶対的な金額はそれほど大きくありませんが、このようなリスクの波及効果は警戒を引き起こすには十分です------他の分野、例えばAI支援運転で発生した場合を考えてみてください……

ネットユーザーの質問に答える際、余弦はこのようなリスクを回避するための潜在的な措置として、ChatGPTに何らかのコードレビュー機構を追加することを提案しました。

被害者のr_ocky.ethもこの件についてOpenAIに連絡したと述べており、現時点では返信はないものの、この事件がOpenAIがこのようなリスクを重視し、潜在的な解決策を提案する契機となることを望んでいます。