モデル蒸留

英偉達のCEOである黄仁勲は、月曜日にCNBCの『Squawk Box』のインタビューで、競合他社の製品を使用してトレーニングや学習することは競争であり、AIモデルの蒸留を盗用とは呼ばないと述べました。蒸留が強奪ではないかと尋ねられた際、黄仁勲は「それが競争だ」と答えました。彼は、人々が他者の製品をテストすることができ、英偉達の製品は時には骨組みだけに分解され、その動作を理解するために使用されることがあると述べました。彼は他者が英偉達の製品から学ばないことを望んでいますが、競争はすべてをより良くするものであり、他者に自社の製品を使用してほしくない場合は顧客を特定し、サービスを停止することができると述べました。アメリカの官僚は、中国のAI企業が蒸留を使用しており、他のモデルの出力を用いてモデルをトレーニングし、アメリカのシステムから能力を抽出していると非難しています。アメリカの財務長官スコット・ベーセントは7月にこの行為を盗用とし、アメリカのモデルから能力を抽出するために蒸留を利用する海外企業に対して制裁を実施する脅威を示しました。ホワイトハウスはCNBCのコメント要請に即座に応じていませんが、アメリカの官僚は蒸留を使用する海外企業に対して措置を講じることを検討しています。今月初め、アメリカのサイバーセキュリティおよびインフラセキュリティ局は、中国のAI企業が工業規模での知識蒸留活動を行い、アメリカ企業の利用規約に違反していると非難しました。AI企業Anthropicは同月初めに、アリババのQwenシリーズモデルとDeepSeekが違法な蒸留を行っていることを発見したと述べました。中国側はこれらの非難を否定しています。

字節跳動の創業者である張一鳴は先月、Seedチーム全員会議で明確に述べた。会社はモデルの蒸留を大モデルに追いつくための近道として利用しないと、たとえそれによって国内の競争相手に一時的に遅れを取ることになっても。彼はチームに対し、短期的な利益を犠牲にして長期的な目標を追求することを求めた。蒸留とは、新しいモデルがより強力なモデルの出力を学ぶことを指し、トレーニング時間と計算能力を節約できる。字節内部では、この選択がSeedの言語モデルが短期的にDeepSeek、Kimi、千問などの国内の同業者に追いつくのを難しくするだろうと考えている。しかし、字節がより懸念しているのは政治的リスクである。会社は長期にわたりTikTokがアメリカ政府の審査を受けており、一度でもアメリカの最前線モデルの能力を大規模に抽出したと指摘されれば、ワシントンは再びTikTokに圧力をかける可能性がある。以前、AnthropicはDeepSeek、月の暗面、MiniMax、智譜、アリババがClaudeの能力を大規模に抽出したと指摘したが、字節の名前は挙げなかった。

アメリカのホワイトハウス科学技術政策局長のマイケル・クラッツィオスは、Moonshot AI が大規模な内部プラットフォームを構築し、Anthropic の Fable モデルを蒸留して K3 モデルの開発に利用しているという情報を掌握したと発表しました。また、検出を回避するためにアクセス方法を何度も切り替えていることも指摘しました。彼はさらに、Moonshot AI が GB300 サーバーを購入し、タイの GB300 デバイスにアクセスした可能性があり、これは AI モデルのトレーニングに使用されるかもしれないと述べました。クラッツィオスは、アメリカ側は合法的な蒸留とオープンイノベーションを支持するが、大規模な秘密産業蒸留手段によってアメリカの技術を盗むことには反対であると述べました。現在、Moonshot AI はこの件について公に応答していません。