蒸留

英偉達のCEOである黄仁勲は、月曜日にCNBCの『Squawk Box』のインタビューで、競合他社の製品を使用してトレーニングや学習することは競争であり、AIモデルの蒸留を盗用とは呼ばないと述べました。蒸留が強奪ではないかと尋ねられた際、黄仁勲は「それが競争だ」と答えました。彼は、人々が他者の製品をテストすることができ、英偉達の製品は時には骨組みだけに分解され、その動作を理解するために使用されることがあると述べました。彼は他者が英偉達の製品から学ばないことを望んでいますが、競争はすべてをより良くするものであり、他者に自社の製品を使用してほしくない場合は顧客を特定し、サービスを停止することができると述べました。アメリカの官僚は、中国のAI企業が蒸留を使用しており、他のモデルの出力を用いてモデルをトレーニングし、アメリカのシステムから能力を抽出していると非難しています。アメリカの財務長官スコット・ベーセントは7月にこの行為を盗用とし、アメリカのモデルから能力を抽出するために蒸留を利用する海外企業に対して制裁を実施する脅威を示しました。ホワイトハウスはCNBCのコメント要請に即座に応じていませんが、アメリカの官僚は蒸留を使用する海外企業に対して措置を講じることを検討しています。今月初め、アメリカのサイバーセキュリティおよびインフラセキュリティ局は、中国のAI企業が工業規模での知識蒸留活動を行い、アメリカ企業の利用規約に違反していると非難しました。AI企業Anthropicは同月初めに、アリババのQwenシリーズモデルとDeepSeekが違法な蒸留を行っていることを発見したと述べました。中国側はこれらの非難を否定しています。

X ユーザー choblin29 が投稿した内容によると、OpenAI のアプリケーション研究責任者 Boris Power は、同社の研究の 80% から 90% が GPT-7、GPT-8 およびその後のモデルに焦点を当てていると述べています。Power は、同世代のモデル内での改善は内部で非常に短期的な投資と見なされ、現在の学習を加速するために使用されるが、長期的な戦略ではないと考えています。この投稿によると、関連する道筋はまず大規模な最前線モデルを構築し、それを教師モデルとして使用し、より小さく、より安価なモデルに蒸留することです。Power は、GPT-6 Astra は Luna などのモデルに蒸留できると述べ、より強力な汎用モデルを先に訓練することが、小型専用モデルを構築するための良い方法である可能性があると考えています。彼はまた、現在の最大の問題はモデルの性能ではなく、ほとんどのユーザーが既存の AI がすでに達成できる作業を理解していないことだと述べています。

CNBCの報道によると、Y CombinatorのCEOであるGarry Tanは、YCの年次Demo Dayで、OpenAIやAnthropicのモデルが中国企業（DeepSeek、Moonshot AI、MiniMaxなど）によって蒸留される件について、何もしないことを選択し、規制当局に対してオープンウェイトモデルと最先端モデルの商業的バランスを維持することに焦点を当てるよう提案しました。Tanはまた、AIの終末論に対して慎重な姿勢を示し、サイバーセキュリティが現在最も緊急のリスクであり、AIが引き起こす雇用の衝撃や経済変革は、社会に本当に浸透するまでに数十年かかると考えています。

アメリカ国家安全保障局、FBI、CISAが共同報告を発表し、DeepSeek、月の暗面、アリ、MiniMax、階段星辰、智譜を名指ししました。アメリカ側は、これらの企業が少なくとも2024年末から、Claude、GPT、Gemini、Grokの出力を大量に呼び出し、自社のモデルを訓練していると非難し、累計で数百万回のリクエスト、数十億のトークンが関与しているとしています。報告書には具体的なモデルが列挙されており、DeepSeekは複数のClaude、GPT、Gemini、Grokを使用してR1、V3の訓練データを生成しているとされています；月の暗面はClaude Fable 5データを使用してKimi K3を訓練し、GPT-4oデータを使用してKimi K2を訓練しているとされています。アメリカ側は、これらの企業が多数のアカウント、第三者API集約業者、グレーな中継地点を通じて地域制限を回避し、プロンプトを使用してモデルの隠された推論プロセスを引き出そうとする行為を「悪意のある蒸留」と呼んでいると述べています。

字節跳動の創業者である張一鳴は先月、Seedチーム全員会議で明確に述べた。会社はモデルの蒸留を大モデルに追いつくための近道として利用しないと、たとえそれによって国内の競争相手に一時的に遅れを取ることになっても。彼はチームに対し、短期的な利益を犠牲にして長期的な目標を追求することを求めた。蒸留とは、新しいモデルがより強力なモデルの出力を学ぶことを指し、トレーニング時間と計算能力を節約できる。字節内部では、この選択がSeedの言語モデルが短期的にDeepSeek、Kimi、千問などの国内の同業者に追いつくのを難しくするだろうと考えている。しかし、字節がより懸念しているのは政治的リスクである。会社は長期にわたりTikTokがアメリカ政府の審査を受けており、一度でもアメリカの最前線モデルの能力を大規模に抽出したと指摘されれば、ワシントンは再びTikTokに圧力をかける可能性がある。以前、AnthropicはDeepSeek、月の暗面、MiniMax、智譜、アリババがClaudeの能力を大規模に抽出したと指摘したが、字節の名前は挙げなかった。

The Informationによると、ByteDanceの創業者である張一鳴は先月の会議で従業員に対し、同社は人工知能モデルの能力を向上させるために蒸留技術を使用しないと伝えました。たとえそれが国内の競合他社に一時的に遅れを取ることを意味してもです。

アメリカ合衆国ホワイトハウス科学技術政策局長のMichael KratsiosがMoonshot AI（Kimi）がK3モデルを開発する際にAnthropicのFableを参考にし、大規模な蒸留プラットフォームを構築したという指摘に対し、Moonshot AIチームのメンバーであるRandy Xiaは、Fableが7月1日にリリースされ、K3が7月15日にオンラインになったと応じました。このタイムラインに従えば、モデルの研究、蒸留、トレーニング、リリースを15日以内に完了したことになります。彼は冗談めかして言いました。「私たちはわずか15日で全く新しい最前線のモデルをトレーニングしました。これはまさにギネス世界記録を作ったと言えます。」Kratsiosは以前に、Moonshot AIがアメリカのモデルに対して大規模な蒸留を行うための内部プラットフォームを構築し、さまざまなアクセス方法を切り替えて検出を回避していると述べ、GB300サーバーを調達し、タイの関連機器をトレーニングに使用していると報告しました。アメリカ側は合法的な蒸留を支持していますが、秘密の産業蒸留手段による技術の盗用には反対しています。

アメリカのホワイトハウス科学技術政策局長のマイケル・クラッツィオスは、Moonshot AI が大規模な内部プラットフォームを構築し、Anthropic の Fable モデルを蒸留して K3 モデルの開発に利用しているという情報を掌握したと発表しました。また、検出を回避するためにアクセス方法を何度も切り替えていることも指摘しました。彼はさらに、Moonshot AI が GB300 サーバーを購入し、タイの GB300 デバイスにアクセスした可能性があり、これは AI モデルのトレーニングに使用されるかもしれないと述べました。クラッツィオスは、アメリカ側は合法的な蒸留とオープンイノベーションを支持するが、大規模な秘密産業蒸留手段によってアメリカの技術を盗むことには反対であると述べました。現在、Moonshot AI はこの件について公に応答していません。