モデル蒸留

字節跳動の創業者である張一鳴は先月、Seedチーム全員会議で明確に述べた。会社はモデルの蒸留を大モデルに追いつくための近道として利用しないと、たとえそれによって国内の競争相手に一時的に遅れを取ることになっても。彼はチームに対し、短期的な利益を犠牲にして長期的な目標を追求することを求めた。蒸留とは、新しいモデルがより強力なモデルの出力を学ぶことを指し、トレーニング時間と計算能力を節約できる。字節内部では、この選択がSeedの言語モデルが短期的にDeepSeek、Kimi、千問などの国内の同業者に追いつくのを難しくするだろうと考えている。しかし、字節がより懸念しているのは政治的リスクである。会社は長期にわたりTikTokがアメリカ政府の審査を受けており、一度でもアメリカの最前線モデルの能力を大規模に抽出したと指摘されれば、ワシントンは再びTikTokに圧力をかける可能性がある。以前、AnthropicはDeepSeek、月の暗面、MiniMax、智譜、アリババがClaudeの能力を大規模に抽出したと指摘したが、字節の名前は挙げなかった。

アメリカのホワイトハウス科学技術政策局長のマイケル・クラッツィオスは、Moonshot AI が大規模な内部プラットフォームを構築し、Anthropic の Fable モデルを蒸留して K3 モデルの開発に利用しているという情報を掌握したと発表しました。また、検出を回避するためにアクセス方法を何度も切り替えていることも指摘しました。彼はさらに、Moonshot AI が GB300 サーバーを購入し、タイの GB300 デバイスにアクセスした可能性があり、これは AI モデルのトレーニングに使用されるかもしれないと述べました。クラッツィオスは、アメリカ側は合法的な蒸留とオープンイノベーションを支持するが、大規模な秘密産業蒸留手段によってアメリカの技術を盗むことには反対であると述べました。現在、Moonshot AI はこの件について公に応答していません。