バイトが5兆パラメータモデルのトレーニングについて議論し、Seed基盤チームがアーキテクチャを調整しました。

報道によると、字節跳動は訓練パラメータ規模が5兆を超える大モデルの開発を検討しており、これはアリババのQwen 3.8-Max（2.4兆）や月の暗面K3（2.8兆）を上回り、現在国内で知られている最大規模のプランです。この計画はまだ初期段階にあり、最終的にリリースされることを保証するものではありません。新しいモデルはSeed Foundationの責任者である項亮が主導し、大言語モデルの事前訓練データの責任者である沈科と協力して進められ、Seedはこれに基づいて組織を再編成し、役割を分担し、リソースを配分します。

2週間前、字節跳動の創業者である張一鳴はSeedの責任者である呉永輝と全社員会議を開催しました。張一鳴はチームを慰め、大モデルの訓練は本来非常に難しいものであり、しばらくの間は遅れを受け入れることができると述べ、知能の限界を追求することを目標にし、世界の第一梯隊に入ることを目指しています。彼はプログラミングが現在の重要な方向であることを認め、火山エンジン、飛書、豆包のリソースを統合して計算能力とデータの優位性を構築することを主張し、単一のホットトピックに引きずられないように注意を促しました。彼はSeedanceの差別化されたリーダーシップを称賛し、蒸留に明確に反対し、それが真に超えることは難しいと考え、より基盤からAGIの壁を構築すべきだと述べ、会社はAIへの投資を継続的に増やすと表明しました。

過去半年間、Seedはマルチモーダルで優れた成果を上げており、Seedance 2.0やSeedreamなどが火山エンジンMaaSを牽引していますが、言語モデルSeed 2.0の市場反響は限られており、コーディング能力の遅れが収益構造に影響を与えています。字節は高給で郭達雅をコーディング専門として迎え入れ、関連リソースを集めています。業界全体が大モデルのサイズを拡大する傾向に直面し、字節はより大規模なモデルで追い越しを狙い、競争を廃止し、部門の壁を打破し、集中して攻めることを推進しています。