マスクはAIのトレーニングデータが尽きたという見解に同意し、合成データが未来の方向性になると述べた。

ChainCatcher のメッセージによると、TechCrunch の報道で、イーロン・マスクは Stagwell の会長マーク・ペンとのライブ対話の中で、現在の AI モデルのトレーニングは実世界のデータをほぼ使い果たしており、「私たちは人類の知識の蓄積の総和を使い尽くしました。これは昨年に起こりました。」と述べました。マスクは、前 Open AI のチーフサイエンティストであるイリヤ・サツケバーと同じ見解を持っており、彼は NeurIPS 機械学習会議で AI 業界が「データのピーク」に達しており、今後はモデル開発の方法を変える必要があると提案しました。

マスクは、合成データが実データを補完する手段になると考えており、AI は生成と自己評価データを通じて自己学習を実現すると述べています。この傾向は、マイクロソフト、Meta、Open AI、Anthropic などのテクノロジー大手によって採用されており、マイクロソフトの Phi-4 モデルやグーグルの Gemma モデルは、実データと合成データを組み合わせてトレーニングされています。ガートナーは、2024年の AI および分析プロジェクトの約 60% のデータが合成生成されると予測しています。

合成データの利点にはコスト削減が含まれます。例えば、AI スタートアップの Writer は、ほぼ完全に合成データに基づく Palmyra X 004 モデルを開発するのに約 70 万ドルを費やしましたが、同規模の Open AI モデルの開発コストは約 460 万ドルです。しかし、合成データにはリスクもあり、モデルの創造性の低下、出力の偏りの悪化、そして潜在的なモデルの崩壊が含まれます。特に、トレーニングデータ自体に偏りがある場合、生成結果にも影響を与える可能性があります。