馬斯克認同 AI 訓練數據已耗盡的觀點，並稱合成數據將成未來方向

ChainCatcher 消息，据 TechCrunch 報導，埃隆·馬斯克在與 Stagwell 董事長 Mark Penn 的直播對話中表示，目前 AI 模型的訓練已基本耗盡真實世界的數據，"我們已經用盡了人類知識的累積總和，這在去年就發生了。"馬斯克與前 Open AI 首席科學家 Ilya Sutskever 的觀點一致，後者在 NeurIPS 機器學習大會上提出 AI 行業已達到"數據峰值"，未來可能需要改變模型開發方式。

馬斯克認為，合成數據將是補充真實數據的途徑， AI 將通過生成和自我評估數據實現自我學習。這一趨勢已被包括微軟、 Meta 、Open AI 和 Anthropic 等科技巨頭採用，如微軟 Phi -4 模型和谷歌 Gemma 模型都結合了真實數據和合成數據進行訓練。 Gartner 預測，2024年 AI 和分析項目中約 60% 的數據將為合成生成。

合成數據的優勢包括成本節約，例如 AI 初創公司 Writer 僅花費約 70 萬美元開發其幾乎完全基於合成數據的 Palmyra X 004 模型，相比之下，類似規模的 Open AI 模型開發成本約為 460 萬美元。然而，合成數據也存在風險，包括模型創造力下降、輸出偏差加劇，以及潛在的模型崩潰，尤其當訓練數據本身存在偏差時，生成結果也可能受到影響。