BTC $64,893.88 +0.34%
ETH $1,837.10 +1.18%
BNB $593.97 +0.65%
XRP $0.9649 +0.84%
SOL $72.94 +1.95%
TRX $0.3060 +0.80%
DOGE $0.0592 +0.48%
ADA $0.1543 +0.65%
BCH $209.12 +0.25%
LINK $9.21 +0.56%
HYPE $70.44 +6.15%
AAVE $112.76 +3.37%
SUI $0.7271 +0.41%
XLM $0.1389 -0.27%
ZEC $925.90 +4.13%
AAPL $353.18 -1.09%
AMZN $258.48 -2.08%
GOOGL $284.58 -2.74%
MSFT $517.38 -1.05%
META $625.10 -1.33%
NVDA $157.58 -2.08%
TSLA $379.34 -1.52%
SNDK $818.21 -2.94%
INTC $54.75 -4.77%
SPCX $138.02 -0.81%
MU $724.75 -2.89%
AMD $510.99 -0.78%
BTC $64,893.88 +0.34%
ETH $1,837.10 +1.18%
BNB $593.97 +0.65%
XRP $0.9649 +0.84%
SOL $72.94 +1.95%
TRX $0.3060 +0.80%
DOGE $0.0592 +0.48%
ADA $0.1543 +0.65%
BCH $209.12 +0.25%
LINK $9.21 +0.56%
HYPE $70.44 +6.15%
AAVE $112.76 +3.37%
SUI $0.7271 +0.41%
XLM $0.1389 -0.27%
ZEC $925.90 +4.13%
AAPL $353.18 -1.09%
AMZN $258.48 -2.08%
GOOGL $284.58 -2.74%
MSFT $517.38 -1.05%
META $625.10 -1.33%
NVDA $157.58 -2.08%
TSLA $379.34 -1.52%
SNDK $818.21 -2.94%
INTC $54.75 -4.77%
SPCX $138.02 -0.81%
MU $724.75 -2.89%
AMD $510.99 -0.78%
first_img

研究:2019 至 2025 年預訓練效率提升主要來自數據

2026-09-09 17:12:10

ChainCatcher 消息,Dwarkesh Patel 與 Jerry Han 於 2026 年 9 月 8 日發布研究,拆解 2019 至 2025 年預訓練進展中數據與模型改進的貢獻。研究在較小規模、針對預訓練進行,每年對應當年公開的模型配方與公開數據語料,並在最高 1e19 FLOPs 的訓練計算規模上組合訓練。

結果顯示,在 1e19 FLOPs 計算預算下,數據改進帶來的計算效率增益為 12.0 倍,模型改進為 3.7 倍,數據側增益約為模型側的 3.24 倍。數據與模型改進的增益大體獨立、幾乎不交互,線性模型下二者加性效應可解釋 OLMES 分數 88% 的方差。

模型側從 GPT-2 演進至 OLMo-2,涵蓋優化器、位置編碼、歸一化、激活函數與初始化等。數據側從 2019 年約 90 億 token 的 OpenWebText,演進至 2025 年規模更大、過濾更精細的 UltraFineWeb 等語料。

鏈捕手ChainCatcher提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場信息或相關方觀點,不構成任何形式投資建議。如發現站內內容含敏感信息,可點擊,我們會及時處理。

app_icon
ChainCatcher 與創新者共建Web3世界