BTC $65,133.30 -0.03%
ETH $1,821.70 -0.42%
BNB $591.65 -0.56%
XRP $0.9541 -1.73%
SOL $71.53 -1.14%
TRX $0.3053 +0.05%
DOGE $0.0588 -1.34%
ADA $0.1527 -1.31%
BCH $208.89 -0.55%
LINK $9.11 -1.61%
HYPE $70.09 +3.50%
AAVE $107.94 -0.79%
SUI $0.7191 -2.05%
XLM $0.1373 -2.66%
ZEC $906.45 -0.07%
AAPL $353.47 -1.53%
AMZN $258.10 -3.62%
GOOGL $283.83 -4.34%
MSFT $519.16 -1.14%
META $623.61 -2.83%
NVDA $155.57 -5.84%
TSLA $378.72 -3.59%
SNDK $801.72 -8.75%
INTC $52.92 -10.61%
SPCX $137.25 -2.01%
MU $711.90 -8.70%
AMD $500.00 -5.84%
BTC $65,133.30 -0.03%
ETH $1,821.70 -0.42%
BNB $591.65 -0.56%
XRP $0.9541 -1.73%
SOL $71.53 -1.14%
TRX $0.3053 +0.05%
DOGE $0.0588 -1.34%
ADA $0.1527 -1.31%
BCH $208.89 -0.55%
LINK $9.11 -1.61%
HYPE $70.09 +3.50%
AAVE $107.94 -0.79%
SUI $0.7191 -2.05%
XLM $0.1373 -2.66%
ZEC $906.45 -0.07%
AAPL $353.47 -1.53%
AMZN $258.10 -3.62%
GOOGL $283.83 -4.34%
MSFT $519.16 -1.14%
META $623.61 -2.83%
NVDA $155.57 -5.84%
TSLA $378.72 -3.59%
SNDK $801.72 -8.75%
INTC $52.92 -10.61%
SPCX $137.25 -2.01%
MU $711.90 -8.70%
AMD $500.00 -5.84%
first_img

研究:2019 至 2025 年预训练效率提升主要来自数据

2026-09-09 17:12:10

ChainCatcher 消息,Dwarkesh Patel 与 Jerry Han 于 2026 年 9 月 8 日发布研究,拆解 2019 至 2025 年预训练进展中数据与模型改进的贡献。研究在较小规模、针对预训练进行,每年对应当年公开的模型配方与公开数据语料,并在最高 1e19 FLOPs 的训练计算规模上组合训练。

结果显示,在 1e19 FLOPs 计算预算下,数据改进带来的计算效率增益为 12.0 倍,模型改进为 3.7 倍,数据侧增益约为模型侧的 3.24 倍。数据与模型改进的增益大体独立、几乎不交互,线性模型下二者加性效应可解释 OLMES 分数 88% 的方差。

模型侧从 GPT-2 演进至 OLMo-2,涵盖优化器、位置编码、归一化、激活函数与初始化等。数据侧从 2019 年约 90 亿 token 的 OpenWebText,演进至 2025 年规模更大、过滤更精细的 UltraFineWeb 等语料。

链捕手ChainCatcher提醒,请广大读者理性看待区块链,切实提高风险意识,警惕各类虚拟代币发行与炒作, 站内所有内容仅系市场信息或相关方观点,不构成任何形式投资建议。如发现站内内容含敏感信息,可点击,我们会及时处理。

app_icon
ChainCatcher 与创新者共建Web3世界