BTC $64,997.70 +0.01%
ETH $1,818.73 -0.46%
BNB $590.79 -0.59%
XRP $0.9541 -1.73%
SOL $71.23 -1.47%
TRX $0.3051 +0.05%
DOGE $0.0587 -1.27%
ADA $0.1523 -1.32%
BCH $208.38 -0.63%
LINK $9.10 -1.63%
HYPE $70.09 +3.50%
AAVE $107.90 -0.79%
SUI $0.7177 -2.11%
XLM $0.1370 -2.59%
ZEC $903.36 -0.07%
AAPL $353.75 -1.52%
AMZN $258.18 -3.59%
GOOGL $283.95 -4.48%
MSFT $519.66 -1.05%
META $624.40 -2.88%
NVDA $155.77 -5.99%
TSLA $379.03 -3.57%
SNDK $802.90 -8.72%
INTC $52.89 -10.69%
SPCX $137.41 -1.93%
MU $712.77 -8.88%
AMD $499.11 -6.27%
BTC $64,997.70 +0.01%
ETH $1,818.73 -0.46%
BNB $590.79 -0.59%
XRP $0.9541 -1.73%
SOL $71.23 -1.47%
TRX $0.3051 +0.05%
DOGE $0.0587 -1.27%
ADA $0.1523 -1.32%
BCH $208.38 -0.63%
LINK $9.10 -1.63%
HYPE $70.09 +3.50%
AAVE $107.90 -0.79%
SUI $0.7177 -2.11%
XLM $0.1370 -2.59%
ZEC $903.36 -0.07%
AAPL $353.75 -1.52%
AMZN $258.18 -3.59%
GOOGL $283.95 -4.48%
MSFT $519.66 -1.05%
META $624.40 -2.88%
NVDA $155.77 -5.99%
TSLA $379.03 -3.57%
SNDK $802.90 -8.72%
INTC $52.89 -10.69%
SPCX $137.41 -1.93%
MU $712.77 -8.88%
AMD $499.11 -6.27%
first_img

Исследование: повышение эффективности предварительного обучения с 2019 по 2025 год в основном связано с данными

2026-09-09 17:12:10

Дваркеш Патель и Джерри Хан опубликовали исследование 8 сентября 2026 года, в котором разобрали вклад данных и улучшений моделей в прогресс предобучения с 2019 по 2025 год. Исследование проводилось на меньшем масштабе, сосредоточенном на предобучении, с ежегодным соответствием открытым рецептам моделей и открытым корпусам данных, и комбинированным обучением на вычислительном масштабе до 1e19 FLOPs.

Результаты показывают, что при вычислительном бюджете в 1e19 FLOPs прирост вычислительной эффективности от улучшения данных составляет 12.0 раз, улучшение моделей — 3.7 раз, а прирост со стороны данных примерно в 3.24 раза больше, чем со стороны моделей. Прирост от улучшения данных и моделей в целом независим и почти не взаимодействует, линейная модель объясняет аддитивный эффект обоих факторов на 88% дисперсии OLMES.

Сторона моделей эволюционировала от GPT-2 до OLMo-2, охватывая оптимизаторы, позиционное кодирование, нормализацию, функции активации и инициализацию. Сторона данных эволюционировала от примерно 9 миллиардов токенов OpenWebText в 2019 году до более крупного и более тщательно отфильтрованного корпуса UltraFineWeb в 2025 году.

链捕手ChainCatcher напоминает: относитесь к блокчейну рационально, повышайте осведомлённость о рисках и будьте осторожны с выпуском и спекуляциями виртуальными токенами. Весь контент на сайте является рыночной информацией или мнением соответствующих сторон и не является инвестиционной рекомендацией в любой форме. Если вы обнаружите чувствительную информацию, нажмите — мы оперативно разберёмся.

app_icon
ChainCatcher Building the Web3 world with innovations.