BTC $64,861.12 +0.39%
ETH $1,836.37 +1.31%
BNB $593.79 +0.77%
XRP $0.9636 +1.23%
SOL $72.81 +2.22%
TRX $0.3061 +1.00%
DOGE $0.0592 +0.91%
ADA $0.1545 +1.00%
BCH $209.19 +0.61%
LINK $9.19 +0.82%
HYPE $70.23 +6.24%
AAVE $112.87 +3.44%
SUI $0.7272 +0.75%
XLM $0.1387 -0.10%
ZEC $924.31 +5.46%
AAPL $352.85 -1.14%
AMZN $258.32 -2.00%
GOOGL $284.36 -2.72%
MSFT $517.12 -1.06%
META $623.54 -1.54%
NVDA $157.38 -1.83%
TSLA $379.20 -1.42%
SNDK $816.40 -2.80%
INTC $54.65 -4.71%
SPCX $138.00 -0.72%
MU $723.66 -2.64%
AMD $509.52 -0.67%
BTC $64,861.12 +0.39%
ETH $1,836.37 +1.31%
BNB $593.79 +0.77%
XRP $0.9636 +1.23%
SOL $72.81 +2.22%
TRX $0.3061 +1.00%
DOGE $0.0592 +0.91%
ADA $0.1545 +1.00%
BCH $209.19 +0.61%
LINK $9.19 +0.82%
HYPE $70.23 +6.24%
AAVE $112.87 +3.44%
SUI $0.7272 +0.75%
XLM $0.1387 -0.10%
ZEC $924.31 +5.46%
AAPL $352.85 -1.14%
AMZN $258.32 -2.00%
GOOGL $284.36 -2.72%
MSFT $517.12 -1.06%
META $623.54 -1.54%
NVDA $157.38 -1.83%
TSLA $379.20 -1.42%
SNDK $816.40 -2.80%
INTC $54.65 -4.71%
SPCX $138.00 -0.72%
MU $723.66 -2.64%
AMD $509.52 -0.67%

olmo

Все
Статьи
Новости

first_img Исследование: повышение эффективности предварительного обучения с 2019 по 2025 год в основном связано с данными

Дваркеш Патель и Джерри Хан опубликовали исследование 8 сентября 2026 года, в котором разобрали вклад данных и улучшений моделей в прогресс предобучения с 2019 по 2025 год. Исследование проводилось на меньшем масштабе, сосредоточенном на предобучении, с ежегодным соответствием открытым рецептам моделей и открытым корпусам данных, и комбинированным обучением на вычислительном масштабе до 1e19 FLOPs.Результаты показывают, что при вычислительном бюджете в 1e19 FLOPs прирост вычислительной эффективности от улучшения данных составляет 12.0 раз, улучшение моделей — 3.7 раз, а прирост со стороны данных примерно в 3.24 раза больше, чем со стороны моделей. Прирост от улучшения данных и моделей в целом независим и почти не взаимодействует, линейная модель объясняет аддитивный эффект обоих факторов на 88% дисперсии OLMES.Сторона моделей эволюционировала от GPT-2 до OLMo-2, охватывая оптимизаторы, позиционное кодирование, нормализацию, функции активации и инициализацию. Сторона данных эволюционировала от примерно 9 миллиардов токенов OpenWebText в 2019 году до более крупного и более тщательно отфильтрованного корпуса UltraFineWeb в 2025 году.
app_icon
ChainCatcher Building the Web3 world with innovations.