BTC $64,805.60 -0.75%
ETH $1,816.14 -1.04%
BNB $589.46 -1.12%
XRP $0.9504 -2.54%
SOL $71.08 -2.11%
TRX $0.3050 -0.05%
DOGE $0.0585 -2.44%
ADA $0.1519 -2.20%
BCH $207.88 -1.24%
LINK $9.09 -2.17%
HYPE $69.83 +2.76%
AAVE $107.93 -1.33%
SUI $0.7149 -3.05%
XLM $0.1366 -3.50%
ZEC $899.08 -1.27%
AAPL $354.08 -1.38%
AMZN $258.70 -3.41%
GOOGL $284.13 -4.45%
MSFT $519.85 -1.13%
META $624.10 -2.88%
NVDA $155.78 -6.00%
TSLA $379.25 -3.37%
SNDK $805.08 -8.88%
INTC $53.12 -10.63%
SPCX $137.40 -1.79%
MU $712.34 -9.09%
AMD $499.38 -6.50%
BTC $64,805.60 -0.75%
ETH $1,816.14 -1.04%
BNB $589.46 -1.12%
XRP $0.9504 -2.54%
SOL $71.08 -2.11%
TRX $0.3050 -0.05%
DOGE $0.0585 -2.44%
ADA $0.1519 -2.20%
BCH $207.88 -1.24%
LINK $9.09 -2.17%
HYPE $69.83 +2.76%
AAVE $107.93 -1.33%
SUI $0.7149 -3.05%
XLM $0.1366 -3.50%
ZEC $899.08 -1.27%
AAPL $354.08 -1.38%
AMZN $258.70 -3.41%
GOOGL $284.13 -4.45%
MSFT $519.85 -1.13%
META $624.10 -2.88%
NVDA $155.78 -6.00%
TSLA $379.25 -3.37%
SNDK $805.08 -8.88%
INTC $53.12 -10.63%
SPCX $137.40 -1.79%
MU $712.34 -9.09%
AMD $499.38 -6.50%

olmo

Все
Статьи
Новости

first_img Исследование: повышение эффективности предварительного обучения с 2019 по 2025 год в основном связано с данными

Дваркеш Патель и Джерри Хан опубликовали исследование 8 сентября 2026 года, в котором разобрали вклад данных и улучшений моделей в прогресс предобучения с 2019 по 2025 год. Исследование проводилось на меньшем масштабе, сосредоточенном на предобучении, с ежегодным соответствием открытым рецептам моделей и открытым корпусам данных, и комбинированным обучением на вычислительном масштабе до 1e19 FLOPs.Результаты показывают, что при вычислительном бюджете в 1e19 FLOPs прирост вычислительной эффективности от улучшения данных составляет 12.0 раз, улучшение моделей — 3.7 раз, а прирост со стороны данных примерно в 3.24 раза больше, чем со стороны моделей. Прирост от улучшения данных и моделей в целом независим и почти не взаимодействует, линейная модель объясняет аддитивный эффект обоих факторов на 88% дисперсии OLMES.Сторона моделей эволюционировала от GPT-2 до OLMo-2, охватывая оптимизаторы, позиционное кодирование, нормализацию, функции активации и инициализацию. Сторона данных эволюционировала от примерно 9 миллиардов токенов OpenWebText в 2019 году до более крупного и более тщательно отфильтрованного корпуса UltraFineWeb в 2025 году.
app_icon
ChainCatcher Building the Web3 world with innovations.