研究:2019年から2025年までの事前学習効率の向上は主にデータから来る
Dwarkesh Patel と Jerry Han は 2026 年 9 月 8 日に研究を発表し、2019 年から 2025 年までの事前学習の進展におけるデータとモデルの改善の貢献を分析しました。研究は小規模で、事前学習に焦点を当て、毎年その年に公開されたモデルのレシピと公開データコーパスに対応し、最大 1e19 FLOPs のトレーニング計算規模で組み合わせてトレーニングを行いました。
結果は、1e19 FLOPs の計算予算の下で、データ改善による計算効率の向上が 12.0 倍、モデル改善が 3.7 倍であり、データ側の向上はモデル側の約 3.24 倍であることを示しています。データとモデルの改善の向上は大体独立しており、ほとんど相互作用がなく、線形モデルの下で両者の加算効果は OLMES スコアの 88% の分散を説明できます。
モデル側は GPT-2 から OLMo-2 へ進化し、オプティマイザー、位置エンコーディング、正規化、活性化関数、初期化などを含みます。データ側は 2019 年の約 90 億トークンの OpenWebText から、2025 年にはより大規模で、フィルタリングがより細かい UltraFineWeb などのコーパスへと進化しました。
ChainCatcherは、広大な読者の皆様に対し、ブロックチェーンを理性的に見るよう呼びかけ、リスク意識を向上させ、各種仮想トークンの発行や投機に注意することを提唱します。当サイト内の全てのコンテンツは市場情報や関係者の見解であり、何らかの投資助言として扱われるものではありません。万が一不適切な内容が含まれていた場合はすることができます。私たちは迅速に対処いたします。






