BTC $64,997.70 +0.01%
ETH $1,818.73 -0.46%
BNB $590.79 -0.59%
XRP $0.9541 -1.73%
SOL $71.23 -1.47%
TRX $0.3051 +0.05%
DOGE $0.0587 -1.27%
ADA $0.1523 -1.32%
BCH $208.38 -0.63%
LINK $9.10 -1.63%
HYPE $70.09 +3.50%
AAVE $107.90 -0.79%
SUI $0.7177 -2.11%
XLM $0.1370 -2.59%
ZEC $903.36 -0.07%
AAPL $353.75 -1.52%
AMZN $258.18 -3.59%
GOOGL $283.95 -4.48%
MSFT $519.66 -1.05%
META $624.40 -2.88%
NVDA $155.77 -5.99%
TSLA $379.03 -3.57%
SNDK $802.90 -8.72%
INTC $52.89 -10.69%
SPCX $137.41 -1.93%
MU $712.77 -8.88%
AMD $499.11 -6.27%
BTC $64,997.70 +0.01%
ETH $1,818.73 -0.46%
BNB $590.79 -0.59%
XRP $0.9541 -1.73%
SOL $71.23 -1.47%
TRX $0.3051 +0.05%
DOGE $0.0587 -1.27%
ADA $0.1523 -1.32%
BCH $208.38 -0.63%
LINK $9.10 -1.63%
HYPE $70.09 +3.50%
AAVE $107.90 -0.79%
SUI $0.7177 -2.11%
XLM $0.1370 -2.59%
ZEC $903.36 -0.07%
AAPL $353.75 -1.52%
AMZN $258.18 -3.59%
GOOGL $283.95 -4.48%
MSFT $519.66 -1.05%
META $624.40 -2.88%
NVDA $155.77 -5.99%
TSLA $379.03 -3.57%
SNDK $802.90 -8.72%
INTC $52.89 -10.69%
SPCX $137.41 -1.93%
MU $712.77 -8.88%
AMD $499.11 -6.27%
first_img

연구: 2019년부터 2025년까지 사전 훈련 효율성 향상은 주로 데이터에서 비롯된다

2026-09-09 17:12:10

Dwarkesh Patel과 Jerry Han은 2026년 9월 8일 연구를 발표하여 2019년부터 2025년까지의 사전 훈련 진행에서 데이터와 모델 개선의 기여를 분석했습니다. 연구는 소규모로 진행되며, 매년 공개된 모델 레시피와 공개 데이터 코퍼스에 맞춰 사전 훈련을 수행하고, 최대 1e19 FLOPs의 훈련 계산 규모에서 조합 훈련을 진행했습니다.

결과는 1e19 FLOPs 계산 예산 하에 데이터 개선이 가져온 계산 효율성 증가는 12.0배, 모델 개선은 3.7배, 데이터 측의 증가는 모델 측의 약 3.24배임을 보여줍니다. 데이터와 모델 개선의 증가는 대체로 독립적이며 거의 상호작용이 없고, 선형 모델 하에서 두 가지의 가법적 효과는 OLMES 점수의 88% 분산을 설명할 수 있습니다.

모델 측은 GPT-2에서 OLMo-2로 발전하며 최적화기, 위치 인코딩, 정규화, 활성화 함수 및 초기화 등을 포함합니다. 데이터 측은 2019년 약 90억 토큰의 OpenWebText에서 2025년 규모가 더 크고 필터링이 더 정교한 UltraFineWeb 등의 코퍼스로 발전합니다.

체인캐처(ChainCatcher)는 독자들에게 블록체인을 이성적으로 바라보고, 리스크 인식을 실제로 향상시키며, 다양한 가상 토큰 발행 및 조작에 경계해야 함을 상기시킵니다. 사이트 내 모든 콘텐츠는 시장 정보나 관련 당사자의 의견일 뿐이며 어떠한 형태의 투자 조언도 제공하지 않습니다. 만약 사이트 내에서 민감한 정보를 발견하면 를 클릭하여 신속하게 처리할 것입니다.

app_icon
ChainCatcher Building the Web3 world with innovations.