장이밍: 바이트댄스는 모델 증류의 지름길을 가지지 않으며, 대형 모델이 일시적으로 뒤처지는 것을 선호한다

바이트댄스 창립자 장이밍은 지난달 Seed 팀 전원 회의에서 회사가 모델 증류를 대형 모델을 추격하는 지름길로 삼지 않을 것이라고 분명히 밝혔습니다. 그는 팀이 단기 수익을 희생하고 장기 목표를 위해 노력할 것을 요구했습니다.

증류는 새로운 모델이 더 강력한 모델의 출력을 학습하게 하여 훈련 시간과 계산 능력을 절약하는 것을 의미합니다. 바이트 내부에서는 이 선택이 Seed의 언어 모델이 단기적으로 DeepSeek, Kimi 및 천문 등 국내 동료들을 따라잡기 더 어렵게 만들 것이라고 생각하고 있습니다. 그러나 바이트가 더 걱정하는 것은 정치적 위험입니다: 회사는 TikTok으로 인해 미국 정부의 검토를 받고 있으며, 미국의 최전선 모델 능력을 대규모로 추출했다는 혐의를 받게 될 경우 워싱턴이 TikTok에 다시 압박을 가할 수 있습니다. 이전에 Anthropic은 DeepSeek, 월의 어두운 면, MiniMax, 지표 및 알리바바가 Claude의 능력을 대규모로 추출했다고 주장했지만 바이트를 언급하지는 않았습니다.