바이트댄스, 10조 개 매개변수를 가진 AI 모델 훈련, 세계 최고 수준을 목표로 하다

영국 금융 타임즈에 따르면, 중국 기업들이 미국의 최첨단 인공지능 연구소와의 격차를 계속 줄여나가면서, 바이트댄스는 Anthropic의 최첨단 Mythos 시스템에 근접할 수 있는 AI 모델을 훈련하고 있습니다. 세 명의 정보 제공자에 따르면, 이 중국 기술 대기업은 현재 초대형 모델 훈련의 초기 단계에 있으며, 이 모델의 파라미터 수는 10조 수준에 이를 것으로 예상되며, 현재 중국에서 발표된 최대 모델인 월의 암면 소속 Kimi K3 모델의 약 세 배에 해당합니다.

그 중 한 정보 제공자는 바이트댄스의 모델이 현재 사전 훈련 중이며, 이 단계는 일반적으로 3개월에서 6개월이 소요되며, 모든 것이 순조롭게 진행된다면 이후 미세 조정 및 출시가 이루어질 것이라고 전했습니다. 모델의 구체적인 규모는 후에 결정될 것입니다. Anthropic은 자사의 모델의 파라미터 규모를 공개하지 않았지만, 업계 추정에 따르면, 그들의 최첨단 Mythos 5 모델의 파라미터 수는 약 8조, Fable 5는 약 5조로 추정됩니다.

주의할 점은, 파라미터 수가 모델이 정보를 저장할 수 있는 기본 용량 또는 기억 한계를 결정하지만, 모델의 실제 능력은 데이터 품질, 훈련 방식 등 다른 요소에도 의존한다는 것입니다.