DeepSeek 계획 훈련 80조 매개변수 모델

DeepSeek CEO 리앙원펑은 투자자에게 회사가 20조 개의 매개변수를 가진 모델을 훈련 중이며, 이후 80조 개의 매개변수를 가진 모델을 개발할 계획이라고 밝혔습니다. 현재의 플래그십 V4-Pro의 총 매개변수는 16조입니다.

현재 공개된 초대형 모델 중 Moonshot AI의 Kimi K3는 28조 개의 매개변수에 도달했습니다. Kimi K3는 MoE 아키텍처를 사용하며, 28조 개의 총 매개변수 중 각 토큰은 1040억 개의 매개변수를 활성화합니다. DeepSeek에서 계획 중인 80조 개의 매개변수 모델은 그 규모가 거의 3배에 달합니다.

DeepSeek는 7월에 500억 위안 이상의 자금을 조달했으며, 기업 가치는 500억 달러를 초과합니다. V4-Pro는 16조 개의 총 매개변수와 49억 개의 활성화 매개변수로 오픈 소스되었습니다.