DeepSeek планирует обучить модель с 80 триллионами параметров

Генеральный директор DeepSeek Лянь Вэньфэн сообщил инвесторам, что компания обучает модель с 20 триллионами параметров, а затем планирует разработать модель с 80 триллионами параметров. Текущая флагманская модель V4-Pro имеет общий объем параметров 1,6 триллиона.

Среди уже опубликованных весов сверхбольших моделей, Kimi K3 от Moonshot AI достигает 2,8 триллиона параметров. Kimi K3 использует архитектуру MoE, при этом из 2,8 триллиона общих параметров каждый токен активирует 104 миллиарда параметров. Запланированная модель DeepSeek с 80 триллионами параметров близка к почти 3-кратному увеличению.

DeepSeek завершила финансирование на сумму более 50 миллиардов юаней в июле, оценка компании превышает 50 миллиардов долларов. V4-Pro с общим объемом параметров 1,6 триллиона и 49 миллиардов активированных параметров является открытым исходным кодом.