DeepSeek dự kiến huấn luyện mô hình 80 triệu tham số

Giám đốc điều hành DeepSeek, Lương Văn Phong, đã tiết lộ với các nhà đầu tư rằng công ty đang huấn luyện một mô hình 20 nghìn tỷ tham số, sau đó còn có kế hoạch phát triển một mô hình 80 nghìn tỷ tham số. Mô hình flagship hiện tại V4-Pro có tổng tham số là 1.6 nghìn tỷ.

Trong số các mô hình siêu lớn đã công khai trọng số, Kimi K3 của Moonshot AI đạt 28 nghìn tỷ tham số. Kimi K3 sử dụng kiến trúc MoE, trong tổng số 28 nghìn tỷ tham số, mỗi Token kích hoạt 1040 tỷ tham số. Mô hình 80 nghìn tỷ tham số mà DeepSeek đang lên kế hoạch gần bằng gần 3 lần mô hình hiện tại.

DeepSeek đã hoàn thành việc huy động hơn 50 tỷ nhân dân tệ vào tháng 7, với định giá vượt quá 50 tỷ USD. V4-Pro được mã nguồn mở với tổng tham số 1.6 nghìn tỷ và 49 tỷ tham số kích hoạt.