ByteDance thảo luận về việc huấn luyện mô hình với hơn 5 triệu tỷ tham số, đội ngũ Seed điều chỉnh kiến trúc
Tin tức từ ChainCatcher, theo báo cáo của LatePost, ByteDance đang thảo luận về việc huấn luyện một mô hình lớn với quy mô tham số vượt quá 50 triệu tỷ, vượt qua Qwen 3.8-Max của Alibaba (24 triệu tỷ) và K3 của Mặt Trăng Tối (28 triệu tỷ), đây là kế hoạch lớn nhất hiện nay được biết đến trong nước. Kế hoạch này vẫn đang ở giai đoạn đầu và không đảm bảo sẽ được phát hành cuối cùng. Mô hình mới dự kiến sẽ do người đứng đầu Seed Foundation, Tằng Lượng, dẫn dắt, và hợp tác với người phụ trách dữ liệu huấn luyện mô hình ngôn ngữ lớn, Thẩm Khoa, Seed đang tái cấu trúc tổ chức, phân chia trách nhiệm và phân bổ nguồn lực dựa trên điều này.Hai tuần trước, người sáng lập ByteDance, Trương Nhất Minh, đã tổ chức một cuộc họp toàn thể với người đứng đầu Seed, Ngô Vĩnh Huy. Trương Nhất Minh đã an ủi đội ngũ rằng việc huấn luyện mô hình lớn vốn đã rất khó khăn, trong một thời gian ngắn có thể chấp nhận việc tụt lại phía sau, hy vọng với mục tiêu theo đuổi giới hạn trí tuệ, sẽ gia nhập vào đội ngũ hàng đầu thế giới; ông công nhận lập trình là hướng đi quan trọng hiện tại, nhấn mạnh việc tích hợp tài nguyên của Volcano Engine, Feishu và Doubao để xây dựng lợi thế về sức mạnh tính toán và dữ liệu, đồng thời nhắc nhở không nên bị cuốn theo một điểm nóng duy nhất. Ông đã khen ngợi sự khác biệt và dẫn đầu của Seedance, và rõ ràng phản đối việc chưng cất, cho rằng điều này khó có thể vượt qua thực sự, nên cần xây dựng rào cản AGI từ những tầng thấp hơn, và cho biết công ty sẽ tiếp tục tăng cường đầu tư vào AI.Trong sáu tháng qua, Seed đã thể hiện xuất sắc trong đa phương thức, Seedance 2.0, Seedream và các sản phẩm khác đã thúc đẩy Volcano Engine MaaS, nhưng phản ứng thị trường đối với mô hình ngôn ngữ Seed 2.0 còn hạn chế, khả năng lập trình kém đã ảnh hưởng đến cấu trúc doanh thu. ByteDance đã tuyển dụng với mức lương cao Guo Daya chuyên về lập trình, và đã tập hợp các nguồn lực liên quan. Đối mặt với xu hướng chung trong ngành về việc mở rộng kích thước mô hình, ByteDance hy vọng sẽ đạt được sự vượt bậc với quy mô lớn hơn, đồng thời thúc đẩy việc hủy bỏ cuộc đua ngựa, phá vỡ rào cản giữa các phòng ban, tập trung sức lực vào việc giải quyết vấn đề.