wenxin

Theo báo cáo của IT Nhà, mô hình lớn Baidu Wenxin đã phát hành ERNIE 5.5 Flash Preview, đây là phiên bản huấn luyện sau đầu tiên dựa trên mô hình Base đã được phát hành trước đó. Mô hình này có tổng số tham số là 280B, tham số kích hoạt là 14B, hỗ trợ 1M ngữ cảnh, và theo thông tin chính thức, nó thể hiện xuất sắc trong lập trình, mô hình 3D, công việc tri thức, sáng tạo nội dung và nhiều lĩnh vực khác.ERNIE 5.5 Flash Preview cân bằng giữa mức độ thông minh và hiệu quả suy luận, đạt được điểm số cạnh tranh trong nhiều bài kiểm tra chuẩn, đồng thời giữ tốc độ giải mã nhanh. API của mô hình đã được ra mắt trên nền tảng Thiên Phàm, trọng số sẽ được mã nguồn mở trước ngày 25 tháng 11.Baidu cho biết, mô hình này là phiên bản trung gian trong quá trình huấn luyện sau, mặc dù đã đạt được hiệu suất cạnh tranh trong số các mô hình cùng kích thước, nhưng vẫn có thể tồn tại một số khuyết điểm về khả năng do huấn luyện chưa đầy đủ. Quá trình huấn luyện sau vẫn đang tiếp tục và sẽ được tối ưu hóa trong phiên bản chính thức tiếp theo.

Mô hình trọng số ERNIE-5.5-Flash-Base được Baidu mở nguồn. Sau khi phát hành loạt mô hình Wenxin 4.5 vào tháng 6 năm 2025, Baidu đã mở nguồn lại mô hình lớn với hàng trăm tỷ tham số sau khoảng 16 tháng, trong thời gian này, các phiên bản Wenxin 5.0 và 5.1 đều không được mở nguồn. Wenxin 5.5 Flash chủ yếu tập trung vào hiệu suất suy diễn, với tổng số tham số là 2800 tỷ, chỉ kích hoạt 140 tỷ tham số cho mỗi Token được tạo ra, và sử dụng 33,5 triệu tỷ Token để huấn luyện từ đầu.Mô hình này hỗ trợ ngữ cảnh suy diễn tối đa 1 triệu Token. Baidu đã thiết kế lại cơ chế xử lý văn bản dài, trong 43 lớp mạng có 37 lớp nén mỗi 128 Token lịch sử thành một bản ghi bộ nhớ đệm, 6 lớp còn lại giữ lại khả năng tìm kiếm tinh vi đối với nội dung gốc, nhằm giảm thiểu chi phí bộ nhớ và tính toán trong việc xử lý văn bản dài. Chính thức, nó đã được đánh giá đồng nhất với DeepSeek-V4-Flash-Base, Tencent Hy3-preview-Base, Xiaomi MiMo-V2.5-Base, trong 30 bài kiểm tra chuẩn, có 24 bài đứng đầu.Lần này mở cửa là mô hình Base văn bản thuần chưa qua huấn luyện và hậu huấn luyện, chủ yếu dành cho các nhà phát triển tiếp tục thực hiện tinh chỉnh lĩnh vực, huấn luyện theo chỉ dẫn và học tăng cường. Baidu cho biết, phiên bản Wenxin 5.5 Flash đã qua hậu huấn luyện sẽ được phát hành sau. Giấy phép nghiêm ngặt hơn so với thế hệ trước, Wenxin 4.5 áp dụng giấy phép Apache 2.0, 5.5 Flash chuyển sang giấy phép tùy chỉnh, không cho phép sử dụng tại Liên minh Châu Âu, Vương quốc Anh và Hàn Quốc; các sản phẩm hoặc dịch vụ liên quan có doanh thu liên tục trên 50 triệu USD trong 12 tháng qua, trước khi thương mại phải có sự cho phép bằng văn bản của Baidu.

ChainCatcher news, Baidu's artificial intelligence assistant "Xiao Du Xiao Du" will release the world's first Baidu Wenxin large model learning machine on May 27.