Baidu Open Source Wenxin 5.5 Flash, общий параметр 280 миллиардов

Байду открывает исходный код модели ERNIE-5.5-Flash-Base. После серии Вэньсинь 4.5 в июне 2025 года, Байду спустя примерно 16 месяцев снова открывает модель с триллионом параметров, при этом выпущенные Вэньсинь 5.0 и 5.1 не были открыты. Вэньсинь 5.5 Flash ориентирован на эффективность вывода, общий параметр составляет 280 миллиардов, при генерации одного токена активируется всего 14 миллиардов параметров, и используется 33,5 триллиона токенов для предобучения с нуля.

Эта модель поддерживает контекст вывода до 1 миллиона токенов. Байду переработал механизм обработки длинных текстов, в 43-слойной сети 37 слоев сжимают каждые 128 исторических токенов в одну запись кэша, а остальные 6 слоев сохраняют возможность тонкой выборки оригинального содержания, чтобы снизить затраты видеопамяти и вычислительные расходы при обработке длинных текстов. Официально она была протестирована вместе с DeepSeek-V4-Flash-Base, Тенсент Hy3-preview-Base и Сяоми MiMo-V2.5-Base, в 30 бенчмарках 24 показали первое место.

В этот раз открывается чистая текстовая базовая модель, не проходившая промежуточное и постобучение, в основном для разработчиков, чтобы продолжить тонкую настройку в области, обучение по инструкциям и обучение с подкреплением. Байду сообщает, что версия Вэньсинь 5.5 Flash, прошедшая постобучение, будет выпущена позже. Лицензия более строгая, чем у предыдущего поколения, Вэньсинь 4.5 использует лицензию Apache 2.0, а 5.5 Flash переходит на пользовательскую лицензию, не разрешая использование в Европейском Союзе, Великобритании и Корее; для связанных продуктов или услуг, которые в течение последних 12 месяцев принесли более 50 миллионов долларов дохода, необходимо получить письменное разрешение Байду перед коммерческим использованием.