ByteDance обсуждает обучение модели с более чем 5 триллионами параметров, команда Seed базовой модели настраивает архитектуру

Сообщение ChainCatcher, по данным LatePost, ByteDance обсуждает обучение модели с параметрами более 50 триллионов, что превышает Alibaba Qwen 3.8-Max (24 триллиона) и Лунная тень K3 (28 триллионов), что является наибольшим известным масштабом в стране на данный момент. Этот план все еще на ранней стадии и не гарантирует окончательный выпуск. Новая модель будет возглавлена Си Фаундейшн под руководством Сян Ляна и в сотрудничестве с Шэнь Кэ, ответственным за предобученные данные больших языковых моделей. Seed в связи с этим пересматривает организацию, распределяет обязанности и выделяет ресурсы.

Две недели назад основатель ByteDance Чжан Иминь провел собрание с сотрудниками Seed под руководством У Юнхуя. Чжан Иминь успокоил команду, сказав, что обучение больших моделей действительно сложно, и в течение некоторого времени можно принять отставание, надеясь достичь предела интеллекта и войти в первую мировую лигу; он признал, что программирование является ключевым направлением в настоящее время, и предложил интегрировать ресурсы Volcano Engine, Feishu и Doubao для создания преимуществ в вычислительной мощности и данных, одновременно напомнив, чтобы не следовать за единственной горячей темой. Он похвалил Seedance за его дифференцированное лидерство и четко высказался против дистилляции, считая, что это трудно действительно превзойти, и что необходимо строить барьеры AGI на более глубоком уровне, также отметив, что компания продолжит увеличивать инвестиции в ИИ.

За последние полгода Seed продемонстрировала выдающиеся результаты в многомодальных задачах, Seedance 2.0, Seedream и другие способствовали развитию Volcano Engine MaaS, но реакция рынка на языковую модель Seed 2.0 была ограниченной, а отставание в кодировании повлияло на структуру доходов. ByteDance уже высоко оценила Го Дая и привлекла его для работы в области кодирования, а также собрала соответствующие ресурсы. В условиях общего тренда в отрасли на увеличение размеров моделей, ByteDance надеется добиться опережающего роста с помощью более крупного масштаба, одновременно продвигая отмену гонок и разрушение departmental walls, сосредоточив усилия на решении задач.