Модель Zhìpǔ была раскрыта с максимальным количеством параметров в 35 триллионов, что позволяет надеяться на уровень Claude Fable

Согласно новостям Beating AI, в распространенном в инвестиционном сообществе протоколе экспертного интервью говорится, что следующая базовая модель компании Zhipu не имеет 16 триллионов параметров, как сообщалось ранее, а составляет от 25 триллионов до 35 триллионов параметров. GLM-5.3, выпущенная Zhipu в августе этого года, по-прежнему использует предыдущую базу, общая сумма параметров составляет около 744 миллиардов; если информация верна, новая база будет примерно в 3,4–4,7 раза больше текущей.

В протоколе также говорится, что обучение прошло не так гладко, Zhipu использовала более агрессивную архитектуру модели, и во время предварительного обучения наблюдалось, что Loss не снижается, то есть продолжали вкладывать вычислительные ресурсы, но показатели обучения не могли улучшиться. Интервьюируемые считают, что проблема, вероятно, была решена недавно, и ожидается, что обучение будет завершено в ближайшее время, а новый модель сможет достичь уровня флагмана Claude Fable.

В протоколе также упоминается, что новая модель с этапа проектирования архитектуры учитывает скорость вывода и стоимость как жесткие ограничения, цель состоит в том, чтобы в день выпуска обеспечить массовое предоставление услуг. В то же время несколько облачных провайдеров ведут переговоры о разделе доходов, чтобы справиться с проблемой, когда большие модели создаются, но не могут быть предоставлены.