MiniMax официально открывает исходный код модели H3 для генерации изображений, 6 шагов для получения 16,8 миллиона пикселей

MiniMax официально выпустил H3-Image и открыл исходные веса модели. Эта модель может напрямую генерировать изображения размером 4096×4096, около 16,8 миллиона пикселей, без дополнительного увеличения. Согласно официальным данным, время генерации составляет менее 10 секунд, скорость достигает 5 раз быстрее, чем у основных продуктов. Генерация изображений и редактирование изображений интегрированы в одну модель, поддерживающую до 16 ссылочных изображений.

H3-Image использует архитектуру модели H3 для видео, убирая аудиочасть, сохраняя оригинальный текстовый кодировщик и заново разрабатывая декодер для изображений. Основная сеть генерации изображений имеет 33,1 миллиарда параметров, для генерации одного изображения требуется всего 6 выборок. 7 августа исследователь MiniMax Kiro сообщил на Reddit AMA, что команда разрабатывает специализированную модель изображений на основе одноименной архитектуры H3 и планирует открыть исходные веса, при этом предложив сначала использовать модель изображений для генерации первого кадра, а затем передавать его H3 для генерации видео.

3 ноября Pruna AI выпустила P-H3-Image на основе открытой модели H3 для видео, поддерживающую генерацию изображений и редактирование, сжимающую сеть генерации с 33,1 миллиарда до примерно 20 миллиардов параметров, требуя всего 8 шагов выборки. Минимальная версия квантования составляет около 20 ГБ, при генерации изображения в 8 миллионов пикселей пиковая видеопамять составляет около 21 ГБ. Официальная версия MiniMax сохраняет сеть генерации с 33,1 миллиарда параметров, количество шагов выборки составляет 6, и поддерживает более высокое разрешение и больше ссылочных изображений, оригинальные веса вместе с повторно используемым текстовым кодировщиком составляют около 135 ГБ. Лицензия на открытый исходный код имеет региональные ограничения, США, Великобритания, Европейский Союз и Южная Корея не входят в регионы, авторизованные для лицензии сообщества; предприятия с годовым доходом более 1 миллиона долларов США или предоставляющие услуги хостинга моделей третьим лицам должны заранее получить отдельное разрешение.