дистилляция

Генеральный директор NVIDIA Хуан Жэньсюнь в понедельник в интервью CNBC в программе «Squawk Box» заявил, что обучение или изучение с использованием продуктов конкурентов является частью конкуренции и отказался называть дистилляцию AI моделей кражей. На вопрос, является ли дистилляция не грабежом, Хуан Жэньсюнь ответил, что это и есть конкуренция. Он отметил, что люди могут тестировать продукты других компаний, и продукты NVIDIA иногда разбираются до скелета, чтобы понять, как они работают; он предпочел бы, чтобы другие не учились на продуктах NVIDIA, но конкуренция делает все лучше, и если не хотите, чтобы другие использовали свои продукты, можно идентифицировать клиентов и прекратить предоставление услуг.Американские чиновники обвинили китайские AI компании в использовании дистилляции, то есть в обучении моделей на основе выходных данных других моделей, извлекая способности из американских систем. Министр финансов США Скотт Остин в июле назвал эту практику кражей и пригрозил санкциями для зарубежных компаний, использующих дистилляцию для извлечения возможностей из американских моделей. Белый дом не сразу ответил на запрос CNBC о комментариях, американские чиновники рассматривают возможность принятия мер против зарубежных компаний, использующих дистилляцию.Ранее в этом месяце Управление кибербезопасности и безопасности инфраструктуры США обвинило китайские AI компании в проведении дистилляции знаний в промышленных масштабах, нарушая условия использования американских компаний. AI компания Anthropic ранее в этом месяце заявила, что обнаружила, что модели серии Qwen от Alibaba и DeepSeek занимаются незаконной дистилляцией. Китайская сторона отвергла эти обвинения.

Пользователь choblin29 опубликовал сообщение, в котором руководитель исследовательского отдела OpenAI Борис Пауэр заявил, что компания уже на 80% до 90% сосредоточила свои исследования на GPT-7, GPT-8 и последующих моделях. Пауэр считает, что улучшения внутри одной и той же модели рассматриваются как краткосрочные инвестиции, которые могут быть использованы для ускорения текущего обучения, но не являются долгосрочной стратегией.Согласно собранной информации, соответствующий путь заключается в том, чтобы сначала построить крупные передовые модели, а затем использовать их в качестве учительских моделей, дистиллируя в более мелкие и дешевые модели. Пауэр упомянул, что GPT-6 Astra может быть дистиллирована в модели, такие как Luna, и считает, что хорошим способом создания небольших специализированных моделей может быть предварительное обучение более мощной универсальной модели. Он также отметил, что текущей главной проблемой является не производительность модели, а то, что большинство пользователей все еще не понимают, какие задачи уже могут выполнять существующие ИИ.