выравнивание

Марк Цукерберг заявил, что каждая лаборатория несет ответственность и имеет стимулы для безопасного обучения моделей с необходимой скоростью и способностью действовать самостоятельно. Люди не будут использовать агентов, которые не соответствуют их ожиданиям и не действуют по требованиям, поэтому у лабораторий есть сильный естественный стимул для повышения согласованности моделей. Доверие и согласованность быстро становятся важнейшими способностями, отличающими агентов от моделей, и любая лаборатория, не сосредоточенная на согласованности, отстанет.Цукерберг отметил, что лаборатории будут нести значительную ответственность, если их модели причинят вред, поэтому у них также есть сильный стимул для предотвращения этого. Meta отложила выпуск Muse на несколько месяцев, чтобы сосредоточиться на безопасности и охране, и не требовала от других лабораторий следовать ее примеру, просто рассматривая это как часть своей повседневной работы. Нанимать независимых оценщиков и консультантов — это лучшая практика в отрасли, и MSL уже делает это в нескольких областях. Использование большей части вычислительных мощностей для обслуживания людей, а не для конкуренции в самосовершенствовании, является одним из лучших способов обеспечить безопасную разработку этой технологии, и Meta уже сделала это обязательством.

Недавно уволившийся из Google DeepMind исследователь в области ИИ Билал Чугтай в понедельник опубликовал посты в X и LinkedIn, в которых заявил, что человечество тратит время на предотвращение широкомасштабного вреда от искусственного интеллекта. Он написал: "В Google я стал свидетелем развития ИИ. Я также крайне обеспокоен предполагаемой траекторией этой технологии. Я искренне верю, что ИИ может убить нас всех."Чугтай отметил, что он работал в компании, принадлежащей Alphabet, над безопасностью и согласованием ИИ. Это еще один сотрудник, выражающий обеспокоенность по поводу направления развития технологий. Google пока не ответила на запрос о комментариях.

Главный научный сотрудник OpenAI Якуб Пачоцкий 6 сентября 2026 года опубликовал статью «Иностранный разум». В статье рассматриваются результаты исследования RLSlow, впервые появившегося в середине 2023 года, о масштабируемом обучении моделей вывода, утверждая, что через три года модели языка вывода стали частью быстрого экономического роста, начали продвигать научные границы, способны управлять компьютерами и графическими интерфейсами, сотрудничать с людьми и другими ИИ и проводить исследовательские проекты, одновременно изменяя ландшафт компьютерной безопасности и создавая новые опасности.Автор на основе внутренних результатов ожидает, что текущая скорость прогресса может продолжаться до рекурсивного самоулучшения. Если развитие ИИ продолжится по текущему пути, в ближайшие годы системы могут продемонстрировать аналогичные или более значительные скачки в способности и все больше будут управлять своим развитием. Автор призывает к крайней осторожности, полагая, что никто не готов к последствиям быстрого роста машинного интеллекта. OpenAI продолжит искать технические решения для согласования и мониторинга, строить системы защиты и при необходимости в одностороннем порядке останавливать дальнейшую масштабируемость, но считает, что требуется более широкое вмешательство.В статье говорится, что машинный интеллект в основном движется за счет увеличения вычислительных мощностей, ИИ больше растет, чем проектируется. В аспекте согласования различаются целевое согласование и ценностное согласование, основной вызов заключается в обобщении. GPT-6 Astra значительно превосходит GPT-5.6 Sol по согласованию, но все еще требует большего прогресса. В области мониторинга основное внимание уделяется мониторингу цепочек мышления, оценки показывают, что зависимость от способностей постепенно ослабевает. В области масштабируемой защиты модели становятся сверхчеловеческими в преодолении компьютерных систем, в настоящее время существует узкое окно для значительного усиления безопасности ключевых систем с использованием лучших доступных моделей.

Главный научный сотрудник OpenAI Якоб Пачоцкий заявил, что надеется избежать гонки за "неконтролируемостью" моделей, вызванной вводящими в заблуждение отчетами. Он отметил, что современные передовые модели, включая Astra, имеют глубину вычислительного графа, которая не превышает в два раза глубину GPT-4. OpenAI с момента выпуска первых моделей вывода стремится сохранить и использовать мониторинг цепочного мышления, полагая, что эта технология помогает наблюдать, как способности модели к выравниванию обобщаются из тренировочного распределения.Пачоцкий также указал, что мониторинг цепочного мышления довольно уязвим, и тенденции не внушают оптимизма, но его все же можно усилить через исследования, и он стал центральной целью текущей исследовательской программы OpenAI. Ранее The Information сообщила, что Astra использует рекуррентную глубину, позволяя одной и той же группе слоев Transformer многократно вычислять. Часть вывода, таким образом, может происходить внутри модели, не требуя полного написания в виде цепочки мышления, что также вызвало опасения о том, что модели могут становиться все труднее контролировать.