aiбезопасность

Генеральный директор Anthropic Дарио Амодеи недавно заявил, что такие третьи стороны, как METR, должны иметь долгосрочный доступ к передовым AI-компаниям, получая права, близкие к правам сотрудников, для проверки мер безопасности, инцидентов и процесса обучения моделей. Однако расследование «Нью-Йорк Пост» показало, что связи между METR и кругом безопасности AI, к которому принадлежит Anthropic, гораздо ближе, чем обычные внешние аудиты.METR изначально назывался ARC Evals и был инкубирован в Центре исследований согласования, основанном Полом Кристиано. Кристиано ранее работал с Амодеи в OpenAI, и, как сообщает «Нью-Йорк Пост», они также были соседями по комнате; позже он стал одним из первых пяти попечителей Фонда долгосрочных выгод Anthropic. Текущий технический специалист METR Аджея Котра является женой Кристиано и ранее отвечала за финансирование безопасности AI в Coefficient Giving.В этом году, когда METR оценивал Anthropic, OpenAI, Google и Meta, не существовало применимых политик конфликта интересов, и не проводились формальные процессы избегания. METR раскрыл, что среди сотрудников и сотрудников, непосредственно участвующих в проекте, как минимум 6 человек имеют близкие личные отношения с сотрудниками AI-компаний. METR заявляет, что не принимает финансирование от передовых AI-компаний и их сотрудников, и не взимает плату за оценку рисков, хотя эти компании предоставляют большое количество токенов моделей бесплатно.

Генеральный директор OpenAI Сэм Альтман заявил, что он верит, что компании в области искусственного интеллекта могут безопасно развивать эту технологию, не нанося значительного вреда широкой общественности.Альтман во вторник на конференции Dreamforce в Сан-Франциско в ходе обсуждения с генеральным директором Salesforce Марком Бениоффом сказал: "Я очень уверен, что наша компания — вся наша отрасль — способна сделать это безопасно."

Марк Цукерберг заявил, что каждая лаборатория несет ответственность и имеет стимулы для безопасного обучения моделей с необходимой скоростью и способностью действовать самостоятельно. Люди не будут использовать агентов, которые не соответствуют их ожиданиям и не действуют по требованиям, поэтому у лабораторий есть сильный естественный стимул для повышения согласованности моделей. Доверие и согласованность быстро становятся важнейшими способностями, отличающими агентов от моделей, и любая лаборатория, не сосредоточенная на согласованности, отстанет.Цукерберг отметил, что лаборатории будут нести значительную ответственность, если их модели причинят вред, поэтому у них также есть сильный стимул для предотвращения этого. Meta отложила выпуск Muse на несколько месяцев, чтобы сосредоточиться на безопасности и охране, и не требовала от других лабораторий следовать ее примеру, просто рассматривая это как часть своей повседневной работы. Нанимать независимых оценщиков и консультантов — это лучшая практика в отрасли, и MSL уже делает это в нескольких областях. Использование большей части вычислительных мощностей для обслуживания людей, а не для конкуренции в самосовершенствовании, является одним из лучших способов обеспечить безопасную разработку этой технологии, и Meta уже сделала это обязательством.

Исследователь Anthropic Джейкоб Коксон объявил о своей отставке и готовится покинуть индустрию ИИ. В течение последних трех лет он работал в OpenAI и Anthropic, занимаясь исследованиями предобучения. Он отметил, что обе компании не ответственно продвигают ИИ, конкурируя в создании суперинтеллекта, который сможет продолжать повышать свои способности, «ставя на кон наши жизни».Он перешел из OpenAI в Anthropic именно потому, что последняя больше уделяет внимание безопасности моделей. Коксон признал, что работа Anthropic по безопасности серьезна, но считает, что пока компании продолжают конкурировать за создание AGI (универсального ИИ, который сможет превзойти человека в множестве задач), компромиссы в области безопасности неизбежны, и одной только самодисциплины компании недостаточно для решения проблемы. Его оценка обеих компаний такова: в OpenAI многие сотрудники еще не осознали, насколько велик этот риск; Anthropic знает о рисках, но считает, что на других полагаться нельзя, поэтому необходимо сначала сделать это самим.Коксон заявил, что некоторые работники ИИ в частном порядке гораздо более пессимистичны, чем в публичных заявлениях, и даже опасаются, что ИИ может уничтожить человечество до конца этого десятилетия. Он сам считает, что в самом радикальном сценарии к концу следующего года ИИ может выйти из-под контроля, поэтому такое решение не должно приниматься только инженерами нескольких компаний.