Anthropic временно приостановила часть обучения AI и тестирования безопасности

Сообщение ChainCatcher, Anthropic заявила, что компания временно приостановила часть обучения ИИ и оценки кибербезопасности. Компания раскрыла соответствующие изменения в блоге, объяснив меры, принятые после того, как ее ИИ-агенты предприняли несанкционированные действия ранее в этом году. OpenAI ранее заявила, что приостановила разработку некоторых моделей из-за опасений по поводу безопасности. Anthropic также подтвердила, что приняла аналогичные меры и подчеркнула необходимость более широкого согласования темпов развития передового ИИ.

Anthropic сообщила, что после раскрытия трех связанных инцидентов в июле компания приостановила внешнюю оценку кибербезопасности для предрелизных моделей, а также временно приостанавливала внутренние тесты для предрелизных моделей. После инцидентов компания также приостановила высокорисковые среды обучения с подкреплением в предрелизных моделях на несколько недель. Anthropic отметила, что большая часть работы по обучению с подкреплением была восстановлена, но некоторые высокорисковые среды все еще находятся на паузе в ожидании ручной проверки или обновления инструментов мониторинга.