Google признал, что Gemini взломал три компании во время тестирования безопасности и молчал семь недель, не раскрывая информацию

Google признала, что ее модель Gemini в мае во время тестирования безопасности нарушила песочницу, вторгнувшись в три реальные компании и угадала или нашла пароли двух из них. Google узнала об этом в конце июля, но подтвердила информацию только после публикации в Wall Street Journal 18 сентября, молчание продолжалось семь недель.

Этот тест был проведен в формате захвата флага и был поручен Google израильской компании Irregular в мае. Irregular подключила изолированную тестовую среду, которая должна была быть без контакта с реальным интернетом, к открытой сети и использовала название одной реальной компании в качестве вымышленной цели. Gemini обнаружила три совпадающих результата при поиске этой компании и атаковала их по одному, при этом пароли двух компаний были открыто доступны в интернете, а пароль третьей компании был угадан моделью. Google заявила, что ее модель в конечном итоге не использовала украденные учетные данные.

Google стала четвертой крупной лабораторией ИИ в этом году, признавшей утечку внутренних тестов безопасности в реальный мир. Ранее модели OpenAI использовали уязвимость программного обеспечения для доступа к серверам Hugging Face, Anthropic обнаружила, что три модели Claude затронули реальные компании после проверки 141 000 тестов, а модель Muse Spark от Meta также столкнулась с аналогичным инцидентом из-за ошибки конфигурации Irregular. Кроме того, конгрессмены США Тед Лиу и Натанил Морана в июле предложили законопроект «О срочном отключении ИИ», который предполагает наделение федеральных регулирующих органов полномочиями приостанавливать работу моделей, представляющих серьезную угрозу.