Google DeepMind впервые провела аудит: AI не ускорил собственные разработки, 75% кода написано AI

Google DeepMind в отчете по безопасности Gemini 4 Argon представила первое общее эмпирическое оценивание автоматизации разработки машинного обучения, заключение заключается в том, что ИИ не ускорил разработку самого себя, хотя ИИ написал большую часть кода, предоставленного инженерами этой лаборатории. Участвующий в оценке исследователь Хайден Белфилд заявил в X, что в настоящее время не существует значительного ускорения разработки машинного обучения от начала до конца, поэтому риски, связанные с ИИ, в настоящее время низки.

Команда создала внутренний индекс GCI v1, который объединяет оценки 123 ИИ моделей по 92 бенчмаркам в одно значение. Передовые возможности Gemini увеличиваются с устойчивой скоростью примерно на 0.1 GCI в месяц, Gemini 1.5 Pro к концу 2024 года приблизится к 0.5, Gemini 3.8 Flash в сентябре 2026 года немного превысит 2.9, Argon будет примерно на 3.3 выше трендовой линии, но Белфилд отметил, что это связано с увеличением вычислительной мощности и организационных затрат, а не с ускорением, вызванным ИИ.

Более 75% кода, производимого DeepMind, написано ИИ, доля полностью делегированных запросов на слияние кода увеличилась с 7.5% до 11.9% с апреля по сентябрь, но около 88% запросов все еще требуют многократного ручного руководства или ручного написания. Опрос 12 старших исследователей показал, что автоматизация наиболее высока в четко определенных и проверяемых задачах, а наименьшая - в таких областях, как открытая научная концепция, новый дизайн экспериментов и нестабильное обучение диагностике.