Генеральный директор Microsoft: Передовые модели следует рассматривать как внутренний риск, контроль должен находиться вне модели

Генеральный директор Microsoft Сатья Наделла опубликовал статью, обсуждающую архитектуру доверия в эпоху суперразумов. Он отметил, что традиционное программное обеспечение может отслеживать поведение до конкретных кодовых путей, в то время как современные системы суперразума лишены такого механистического понимания и не могут связать поведение модели с конкретными данными для обучения или конфигурацией весов, но при этом они внедряются и имеют доступ к чувствительным данным, выполняя ключевые действия от имени пользователей. Он заявил, что нельзя передавать ответственность за интеллектуальное поведение поставщикам моделей, и нельзя воспринимать суперразум как многослойную черную коробку, принимая или отвергая его предложения и действия.

Наделла предложил отделить поставку интеллекта от его авторизации, окружив недетерминированные модели системами с определенной архитектурой, человеческим контролем и операционными процедурами, а также установить отраслевые стандарты в случае недостаточности существующих. Он рекомендовал рассматривать передовые модели с закрытыми и открытыми весами как внутренние риски, не потому что они обязательно злонамеренные, а потому что субъекты с достаточной мощностью и доступом к важным системам могут ошибаться или быть взломаны. К таким мерам относятся создание идентификаций, ограничение прав доступа, запись активности и установка изолирующих границ, а прозрачность цепочки мышления модели должна стать непереговорной отправной точкой.

Он также отметил, что контроль прав и действий должен находиться вне модели, а модель, уровень оркестрации и пространство действий должны быть разделены. Принципы включают избегание зависимости от одной модели как единственного источника важных результатов или проверки своей работы, ключевые действия должны оставлять доказательства, защищенные от подделки и читаемые человеком, постоянное тестирование на сбои, атаки и крайние ситуации, организация должна независимо решать о доступе и правах на действия, проверка должна быть независимой от проверяемого интеллекта, предположение о том, что модель была взломана, и поддержка возможности приостановки или отключения, а также своевременное раскрытие и обмен уроками в случае сбоя или взлома. Он подытожил, что самые надежные системы суперразума — это те, которые требуют от людей наименьшего доверия к моделям.