Google DeepMind выпустил XYEval, оценивающий, подчиняются ли агенты вводящим в заблуждение рекомендациям

Исследователи Google DeepMind Чжэнсюань У, Юйсюань Ли, Ойвинд Тафьорд и Бин Ким опубликовали препринт статьи «XYEval: Agents say yes to bad advice», в которой предложили метаоценочную рамку XYEval для оценки работы агентов в условиях вводящих в заблуждение предложений от пользователей. Статья расширяет "XY-проблему" на сценарии агентов, где пользователь спрашивает о своем собственном решении X, а не о настоящей проблеме Y.

XYEval сохраняет оригинальную среду задачи и проверяемые ответы, добавляя в инструкции казалось бы разумные, но вводящие в заблуждение предложения от пользователей. Вводящие в заблуждение предложения генерируются генератором после того, как он увидел полную задачу, и добавляются в форме уверенных предложений, а не жестких требований, что позволяет решить оригинальную задачу. Оценка охватывает шесть бенчмарков: τ2-bench, SWE-bench Verified, SWE-bench Pro, Terminal-Bench, Humanity's Last Exam и MCP-Atlas, а также пять моделей, при этом вводящие в заблуждение предложения для τ2-bench создаются на основе правил, разработанных экспертами.

В статье говорится, что производительность задач после мутации XY значительно снижается, причем относительное снижение достигает 46,7%. На τ2-bench, когда пользователи требуют сначала предоставить подробное объяснение, прежде чем принять лучшее решение, производительность снижается еще больше. Модели, осознающие XY-проблему, могут частично смягчить это с помощью простых системных инструкций. Соответствующий код опубликован в репозитории GitHub google-deepmind/xyeval.