Google открывает исходный код Harness², результаты GLM-5 увеличились на 11,5 балла

Исследования Google представили открытый AI инструментальный набор для самосовершенствования Harness², который позволяет AI агенту автоматически изменять системные подсказки, память, навыки, правила инструментов, а также сценарии и плагины без повторной тренировки модели. Проект использует лицензию Apache 2.0 и поддерживает OpenCode и Codex. Его основная механика заключается в том, чтобы агент сам проводил эксперименты, при возникновении новой задачи сначала предлагал несколько вариантов улучшений, а затем различные версии агента выполняли и сравнивали результаты, в конечном итоге комбинируя более подходящий вариант.

Даже без стандартного ответа система может искать направления для улучшения на основе фактического процесса выполнения. По окончании задачи система запоминает, какие изменения были эффективными и почему, для использования в будущем при аналогичных вопросах. Google использует GLM-5 и Gemini 3.5 Flash для тестирования. На WorkBuddy-Bench GLM-5 в сочетании с OpenCode после одного раунда оптимизации средний балл увеличился с 64.2 до 75.7, что превышает 72.4 балла не оптимизированного Gemini 3.5 Flash.

В тестах на юридические задачи процент прохождения по некоторым критериям оценки GLM-5 увеличился с 59.6% до 71.4%. В эксперименте по умолчанию Claude Opus 4.8 отвечает за предложение и внедрение улучшений, в то время как GLM-5 и Gemini в основном занимаются выполнением задач, не полагаясь полностью на собственную эволюцию. Внутренний разработчик Joseph Zhou продемонстрировал эксперимент с интеграцией Harness² в Jev 1.14, заявив, что результаты в визуальных задачах продолжают улучшаться.