Главный научный сотрудник OpenAI ответил на споры вокруг Astra, мониторинг цепочного мышления по-прежнему остается ключевым направлением исследований

Главный научный сотрудник OpenAI Якоб Пачоцкий заявил, что надеется избежать гонки за "неконтролируемостью" моделей, вызванной вводящими в заблуждение отчетами. Он отметил, что современные передовые модели, включая Astra, имеют глубину вычислительного графа, которая не превышает в два раза глубину GPT-4. OpenAI с момента выпуска первых моделей вывода стремится сохранить и использовать мониторинг цепочного мышления, полагая, что эта технология помогает наблюдать, как способности модели к выравниванию обобщаются из тренировочного распределения.

Пачоцкий также указал, что мониторинг цепочного мышления довольно уязвим, и тенденции не внушают оптимизма, но его все же можно усилить через исследования, и он стал центральной целью текущей исследовательской программы OpenAI. Ранее The Information сообщила, что Astra использует рекуррентную глубину, позволяя одной и той же группе слоев Transformer многократно вычислять. Часть вывода, таким образом, может происходить внутри модели, не требуя полного написания в виде цепочки мышления, что также вызвало опасения о том, что модели могут становиться все труднее контролировать.