Giám đốc khoa học của OpenAI phản hồi về tranh cãi của Astra, giám sát tư duy chuỗi vẫn là trọng tâm nghiên cứu

OpenAI Giám đốc khoa học Jakub Pachocki cho biết, hy vọng tránh được cuộc đua "không thể giám sát" do các báo cáo gây hiểu lầm. Ông cho rằng, các mô hình tiên tiến hiện tại, bao gồm cả Astra, có độ sâu đồ thị tính toán không vượt quá gấp đôi so với GPT-4. OpenAI từ khi ra mắt các mô hình suy diễn đầu tiên đã nỗ lực duy trì và tận dụng giám sát tư duy chuỗi, cho rằng công nghệ này giúp quan sát khả năng đồng bộ của mô hình như thế nào từ phân phối đào tạo.

Pachocki cũng chỉ ra rằng, giám sát tư duy chuỗi tương đối yếu và xu hướng không lạc quan, nhưng vẫn có thể được củng cố thông qua nghiên cứu, và đã trở thành mục tiêu cốt lõi trong kế hoạch nghiên cứu hiện tại của OpenAI. Trước đó, The Information đã báo cáo rằng, Astra sử dụng độ sâu hồi tiếp, cho phép cùng một nhóm lớp Transformer tính toán lặp đi lặp lại. Một số suy diễn do đó có thể xảy ra bên trong mô hình, không cần phải viết toàn bộ thành chuỗi tư duy, cũng gây ra lo ngại về việc liệu mô hình có ngày càng khó giám sát hơn không.