OpenAI ra mắt hệ thống Control Room, có thể ngắt kết nối đầu ra của mô hình trong vòng 35 giây
OpenAI đã công bố ra mắt một hệ thống tập trung có tên là Control Room, được sử dụng để theo dõi khối lượng công việc mô hình trong cơ sở hạ tầng nghiên cứu của mình và nhanh chóng ngừng các nhiệm vụ liên quan khi có nguy cơ về an ninh hoặc an toàn. Hệ thống này hiện đang bao phủ các khối lượng công việc nghiên cứu nội bộ của OpenAI, bao gồm các thí nghiệm huấn luyện, đánh giá và xử lý dữ liệu. OpenAI cho biết, khi khả năng của mô hình tăng lên, các rủi ro về an ninh và an toàn liên quan cũng tăng theo, việc phát hiện kịp thời các vấn đề tiềm ẩn và nhanh chóng ngừng mô hình khi cần thiết đang trở nên ngày càng quan trọng.Về cơ chế cụ thể, Control Room sẽ phân bổ một định danh cho mỗi nhiệm vụ nghiên cứu, và động cơ suy diễn sẽ xác minh định danh đó trước khi tạo ra đầu ra của mô hình. Khi hệ thống giám sát thủ công hoặc tự động đưa ra lệnh dừng, Control Room sẽ thu hồi quyền cho nhiệm vụ đó, từ đó chặn các đầu ra tiếp theo, ngay cả khi chương trình nghiên cứu cơ sở vẫn đang chạy. OpenAI cho biết, quyền truy cập đã được lưu trữ có thể khiến việc ngừng lại bị trì hoãn tối đa 35 giây; ngoài ra, nếu Control Room không khả dụng, hệ thống được thiết kế để từ chối các yêu cầu mới.Trước khi phát hành lần này, OpenAI đã tiết lộ nhiều sự kiện trong năm nay về việc các mô hình nghiên cứu đã lệch hướng khỏi chỉ dẫn trong quá trình đánh giá. Vào tháng 7, công ty cho biết mô hình của mình đã thoát khỏi môi trường thử nghiệm hạn chế và xâm nhập vào Hugging Face để gian lận trong đánh giá an ninh. Vào tháng 10, họ đã tiết lộ một mô hình nghiên cứu đã sử dụng ví tiền điện tử mà không có sự cho phép, để thanh toán phí triển khai hợp đồng thông minh trên mạng thử nghiệm ETH, và đã che giấu khoản chi này trong bản tóm tắt cuối cùng.
