Google DeepMind lần đầu tiên kiểm toán: AI không thúc đẩy nghiên cứu và phát triển của chính nó, 75% mã được viết bởi AI

Google DeepMind đã công bố báo cáo an toàn Gemini 4 Argon với đánh giá thực chứng đầu tiên về tự động hóa phát triển máy học, kết luận rằng AI không làm tăng tốc độ phát triển của chính nó, mặc dù AI đã viết hầu hết mã mà các kỹ sư của phòng thí nghiệm giao nộp. Nhà nghiên cứu tham gia đánh giá Haydn Belfield đã cho biết trên X rằng hiện tại không có sự tăng tốc đáng kể nào trong R&D ML đầu cuối, do đó rủi ro của R&D ML do AI điều khiển hiện tại là khá thấp.

Nhóm đã xây dựng chỉ số nội bộ GCI v1, tổng hợp điểm số của 123 mô hình AI trên 92 tiêu chuẩn thành một giá trị duy nhất. Khả năng tiên tiến của Gemini tăng lên với tốc độ ổn định khoảng 0.1 điểm GCI mỗi tháng, Gemini 1.5 Pro gần đạt 0.5 điểm vào cuối năm 2024, Gemini 3.8 Flash vào tháng 9 năm 2026 cao hơn một chút so với 2.9 điểm, Argon khoảng 3.3 điểm cao hơn đường xu hướng, nhưng Belfield cho biết điều này xuất phát từ việc tăng cường sức mạnh tính toán và đầu tư tổ chức, chứ không phải do tăng tốc do AI.

Hơn 75% mã được sản xuất bởi DeepMind được viết bởi AI, tỷ lệ yêu cầu hợp nhất mã hoàn toàn được ủy thác đã tăng từ 7.5% lên 11.9% từ tháng 4 đến tháng 9, nhưng khoảng 88% yêu cầu vẫn cần nhiều vòng hướng dẫn bằng tay hoặc viết bằng tay. Khảo sát 12 nhà nghiên cứu kỳ cựu cho thấy tự động hóa cao nhất trong các nhiệm vụ thực hiện rõ ràng, có thể xác minh, trong khi thấp nhất trong các khái niệm khoa học mở, thiết kế thí nghiệm mới và đào tạo chẩn đoán không ổn định.