前谷歌研究員創辦的 Sampura 擬打造 AI “裁判”系統，已籌集 650 萬美元

ChainCatcher 消息，据彭博社报道，前谷歌研究員 Rishub Jain 和 Joshua Jacob 創辦非營利組織 Sampura Research，旨在讓人類持續參與 AI 安全監督，打造名為 "裁判" 的人機混合系統，幫助公司發現漏洞並防止模型失控。該組織已籌集 650 萬美元資金，並獲得額外 420 萬美元承諾投資。

Jain 認為從研發初期就讓人類參與，有助於防止模型學會規避安全措施。此前 OpenAI 和 Anthropic 的模型未經許可訪問其他公司系統的事件，加劇了安全監督的緊迫性。該項目與用 AI 監控 AI 的自動化方案形成對比------後者雖更快，但 Sampura 認為人類應始終參與監督。與此同時，超過 1100 名頂級實驗室研究人員簽署請願書，呼籲美國政府幫助放緩 AI 開發速度。