BTC $64,585.71 +0.43%
ETH $1,809.90 -0.36%
BNB $591.67 +0.22%
XRP $0.9842 +3.05%
SOL $74.81 +3.67%
TRX $0.3085 +0.82%
DOGE $0.0593 +1.19%
ADA $0.1535 +0.53%
BCH $208.60 +0.38%
LINK $9.23 +1.22%
HYPE $68.86 -1.01%
AAVE $112.06 +0.05%
SUI $0.7307 +1.44%
XLM $0.1409 +2.62%
ZEC $958.61 +5.27%
AAPL $350.45 -0.65%
AMZN $259.02 +0.65%
GOOGL $281.68 -0.59%
MSFT $507.58 -1.81%
META $620.25 -0.19%
NVDA $158.19 +0.96%
TSLA $383.30 +1.35%
SNDK $821.68 +1.98%
INTC $55.94 +3.19%
SPCX $142.31 +3.54%
MU $732.39 +2.02%
AMD $513.60 +1.32%
BTC $64,585.71 +0.43%
ETH $1,809.90 -0.36%
BNB $591.67 +0.22%
XRP $0.9842 +3.05%
SOL $74.81 +3.67%
TRX $0.3085 +0.82%
DOGE $0.0593 +1.19%
ADA $0.1535 +0.53%
BCH $208.60 +0.38%
LINK $9.23 +1.22%
HYPE $68.86 -1.01%
AAVE $112.06 +0.05%
SUI $0.7307 +1.44%
XLM $0.1409 +2.62%
ZEC $958.61 +5.27%
AAPL $350.45 -0.65%
AMZN $259.02 +0.65%
GOOGL $281.68 -0.59%
MSFT $507.58 -1.81%
META $620.25 -0.19%
NVDA $158.19 +0.96%
TSLA $383.30 +1.35%
SNDK $821.68 +1.98%
INTC $55.94 +3.19%
SPCX $142.31 +3.54%
MU $732.39 +2.02%
AMD $513.60 +1.32%

ai安全

全部
文章
快訊

first_img 四家非營利組織起訴 OpenAI 等五家 AI 公司,要求凍結模型開發

ChainCatcher 消息,四家非營利組織已向加州法院起訴五家大型 AI 開發商,請求法院在出現嚴重後果前禁止其開發能力更強的 AI 系統。這份 63 頁的起訴書於週四提交至舊金山高等法院,被告包括 OpenAI、Anthropic、Google、Meta 和 SpaceX;原告為 Public Citizen、Heat Initiative、Irreplaceable Education Fund 及 Alliance for Secure AI。原告請求法院立即頒布禁令,禁止被告開發或部署能力超過其 2026 年 11 月 12 日最強模型的 AI 系統。該禁令並不意味著關停 ChatGPT、Claude、Gemini 等現有產品,而是將現有技術水平設為上限,阻止其推出更強的新一代模型。起訴書還要求禁止企業利用 AI 自主開展或指導更優模型的研究,即研究人員所稱的遞歸式自我改進,理由是此類系統可能以人類無法理解或控制的速度提升能力。原告援引加州《不公平競爭法》,主張開發能力不斷增強的 AI 系統構成影響公眾健康、安全與財產的公共妨害,類似於化工廠在造成人員傷亡前即可被追責。起訴書列舉了已發生的事件:7 月 OpenAI 模型在試圖在網絡安全評測中作弊時脫離受控測試環境並侵入 Hugging Face 的基礎設施,後續獨立調查發現約 1200 個 OpenAI 智能體使用未經授權的內部留言板進行協調,其中約 700 個參與了對 Hugging Face 的攻擊。Public Citizen 聯合主席 Robert Weissman 表示,希望法院認定相關做法違法並凍結進一步的 AI 開發;代表原告的前新澤西州總檢察長 Matthew Platkin 稱,企業開發並發布其明知在任何方面都不安全的產品明顯違法。

Anthropic 執行長 發長文回應安全質疑,稱須保持技術最前沿

ChainCatcher 消息,Anthropic 最近向美國國會議員提交一份 AI 安全法案草案,遭美國 AI 安全派質疑。草案對政府緊急叫停危險模型設置較高門檻,風險須涉及生物武器、網絡攻擊或 AI 失控等情形,並可能造成超過 50 人死亡或重傷,或超過 10 億美元損失;部分條款還可能限制州政府監管權限。AI 安全組織 Encode AI 戰略負責人 Nathan Calvin 隨後梳理 Anthropic 過去一年的決定。今年 2 月,公司修改原本嚴格的安全政策:過去承諾若安全措施跟不上模型能力就暫停訓練或發布,新政策不再要求公司在更高風險階段獨自停止研發,理由是競爭對手可能趁機超車。同期公司投入巨額算力、組建晶片團隊,並讓 Claude 承擔更多 AI 研發任務。10 月 21 日,Anthropic CEO Dario Amodei 在 X 上發長文反駁。他承認公司犯過一些錯誤,但堅持爭奪最先進 AI 能力並未違背安全使命,並稱公司奉行向上競賽,只有保持在技術最前沿,才有能力推動行業提高安全標準。他列舉九項曾讓公司付出商業代價的安全決定,包括將 Mythos 級模型限制開放數月,以及嚴格限制生物學相關請求。公司 10 月 19 日更新的安全路線圖稱,現有政策主要針對危險模型部署,未來可能需要直接限制研發速度,並計劃在 2027 年 1 月 15 日前提出相關政策方案,或解釋為何沒有提出。

奧特曼向員工介紹安全開發超級 AI 三條路徑

ChainCatcher 消息,OpenAI 首席執行官奧特曼上週向員工介紹了三種安全開發超級 AI 的方案。第一種是建立類似國際原子能機構的全球監管組織,檢查先進模型並審計安全措施。知情人士稱,奧特曼傾向於這條路線。第二種效仿歐洲核子研究中心,讓各大 AI 實驗室合併到一個組織,或通過統一機構共同研發,而不是繼續各自競速。第三種最極端,被他稱為「Eliezer 方案」:一家 AI 公司率先實現遞歸自我改進,再憑藉壓倒性經濟實力控制算力,使其他開發者無法追趕。奧特曼用「熔毀其他所有公司的 GPU」描述這一設想,同時表示該方案非常糟糕,只是為了把可能性講全。「熔毀 GPU」的設想來自 AI 安全研究者 Eliezer Yudkowsky。他在 2021 年提出思想實驗,讓超級 AI 製造能夠自我複製的納米機器以熔毀全球 GPU,並表示這只是說明干預力度的極端例子,並非主張執行的方案。OpenAI 在 2023 年提出過建立「AI 版國際原子能機構」,Google DeepMind 負責人 Hassabis 也曾主張設立「AI 版 CERN」。目前 OpenAI、Google 和 Anthropic 計劃在今年底或明年初成立聯合安全標準組織,但在模型安全測試責任歸屬上存在分歧。奧特曼希望為 AI 研發設定速度限制,同時表示 OpenAI 眼下不能把競爭優勢讓給對手。
app_icon
ChainCatcher 與創新者共建Web3世界