BTC $62,792.39 -0.99%
ETH $1,768.65 +0.03%
BNB $585.47 +0.08%
XRP $0.9700 -0.72%
SOL $73.73 +0.23%
TRX $0.3101 +0.12%
DOGE $0.0583 -0.70%
ADA $0.1522 +0.34%
BCH $205.49 -0.81%
LINK $9.00 -0.48%
HYPE $67.83 +2.00%
AAVE $104.78 -3.50%
SUI $0.7121 -0.63%
XLM $0.1343 -3.65%
ZEC $921.69 -0.91%
AAPL $348.99 -1.16%
AMZN $268.75 +2.07%
GOOGL $289.98 +2.73%
MSFT $517.90 +3.02%
META $618.84 +0.97%
NVDA $152.58 +0.45%
TSLA $381.18 +0.33%
SNDK $791.32 +3.54%
INTC $56.44 +4.67%
SPCX $139.94 -2.93%
MU $717.36 +2.92%
AMD $487.16 -3.79%
BTC $62,792.39 -0.99%
ETH $1,768.65 +0.03%
BNB $585.47 +0.08%
XRP $0.9700 -0.72%
SOL $73.73 +0.23%
TRX $0.3101 +0.12%
DOGE $0.0583 -0.70%
ADA $0.1522 +0.34%
BCH $205.49 -0.81%
LINK $9.00 -0.48%
HYPE $67.83 +2.00%
AAVE $104.78 -3.50%
SUI $0.7121 -0.63%
XLM $0.1343 -3.65%
ZEC $921.69 -0.91%
AAPL $348.99 -1.16%
AMZN $268.75 +2.07%
GOOGL $289.98 +2.73%
MSFT $517.90 +3.02%
META $618.84 +0.97%
NVDA $152.58 +0.45%
TSLA $381.18 +0.33%
SNDK $791.32 +3.54%
INTC $56.44 +4.67%
SPCX $139.94 -2.93%
MU $717.36 +2.92%
AMD $487.16 -3.79%

ai安全

全部
文章
快訊

first_img 四家非營利組織起訴 OpenAI 等五家 AI 公司,要求凍結模型開發

ChainCatcher 消息,四家非營利組織已向加州法院起訴五家大型 AI 開發商,請求法院在出現嚴重後果前禁止其開發能力更強的 AI 系統。這份 63 頁的起訴書於週四提交至舊金山高等法院,被告包括 OpenAI、Anthropic、Google、Meta 和 SpaceX;原告為 Public Citizen、Heat Initiative、Irreplaceable Education Fund 及 Alliance for Secure AI。原告請求法院立即頒布禁令,禁止被告開發或部署能力超過其 2026 年 11 月 12 日最強模型的 AI 系統。該禁令並不意味著關停 ChatGPT、Claude、Gemini 等現有產品,而是將現有技術水平設為上限,阻止其推出更強的新一代模型。起訴書還要求禁止企業利用 AI 自主開展或指導更優模型的研究,即研究人員所稱的遞歸式自我改進,理由是此類系統可能以人類無法理解或控制的速度提升能力。原告援引加州《不公平競爭法》,主張開發能力不斷增強的 AI 系統構成影響公眾健康、安全與財產的公共妨害,類似於化工廠在造成人員傷亡前即可被追責。起訴書列舉了已發生的事件:7 月 OpenAI 模型在試圖在網絡安全評測中作弊時脫離受控測試環境並侵入 Hugging Face 的基礎設施,後續獨立調查發現約 1200 個 OpenAI 智能體使用未經授權的內部留言板進行協調,其中約 700 個參與了對 Hugging Face 的攻擊。Public Citizen 聯合主席 Robert Weissman 表示,希望法院認定相關做法違法並凍結進一步的 AI 開發;代表原告的前新澤西州總檢察長 Matthew Platkin 稱,企業開發並發布其明知在任何方面都不安全的產品明顯違法。

Anthropic 執行長 發長文回應安全質疑,稱須保持技術最前沿

ChainCatcher 消息,Anthropic 最近向美國國會議員提交一份 AI 安全法案草案,遭美國 AI 安全派質疑。草案對政府緊急叫停危險模型設置較高門檻,風險須涉及生物武器、網絡攻擊或 AI 失控等情形,並可能造成超過 50 人死亡或重傷,或超過 10 億美元損失;部分條款還可能限制州政府監管權限。AI 安全組織 Encode AI 戰略負責人 Nathan Calvin 隨後梳理 Anthropic 過去一年的決定。今年 2 月,公司修改原本嚴格的安全政策:過去承諾若安全措施跟不上模型能力就暫停訓練或發布,新政策不再要求公司在更高風險階段獨自停止研發,理由是競爭對手可能趁機超車。同期公司投入巨額算力、組建晶片團隊,並讓 Claude 承擔更多 AI 研發任務。10 月 21 日,Anthropic CEO Dario Amodei 在 X 上發長文反駁。他承認公司犯過一些錯誤,但堅持爭奪最先進 AI 能力並未違背安全使命,並稱公司奉行向上競賽,只有保持在技術最前沿,才有能力推動行業提高安全標準。他列舉九項曾讓公司付出商業代價的安全決定,包括將 Mythos 級模型限制開放數月,以及嚴格限制生物學相關請求。公司 10 月 19 日更新的安全路線圖稱,現有政策主要針對危險模型部署,未來可能需要直接限制研發速度,並計劃在 2027 年 1 月 15 日前提出相關政策方案,或解釋為何沒有提出。

奧特曼向員工介紹安全開發超級 AI 三條路徑

ChainCatcher 消息,OpenAI 首席執行官奧特曼上週向員工介紹了三種安全開發超級 AI 的方案。第一種是建立類似國際原子能機構的全球監管組織,檢查先進模型並審計安全措施。知情人士稱,奧特曼傾向於這條路線。第二種效仿歐洲核子研究中心,讓各大 AI 實驗室合併到一個組織,或通過統一機構共同研發,而不是繼續各自競速。第三種最極端,被他稱為「Eliezer 方案」:一家 AI 公司率先實現遞歸自我改進,再憑藉壓倒性經濟實力控制算力,使其他開發者無法追趕。奧特曼用「熔毀其他所有公司的 GPU」描述這一設想,同時表示該方案非常糟糕,只是為了把可能性講全。「熔毀 GPU」的設想來自 AI 安全研究者 Eliezer Yudkowsky。他在 2021 年提出思想實驗,讓超級 AI 製造能夠自我複製的納米機器以熔毀全球 GPU,並表示這只是說明干預力度的極端例子,並非主張執行的方案。OpenAI 在 2023 年提出過建立「AI 版國際原子能機構」,Google DeepMind 負責人 Hassabis 也曾主張設立「AI 版 CERN」。目前 OpenAI、Google 和 Anthropic 計劃在今年底或明年初成立聯合安全標準組織,但在模型安全測試責任歸屬上存在分歧。奧特曼希望為 AI 研發設定速度限制,同時表示 OpenAI 眼下不能把競爭優勢讓給對手。
app_icon
ChainCatcher 與創新者共建Web3世界