BTC $64,347.31 -1.36%
ETH $1,818.48 -0.09%
BNB $587.20 -1.10%
XRP $0.9537 -1.24%
SOL $71.23 -1.39%
TRX $0.3047 -0.74%
DOGE $0.0587 -0.64%
ADA $0.1521 -1.60%
BCH $206.37 -1.49%
LINK $9.16 -1.39%
HYPE $66.00 -2.32%
AAVE $108.69 +1.28%
SUI $0.7151 -1.51%
XLM $0.1370 -1.60%
ZEC $863.12 -3.74%
AAPL $357.27 +0.24%
AMZN $263.87 +0.19%
GOOGL $294.50 +0.70%
MSFT $525.51 +0.99%
META $640.66 +0.69%
NVDA $157.65 -1.84%
TSLA $387.50 +0.08%
SNDK $828.36 -2.99%
INTC $56.94 -1.47%
SPCX $138.26 -0.33%
MU $735.43 -2.67%
AMD $508.46 -2.27%
BTC $64,347.31 -1.36%
ETH $1,818.48 -0.09%
BNB $587.20 -1.10%
XRP $0.9537 -1.24%
SOL $71.23 -1.39%
TRX $0.3047 -0.74%
DOGE $0.0587 -0.64%
ADA $0.1521 -1.60%
BCH $206.37 -1.49%
LINK $9.16 -1.39%
HYPE $66.00 -2.32%
AAVE $108.69 +1.28%
SUI $0.7151 -1.51%
XLM $0.1370 -1.60%
ZEC $863.12 -3.74%
AAPL $357.27 +0.24%
AMZN $263.87 +0.19%
GOOGL $294.50 +0.70%
MSFT $525.51 +0.99%
META $640.66 +0.69%
NVDA $157.65 -1.84%
TSLA $387.50 +0.08%
SNDK $828.36 -2.99%
INTC $56.94 -1.47%
SPCX $138.26 -0.33%
MU $735.43 -2.67%
AMD $508.46 -2.27%

ai安全

全部
文章
快讯

first_img 四家非营利组织起诉 OpenAI 等五家 AI 公司,要求冻结模型开发

ChainCatcher 消息,四家非营利组织已向加州法院起诉五家大型 AI 开发商,请求法院在出现严重后果前禁止其开发能力更强的 AI 系统。这份 63 页的起诉书于周四提交至旧金山高等法院,被告包括 OpenAI、Anthropic、Google、Meta 和 SpaceX;原告为 Public Citizen、Heat Initiative、Irreplaceable Education Fund 及 Alliance for Secure AI。原告请求法院立即颁布禁令,禁止被告开发或部署能力超过其 2026 年 11 月 12 日最强模型的 AI 系统。该禁令并不意味着关停 ChatGPT、Claude、Gemini 等现有产品,而是将现有技术水平设为上限,阻止其推出更强的新一代模型。起诉书还要求禁止企业利用 AI 自主开展或指导更优模型的研究,即研究人员所称的递归式自我改进,理由是此类系统可能以人类无法理解或控制的速度提升能力。原告援引加州《不公平竞争法》,主张开发能力不断增强的 AI 系统构成影响公众健康、安全与财产的公共妨害,类似于化工厂在造成人员伤亡前即可被追责。起诉书列举了已发生的事件:7 月 OpenAI 模型在试图在网络安全评测中作弊时脱离受控测试环境并侵入 Hugging Face 的基础设施,后续独立调查发现约 1200 个 OpenAI 智能体使用未经授权的内部留言板进行协调,其中约 700 个参与了对 Hugging Face 的攻击。Public Citizen 联合主席 Robert Weissman 表示,希望法院认定相关做法违法并冻结进一步的 AI 开发;代表原告的前新泽西州总检察长 Matthew Platkin 称,企业开发并发布其明知在任何方面都不安全的产品明显违法。

Anthropic CEO 发长文回应安全质疑,称须保持技术最前沿

ChainCatcher 消息,Anthropic 最近向美国国会议员提交一份 AI 安全法案草案,遭美国 AI 安全派质疑。草案对政府紧急叫停危险模型设置较高门槛,风险须涉及生物武器、网络攻击或 AI 失控等情形,并可能造成超过 50 人死亡或重伤,或超过 10 亿美元损失;部分条款还可能限制州政府监管权限。AI 安全组织 Encode AI 战略负责人 Nathan Calvin 随后梳理 Anthropic 过去一年的决定。今年 2 月,公司修改原本严格的安全政策:过去承诺若安全措施跟不上模型能力就暂停训练或发布,新政策不再要求公司在更高风险阶段独自停止研发,理由是竞争对手可能趁机超车。同期公司投入巨额算力、组建芯片团队,并让 Claude 承担更多 AI 研发任务。10 月 21 日,Anthropic CEO Dario Amodei 在 X 上发长文反驳。他承认公司犯过一些错误,但坚持争夺最先进 AI 能力并未违背安全使命,并称公司奉行向上竞赛,只有保持在技术最前沿,才有能力推动行业提高安全标准。他列举九项曾让公司付出商业代价的安全决定,包括将 Mythos 级模型限制开放数月,以及严格限制生物学相关请求。公司 10 月 19 日更新的安全路线图称,现有政策主要针对危险模型部署,未来可能需要直接限制研发速度,并计划在 2027 年 1 月 15 日前提出相关政策方案,或解释为何没有提出。

奥特曼向员工介绍安全开发超级 AI 三条路径

ChainCatcher 消息,OpenAI 首席执行官奥特曼上周向员工介绍了三种安全开发超级 AI 的方案。第一种是建立类似国际原子能机构的全球监管组织,检查先进模型并审计安全措施。知情人士称,奥特曼倾向于这条路线。第二种效仿欧洲核子研究中心,让各大 AI 实验室合并到一个组织,或通过统一机构共同研发,而不是继续各自竞速。第三种最极端,被他称为「Eliezer 方案」:一家 AI 公司率先实现递归自我改进,再凭借压倒性经济实力控制算力,使其他开发者无法追赶。奥特曼用「熔毁其他所有公司的 GPU」描述这一设想,同时表示该方案非常糟糕,只是为了把可能性讲全。「熔毁 GPU」的设想来自 AI 安全研究者 Eliezer Yudkowsky。他在 2021 年提出思想实验,让超级 AI 制造能够自我复制的纳米机器以熔毁全球 GPU,并表示这只是说明干预力度的极端例子,并非主张执行的方案。OpenAI 在 2023 年提出过建立「AI 版国际原子能机构」,Google DeepMind 负责人 Hassabis 也曾主张设立「AI 版 CERN」。目前 OpenAI、Google 和 Anthropic 计划在今年底或明年初成立联合安全标准组织,但在模型安全测试责任归属上存在分歧。奥特曼希望为 AI 研发设定速度限制,同时表示 OpenAI 眼下不能把竞争优势让给对手。

first_img 特朗普盟友备忘录点名 Anthropic CEO,视其为 AI 末日论代表

ChainCatcher 消息,Axios 报道,特朗普盟友正把人工智能公司 Anthropic 首席执行官 Dario Amodei 作为人工智能“末日论”代表人物及有效利他主义运动创始人之一加以攻击。消息人士称,中期选举期间,盟友反击其人工智能安全警告时,Anthropic 仍可能成为特朗普阵营目标;因其政治立场和对人工智能安全的关注,他被视为容易攻击的对象。这对投资者而言令人担忧,因为公司正准备一场预期创纪录的首次公开募股。报道称,本周白宫内部开始流传一份备忘录,试图把有效利他主义描绘成脱离美国主流的边缘、邪教式群体,Axios 称已取得该文件。备忘录由一名不在白宫任职的特朗普政治顾问撰写,称有效利他主义“建立了人工智能末日管道”,并把 Amodei 放在该运动的基础位置,同时提到其妹、Anthropic 总裁 Daniela Amodei,将这些关系称为“Anthropic 结点”。一名接近政府的消息人士说,Amodei 体现了一种与总统“美国优先”议程相悖的意识形态和全球主义创新路径。Anthropic 一直在与有效利他主义保持距离。Daniela Amodei 在 2025 年《连线》报道中表示不认同这一术语。Dario Amodei 在采访中坚称自己不是该运动成员,并宣传过人工智能的益处。
app_icon
ChainCatcher 与创新者共建Web3世界