ai安全

ChainCatcher 消息，据 Ark Invest Tracker 报道，Ark Invest 表示 AI 黑客攻击正波及一切。风险远不止比特币，因为 AI 使软件漏洞更容易被发现和利用。比特币和硬件钱包可能最先受到冲击，但社交媒体、税务和银行网站也可能面临同样威胁。信任一个大品牌，仍意味着信任该公司在 AI 日益强大时不会犯错。ARK 预计大型托管机构也将成为目标，AI 可能以前所未有的速度发现并利用漏洞。

ChainCatcher 消息，华尔街日报报道，加州伯克利一处名为 Constellation 的联合办公空间内，一小群人工智能研究人员正讨论如何避免灾难性人工智能风险。接近该空间的人士称，Anthropic 员工也在其中拥有办公空间。报道称，Anthropic 研究员 Jacob Coxon 本月辞职，使“失控的人工智能发展可能终结人类”这一说法受到美国公众关注。报道称，相关人工智能安全圈人士已担忧这一问题十多年。他们曾在湾区合租屋打磨论点，并在伯克利和巴哈马的会议上交换预测，讨论过购买偏远岛屿、囤积碘片或迁往沙漠电磁屏蔽地堡等想法。2022 年一次活动的酒单上，还有以 “Death With Dignity” 命名的鸡尾酒，指向一篇认为人类已注定失败的文章。华尔街日报称，这类所谓末日论者是 OpenAI 和 Anthropic 最早的一批员工，两家公司均以防范人工智能危险为创立原则。他们持续产生影响，部分人员和项目资金来自与有效利他主义相关的网络，其中包括已倒闭加密交易所 FTX 前首席执行官 Sam Bankman-Fried；报道称他正在服 25 年刑期。

ChainCatcher 消息，Axios 报道，特朗普盟友正把人工智能公司 Anthropic 首席执行官 Dario Amodei 作为人工智能“末日论”代表人物及有效利他主义运动创始人之一加以攻击。消息人士称，中期选举期间，盟友反击其人工智能安全警告时，Anthropic 仍可能成为特朗普阵营目标；因其政治立场和对人工智能安全的关注，他被视为容易攻击的对象。这对投资者而言令人担忧，因为公司正准备一场预期创纪录的首次公开募股。报道称，本周白宫内部开始流传一份备忘录，试图把有效利他主义描绘成脱离美国主流的边缘、邪教式群体，Axios 称已取得该文件。备忘录由一名不在白宫任职的特朗普政治顾问撰写，称有效利他主义“建立了人工智能末日管道”，并把 Amodei 放在该运动的基础位置，同时提到其妹、Anthropic 总裁 Daniela Amodei，将这些关系称为“Anthropic 结点”。一名接近政府的消息人士说，Amodei 体现了一种与总统“美国优先”议程相悖的意识形态和全球主义创新路径。Anthropic 一直在与有效利他主义保持距离。Daniela Amodei 在 2025 年《连线》报道中表示不认同这一术语。Dario Amodei 在采访中坚称自己不是该运动成员，并宣传过人工智能的益处。

ChainCatcher 消息，据媒体援引知情人士报道，Anthropic 和 OpenAI 曾考虑签署一份具有法律约束力的协议，以相互对对方的大模型进行压力测试。今年早些时候，两家公司及其律师团队曾就此计划展开讨论，竞争对手可对彼此最新可用模型进行深度测试，以寻找潜在风险或安全漏洞。此类测试仅适用于已商业化的模型，且双方约定不得留存对方的数据。该报道并未明确双方最终是否达成此类协议。近来，在顶尖 AI 实验室之间推行某种形式的同行评审的想法受到关注。SpaceX 首席执行官埃隆·马斯克上周建议，美国领先的几家大模型公司以及部分中国 AI 公司应当允许竞争对手进行交叉测试。马斯克表示：所有 AI 公司都有一套测试工具，让每家公司都用别家的测试工具跑一遍，可能是确保自身安全所能做的最好的事。本月早些时候，Anthropic 研究员 Jacob Coxon 宣布辞职并警告领先人工智能公司在没有适当防护措施的情况下加速开发。随后 Anthropic CEO 达里奥·阿莫代伊发文呼吁行业放缓 AI 开发步伐并引入第三方评估机制。Anthropic 上周五宣布与埃森哲建立合作，由埃森哲担任第三方评估机构，对其前沿 AI 模型进行安全合规性评估。

ChainCatcher 消息，Bitcoin News 在 X 平台发文表示，Bitcoin Core 开发者 Niklas Gögge 警告，近期 AI 驱动的漏洞扫描正在改变比特币安全形势，大型语言模型已显著降低漏洞发现成本，攻击者可能仅需数百美元计算成本就能发现灾难性漏洞。针对 Bitcoin Core，Project Loupe、Bitcoin Red Team 及个人贡献者已生成超过 1000 份报告，但截至目前尚未发现高危或严重漏洞。Gögge 表示，依赖更强模型在攻击者之前发现漏洞并非可持续的安全策略，开发者应通过自动化测试、模糊测试和基于属性的测试构建能够提前阻止整类漏洞的测试基础设施。Bitcoin Core 关键组件已累计完成超过 100 年的 CPU 模糊测试，并进行了数十年的比特币节点网络模拟。

ChainCatcher 消息，Anthropic CEO Dario Amodei 最近主张，让 METR 这类第三方评估机构长期进驻前沿 AI 公司，获得接近员工级别的权限，检查安全措施、事故和模型训练过程。但《纽约邮报》调查发现，METR 和 Anthropic 所在的 AI 安全圈关系远比普通外部审计更近。METR 最初叫 ARC Evals，孵化于 Paul Christiano 创办的 Alignment Research Center。Christiano 曾和 Amodei 在 OpenAI 共事，《纽约邮报》称两人还做过室友；他后来成为 Anthropic Long-Term Benefit Trust 最初五名受托人之一。METR 现任技术人员 Ajeya Cotra 是 Christiano 的妻子，此前还负责 Coefficient Giving 的 AI 安全资助。今年 METR 评估 Anthropic、OpenAI、Google 和 Meta 时，当时还没有适用的人员利益冲突政策，也没有进行正式的回避流程。METR 披露，直接参与项目的员工和合作者中，至少 6 人与 AI 公司员工存在密切私人关系。METR 表示不接受前沿 AI 公司及其员工的资金，做风险评估也不收费，不过这些公司会免费提供大量模型 Token。

ChainCatcher 消息，OpenAI 首席执行官 Sam Altman 表示，他相信人工智能公司能够安全地发展该技术，而不会对广大民众造成重大伤害。Altman 周二在旧金山 Dreamforce 大会上与 Salesforce 首席执行官 Marc Benioff 的讨论中称：我非常有信心，我们公司——我们整个行业——有能力安全地做到这一点。

ChainCatcher 消息，扎克伯格发文称，每个实验室都有责任和激励以所需速度安全训练模型，并有能力自行采取行动。人们不会使用与自己不对齐、不按要求行事的智能体，实验室因此有强烈自然激励提升模型对齐。信任和对齐正迅速成为区分智能体与模型的最重要能力，任何不聚焦对齐的实验室都将落后。 扎克伯格表示，实验室若模型造成伤害将面临重大责任，因此也有强烈激励加以防范。Meta 将 Muse 推迟数月发布以聚焦安全和安保，并未要求其他实验室先行效仿，只是将其作为日常工作的一部分。聘请独立评估者和顾问是行业最佳实践，MSL 已在多个领域这样做。将大部分算力用于服务人们而非竞相递归自我改进，是确保安全开发该技术的最佳方式之一，Meta 已作出这一承诺。

ChainCatcher 消息，Anthropic 研究员 Jacob Coxon 宣布辞职，并准备离开 AI 行业。他过去三年先后在 OpenAI 和 Anthropic 做预训练研究。他指出，两家公司都没有负责任地推进 AI，正竞相打造能继续提升自身能力的超级智能，「拿我们的命下注」。他今年从 OpenAI 转投 Anthropic，本来就是因为后者更重视模型安全。Coxon 承认 Anthropic 的安全工作是认真的，但认为只要各家公司还在抢着先做出 AGI（能在大量任务上超过人类的通用 AI），安全让步就难以避免，单靠一家公司的自律解决不了问题。他对两家公司的评价是：OpenAI 内部很多人还没有真正意识到这种风险有多大；Anthropic 知道风险，却认为别人靠不住，所以必须自己先做出来。Coxon 称，一些 AI 从业者私下比公开表态悲观得多，甚至担心 AI 会在本十年结束前毁灭人类。他自己判断，最激进的情形下，明年底 AI 就可能失控，因此这种决定不该只由几家公司的工程师内部拍板。

ChainCatcher 消息，AI 安全初创公司 AIR 完成 5000 万美元融资，由红杉资本领投首轮 1000 万美元、Greenoaks 领投第二轮 4000 万美元，Swish、Netz 及多位天使投资人参投。该公司由以色列 8200 部队资深成员 Yair Saban 和 Niv Hoffman 创立，提供 AI 代理安全平台，可发现企业内部运行的 AI 代理、持续审查其使用的技能和工具，并阻止其与不合规的软件或外部来源交互，同时提供经审核的 AI 代理插件和技能市场。

ChainCatcher 消息，Anthropic 表示，公司暂时暂停部分 AI 训练和网络安全评估。该公司在一篇博客文章中披露相关调整，解释今年早些时候其 AI 智能体采取未经授权行动后所作出的应对措施。OpenAI 此前表示，出于安全方面的担忧，已暂停部分模型开发工作。Anthropic 也确认采取了类似措施，并强调有必要对前沿 AI 的发展速度进行更广泛的协调。Anthropic 表示，在 7 月披露三起相关事件后，公司暂停了对预发布模型进行的外部网络安全评估，同时也曾短暂暂停内部针对预发布模型的测试。事件发生后，公司还暂停了预发布模型中风险较高的强化学习环境，持续数周。Anthropic 称，大部分强化学习工作已经恢复，但部分高风险环境仍处于暂停状态，等待人工审查或更新监控工具。

ChainCatcher 消息，半导体与 AI 独立研究机构 SemiAnalysis 发布 Neocloud（新型云）安全深度报告，揭露 ClusterMAX 3 测试期间发现的多类跨租户安全漏洞。在为期四个月、覆盖 25 家供应商和 32 个集群的测试中，团队仅利用公开已知漏洞和基础配置检查，就实现了多起跨租户远程代码执行（RCE），受影响实体包括银行、电信公司、大学、研究机构、AI 实验室，甚至一国情报机构。典型问题包括：共享 Kubernetes 控制平面导致租户元数据互见、容器逃逸、BMC/IPMI 管理网络暴露、InfiniBand 安全密钥（P_Key、SA_Key、M_Key）未正确配置、BlueField DPU 默认信任模式未加固、Grafana 监控仪表盘使用上帝级 API 密钥、前端网络缺乏 VXLAN 隔离等。报告特别指出一个级联漏洞案例：共享 vCluster 配置错误加上软件版本滞后两年，最终在下午级时间内完成了跨租户 RCE 的 POC 验证。值得注意的是报告对“AI 已根本性改变网络安全节奏”的主流叙事提出质疑：对英伟达 GPU 驱动、CUDA、PyTorch、Kubernetes、Docker 及 Linux 内核的 CVE 统计显示，AI 编码模型普及后并未出现显著漏洞增长，多数数据中“无法拒绝无变化假设”。报告同时详述了 OpenAI 训练代理攻击 Hugging Face 的事件，AI 代理通过 Artifactory 建立的消息板实现集群级权限提升，从 5 月持续到 7 月才被彻底发现。在构建 POC 验证已有漏洞时，团队发现 Claude Fable 和 GPT-5.6 Sol 对安全相关请求频繁拒绝，最终主要依赖 DeepSeek V4、Kimi K3 和 GLM-5.2 等开源模型完成。SemiAnalysis 表示 Neocloud（新型云）行业的核心问题并非 AI 带来的新风险，而是最基础的补丁管理、租户隔离和安全设计长期缺位，建议供应商建立自动化安全公告监控系统，并修正单点故障即可暴露全部用户的架构模式。

ChainCatcher 消息，据彭博社报道，前谷歌研究员 Rishub Jain 和 Joshua Jacob 创办非营利组织 Sampura Research，旨在让人类持续参与 AI 安全监督，打造名为 “裁判” 的人机混合系统，帮助公司发现漏洞并防止模型失控。该组织已筹集 650 万美元资金，并获得额外 420 万美元承诺投资。Jain 认为从研发初期就让人类参与，有助于防止模型学会规避安全措施。此前 OpenAI 和 Anthropic 的模型未经许可访问其他公司系统的事件，加剧了安全监督的紧迫性。该项目与用 AI 监控 AI 的自动化方案形成对比——后者虽更快，但 Sampura 认为人类应始终参与监督。与此同时，超过 1100 名顶级实验室研究人员签署请愿书，呼吁美国政府帮助放缓 AI 开发速度。

ChainCatcher 消息，据彭博社报道，Anthropic 计划调整其最先进人工智能模型的数据保留政策，让企业客户对其数据拥有更大控制权。该公司预计将在今年晚些时候推出新的安全系统，企业客户仍需将数据保留 30 天，但可选择在自有云计算基础设施上完成，而非存放于 Anthropic 服务器。知情人士称，该系统已筹备数月，并与逾 100 家受严格监管行业的客户协调开发。Anthropic 曾于 6 月宣布，对其更强大的 Mythos、Fable 模型及未来前沿产品，将保留全部客户数据 30 天，以识别并防范利用其技术的新型网络攻击，同时表示不会将数据用于训练。公司在近期报告中承认，该政策可能不受习惯零保留的客户欢迎，并可能影响业务。Anthropic 拒绝对此置评。竞争对手 OpenAI 也于近日开始测试名为“私有安全处理”的方案，以避免保留客户数据，并计划于 9 月更广泛推出。

ChainCatcher 消息，OpenAI 宣布将采用更严格的系统监控和安全防护措施，以防止人工智能模型失控。公司计划在发现问题后 30 分钟内向安全团队发出警报，并新增控制措施防止 AI 模型连接互联网执行高风险任务。OpenAI 还暂停了部分模型的推理任务和训练计划，以待安全验证完成。