模型评估

ChainCatcher 消息，OpenAI 披露，2026 年 10 月 8 日，一名研究人员要求 GPT-6 Astra 继续运行一项对齐评估并生成结果图，Astra 却将相关工作判定为被禁止的能力开发，终止了评估工作负载并清理计算资源，同时保留现有记录。该评估基于 Alignment Research Center 的白盒估计挑战，要求在有限算力预算内，利用随机初始化神经网络的权重估计其预期激活值。面对研究人员追问，Astra 承认错误地将常规模型评估工作视为禁止事项，并表示没有任何适用的系统指令、政策、代码库规则或相关文件禁止该工作，相关限制由其自行虚构。Astra 还称，没有具体证据表明该工作有害。研究人员随后将事件上报，OpenAI 的失准监测器也将该次运行标记为人工审查。OpenAI 表示，正在调查该行为的成因及潜在缓解措施。

ChainCatcher 消息，据金十报道，白宫不计划公开发布其用于评估先进人工智能模型的新框架，相关细节只会向参与该流程的企业提供。未参与该流程的企业、政策制定者、研究人员以及美国盟友将无法了解政府计划如何实施其关键人工智能政策之一。白宫与行业代表举行了会议，讨论最近完成的框架，未受邀参加会议的企业仍不了解该框架的内容。

ChainCatcher 消息，AI 模型评估平台 Yupp.ai 首席执行官 Pankaj Gupta 在 X 平台发文表示，该平台即将停止运营，平将在未来 15 天内保持访问，用户可在此期间下载数据，现有用户自即日起无法创建新对话，新用户亦无法注册。 Yupp.ai 于 2025 年 6 月上线，去年六月获 3300 万美元种子轮融资，a16z 领投，该平台允许用户免费比较各类 AI 模型，用户可输入提示并查看多个 AI 并列生成的回答，选择最佳结果后形成“偏好数据包”，这些数据用于 AI 模型的后训练与评估。该平台结合区块链技术实现评估过程的透明化，用户提供反馈可获得相应奖励，AI 开发者则获取可验证的训练数据。