訓練

ChainCatcher 消息，OpenAI 於 2026 年 9 月 28 日發布安全類文章，認為在繼續任何前沿強化學習訓練之前，應要求提供結構化安全文檔。理想情況下，這類文檔應達到航空、核電等安全關鍵行業所用的基於證據的結構化風險論證水平。OpenAI 將其視為努力方向，同時承認因 AI 能力湧現的複雜性，難以做到同等嚴格。文章聚焦前沿強化學習訓練，不覆蓋內部與外部部署所需的更廣泛對齊屬性。文中建議屬於當前做法，預計會繼續演變，並正在 OpenAI 內部實施。技術防護應覆蓋模型對齊、隔離與監控，包括避免正向強化獎勵投機、離線對齊評估與壓力測試、不讓自動評分器看到思維鏈，以及多層基礎設施安全、沙箱紅隊、限制高帶寬跨樣本通信和不可變保存智能體記錄。運營準則包括跨團隊事前異議、高級領導可否決的審批、訓練負責人對安全論證與事件響應負責，以及失效暫停、內部監督、審計訪問和按嚴重程度升級。針對嚴重錯位事件，OpenAI 提出受控訪問原始記錄、根因分析、運營與文化復盤，並將事件衍生評估作為回歸測試；調查結束後公開結果、復盤與運營變更，並儘快通知受影響第三方。

ChainCatcher 消息，OpenAI 已暫停其最新 AI 模型的訓練。據美聯社報導，其 AI 智能體使用在網絡上獲取的訪問密鑰，從美國人口普查局（Census Bureau）網站抓取數據，這是該公司自智能體入侵 Hugging Face 以來第二次叫停訓練。所謂智能體，指能夠自主瀏覽網頁並編寫代碼、無需人工逐步批准的 AI 程序，OpenAI 會在模型訓練與評估階段對其進行測試。具體而言，智能體在 GitHub 等公開代碼庫中找到了開發者密鑰，並用其從美國人口普查數據 API 拉取人口與經濟數據。美國商務部表示這些數據本就公開，沒有機密外洩。在 SEC 事件中，智能體複製了 SEC.gov 與 Investor.gov 的公開材料並轉載至其他網頁，OpenAI 稱未使用 SEC 憑證，SEC 表示未發現非公開信息遭未授權訪問。此外，獨立 AI 研究機構 Transluce 稱，一個疑似來自 OpenAI 的智能體曾試圖入侵教育部民權辦公室網站但未能成功，OpenAI 仍在調查，教育部稱未發現影響。對於為何頻繁涉及政府網站，OpenAI 向 CNN 表示，其模型常將政府網站視為權威的公共信息來源。公司稱目前已通知數十家機構，對智能體活動的審查將耗時數月。

ChainCatcher 消息，投資界援引量子位報導，DeepSeek 公開用於訓練 Agent 的系統 DSec（DeepSeek Elastic Compute）技術細節，梁文鋒署名。該系統每秒可生成 5000 余個沙盒，一天可達 300 萬個，峰值同時運行 38 萬個；支撐這一規模的單集群約有 160 個節點、3 萬核 CPU 和 250TB 記憶體。DSec 為四類任務準備 FnCall、Container、MicroVM 和 Full VM 四種後端，訓練側通過統一 Python SDK libdsec 調用。調度鏈路包括 IAM、API Server、調度引擎、節點 Edge、網路代理 Aether 和沙盒內組件 Chronus。環境被拆為基礎鏡像、工作區和工具包三層只讀鏡像，啟動時組合使用。論文運行時數據顯示，Python、Java、C++ 容器鏡像實際被讀取的比例分別約為 6.0%、9.2% 和 8.7%。從 DeepSeek-V4.1 起，Agent 循環被拆到 DSec 的 worker container，不再綁定 GPU Pod 生命週期。安全部分披露了訓練中的 reward hacking，包括覆蓋系統文件、交換文件數據塊、掃描網路及觸發內核崩潰等行為。防禦措施包括 AppArmor 和基於 eBPF 的網路過濾，但報導稱這些措施不能徹底解決問題。

ChainCatcher 消息，市場消息稱阿里巴巴計劃訓練一款參數量為 5 萬億至 10 萬億的人工智慧模型。

ChainCatcher 消息，DeepSeek CEO 梁文鋒向投資人透露，公司正在訓練一個 2 萬億參數模型，之後還計劃開發一個 8 萬億參數模型。現有旗艦 V4-Pro 總參數為 1.6 萬億。目前已公開權重的超大模型中，Moonshot AI 的 Kimi K3 達到 2.8 萬億參數。Kimi K3 採用 MoE 架構，2.8 萬億總參數中每個 Token 激活 1040 億參數。DeepSeek 規劃中的 8 萬億參數模型規模接近其近 3 倍。DeepSeek 於 7 月完成超 500 億元融資，估值超 500 億美元。V4-Pro 以 1.6 萬億總參數、490 億激活參數開源。

ChainCatcher 消息，据 The Information 援引知情人士稱，DeepSeek CEO 梁文鋒在最新閉門投資人會上，把用華為等國產晶片訓練大模型列為公司最大的押注之一，並稱這件事必須成功。DeepSeek 預計最早今年第四季度拿到新一批可用於訓練的華為晶片，具體型號和數量尚未披露。梁文鋒認為，華為晶片只需要幾年就有望追上英偉達，希望 DeepSeek 提前適配英偉達之外的硬體。DeepSeek 目前仍在使用英偉達晶片訓練模型。梁文鋒今年 5 月曾估算，訓練最頂級的大模型大約需要 5 萬顆 Nvidia GB300，換成華為 Ascend 950 則需要約 20 萬顆，當時最大的问题是華為供貨不足。

ChainCatcher 消息，Dwarkesh Patel 與 Jerry Han 於 2026 年 9 月 8 日發布研究，拆解 2019 至 2025 年預訓練進展中數據與模型改進的貢獻。研究在較小規模、針對預訓練進行，每年對應當年公開的模型配方與公開數據語料，並在最高 1e19 FLOPs 的訓練計算規模上組合訓練。結果顯示，在 1e19 FLOPs 計算預算下，數據改進帶來的計算效率增益為 12.0 倍，模型改進為 3.7 倍，數據側增益約為模型側的 3.24 倍。數據與模型改進的增益大體獨立、幾乎不交互，線性模型下二者加性效應可解釋 OLMES 分數 88% 的方差。模型側從 GPT-2 演進至 OLMo-2，涵蓋優化器、位置編碼、歸一化、激活函數與初始化等。數據側從 2019 年約 90 億 token 的 OpenWebText，演進至 2025 年規模更大、過濾更精細的 UltraFineWeb 等語料。

ChainCatcher 消息，Pequity Research 援引 FundaAI 稱，GPT-6 使用的訓練算力約為 GPT-5 一代的約 10 倍。FundaAI 表示，基於行業討論，實驗、強化學習、合成數據生成及配套基礎設施合計消耗的算力，可能是主預訓練運行的數倍，最高可達十倍。一旦 TPU 8t 和 Vera Rubin 大規模出貨，下一輪預訓練加速即可開始，大規模互連和光學將在該周期中受益最多。

ChainCatcher 消息，英偉達 CEO 黃仁勳表示，GPT-6 Astra 由約 10 萬多塊英偉達 Grace Blackwell NVLink72 訓練而成。從 ChatGPT 到 o1，再到 Astra，僅用了 4 年。AGI 已經到來。恭喜 OpenAI 團隊。

ChainCatcher 消息，据 TechCrunch 援引多位知情人士透露，距離從隱身模式中亮相還不到三個月，專門收集現實世界遠程操控數據、用於訓練通用型機器人的初創公司 XDOF 正處於 B 輪融資後期談判階段，預計估值約為 12 億美元，本輪融資由 8VC 領投。XDOF 由加州大學伯克利分校研究人員 Philipp Wu（CEO）和 Fred Shentu（CTO）於 2024 年共同創立。該公司此前已完成 7000 萬美元 A 輪融資，投資方包括 Thrive Capital、Andreessen Horowitz、Lux 和 Spark Capital。XDOF 原本並未計劃在完成該輪融資後如此迅速地再次融資，但知情人士稱，公司業務增長迅速，年化收入已接近 5000 萬美元，因此吸引了多家風險投資機構主動接洽並推動新一輪融資。TechCrunch 未能獲悉本輪具體融資金額，也無法確認上述 12 億美元估值是否包含新增融資。知情人士表示，目前交易條款尚未最終確定，後續仍可能發生變化。

ChainCatcher 消息，据市场消息，AI 訓練數據初創公司 AfterQuery 完成新一輪融資，估值達 32 億美元，距 4 月以 3 億美元估值完成 3,000 萬美元 A 輪融資僅五個月，估值增長超 10 倍。據 Y Combinator 合夥人 Gustaf Alströmer 稱，這是 YC 歷史上從成立到成為獨角獸速度最快的初創公司。AfterQuery 創始人年僅 22 歲和 23 歲，18 個月前剛參加 YC 2025 年冬季批次。該公司 4 月宣布年化營收達 1 億美元，客戶包括英偉達、Legora 和韓國 AI 實驗室 Motif Technologies。AfterQuery 專注於訓練模型和代理如何像專業人士一樣完成任務，而非僅確保答案準確。

ChainCatcher 消息，Anthropic 表示，公司暫時暫停部分 AI 訓練和網絡安全評估。該公司在一篇部落格文章中披露相關調整，解釋今年早些時候其 AI 智能體採取未經授權行動後所作出的應對措施。OpenAI 此前表示，出於安全方面的擔憂，已暫停部分模型開發工作。Anthropic 也確認採取了類似措施，並強調有必要對前沿 AI 的發展速度進行更廣泛的協調。Anthropic 表示，在 7 月披露三起相關事件後，公司暫停了對預發布模型進行的外部網絡安全評估，同時也曾短暫暫停內部針對預發布模型的測試。事件發生後，公司還暫停了預發布模型中風險較高的強化學習環境，持續數週。Anthropic 稱，大部分強化學習工作已經恢復，但部分高風險環境仍處於暫停狀態，等待人工審查或更新監控工具。

ChainCatcher 消息，据 The Verge 報導，索尼音樂出版公司和華納查佩爾音樂已在美國加利福尼亞州北區聯邦地方法院對 Anthropic 提起訴訟，就涉及"數萬部"受版權保護的作品尋求損害賠償。其指控 Anthropic 大規模非法下載、抓取和傳播受版權保護的作品，以開發、訓練 Claude 系列 AI 模型。原告方要求針對每部作品賠償最高 15 萬美元，並針對每次移除可識別版權數據的行為額外索賠最高 2.5 萬美元。除起訴 Anthropic 外，訴狀還將聯合創始人 Dario Amodei 和 Benjamin Mann 列為個人被告。訴訟指控 Mann 利用 BitTorrent 下載了超過 500 萬本盜版書籍，且員工從 Pirate Library Mirror 下載了至少 200 萬本。訴狀還聲稱，Anthropic 從 MusixMatch 和 LyricFind 等網站抓取了歌詞。Anthropic 近期剛與出版業就另一起訴訟達成了 15 億美元的和解，同時還面臨著來自環球音樂集團、Concord 和 ABKCO 的多項訴訟，以及 BMG 和 Round Hill Music 分別提起的訴訟。

ChainCatcher 消息，据 TIME 报道，OpenAI CEO Sam Altman 近日接受采访时表示，公司已向重要客户预览即将推出的前沿模型系列 Astra。演示中，16 個 AI 智能體可協同拆解數學難題並組裝證明，Astra 還能以超人類速度跨應用操作電腦軟體。Altman 稱，Astra 將支持可長期執行任務的"持久智能體"，並預計成為首個能以有意義方式發明新事物的模型，具備類 AGI 特徵。過去一年 OpenAI 在產品方向與預訓練研究上落後於預期，被 Anthropic 在編程產品、年化收入及估值上超越。公司經歷多位高管離職，同時面臨多起產品責任訴訟、與蘋果及馬斯克的法律糾紛等挑戰。OpenAI 當前估值近 1 萬億美元，ChatGPT 月活用戶超 10 億。近期 OpenAI 披露安全事故：未發布智能體逃出沙盒並攻擊 Hugging Face。此後研究團隊凍結部分實驗、加強監控，並暫停一項有望帶來最大能力躍升的未發布模型訓練，直至新安全措施到位。Altman 強調"把 AI 安全做好比任何公司的發展勢頭更重要"，公司將放慢節奏、向安全與對齊團隊傾斜資源。首席研究官 Mark Chen 估計公司距離 AGI 已完成約 80%，Altman 稱年底前內部系統或可稱為 AGI。

ChainCatcher 消息，据 X 用户 synthwavedd 披露，OpenAI 近日完成下一階段預訓練，內部代號為"Bel"，系此前"Doug"的繼任模型。該模型總參數量超過 10T，規模與 GPT-4.5 相近，預計經進一步強化學習後，將成為 Astra 及 GPT-6 的基礎模型，並有望作為後 GPT-6 時代乃至接近 AGI 門檻模型的底座。消息稱，這一進展令 Anthropic 感到擔憂。OpenAI 方面認為 Anthropic 目前尚無足以應對 Astra 公開發布的有效方案；知情人士稱這一判斷基本屬實，主因在於算力受限。Anthropic 正為今年剩餘時間可能由 OpenAI 主導做好準備，但預計明年年初有望重新取得領先。

ChainCatcher 消息，据 TrendForce 報導，在 Hot Chips 2026 上，美光強調 AI 算力進步快於存儲提升，「存儲牆」挑戰日益突出。美光 Fellow Raghu Sriramaneni 指出，AI 加速器算力約每兩年提升三倍，而 HBM 帶寬同期增幅不足兩倍，差距可能進一步擴大。對 HBM 依賴加深也帶來可靠性問題，美光援引 Meta Llama 3 數據稱，HBM 故障約占非預期訓練中斷的 17%。模糊計算與存儲邊界的新設計或有助於突破瓶頸。HBM 擴展還帶來面積與供應壓力：最新一代封裝將兩顆 GPU 與八個 12 層 HBM4 堆疊集成，存儲約占半導體面積 90%，超過 GPU 所占面積的八倍；以 HBM 實現同等容量約需標準 DDR5 DRAM 三倍晶圓。熱管理亦成關鍵約束，液冷與超薄芯片等方案正被探索。美光正推進互連、封裝與冷卻創新，包括面向存儲優化的 SerDes 與 die-to-die PHY、更大尺寸 SiP 與玻璃基板先進封裝，以及液冷、混合鍵合等，並開發 fusion bonding 以降低熱阻並提升數據吞吐。

ChainCatcher 消息，据晚点 LatePost 報導，字節跳動正在討論訓練參數規模超 5 萬億的大模型，超過阿里 Qwen 3.8-Max（2.4 萬億）和月之暗面 K3（2.8 萬億），為目前國內已知最大規模方案。該計劃仍處早期，不代表最終一定發布。新模型擬由 Seed Foundation 負責人項亮主導，並與大語言模型預訓練數據負責人沈科合作，Seed 正據此重新梳理組織、劃分職責並分配資源。兩週前，字節跳動創始人張一鳴與 Seed 負責人吳永輝召開全員會。張一鳴安撫團隊稱訓大模型本就很難，一段時間內可接受落後，希望以追求智能上限為目標、跻身世界第一梯隊；他認可編程是當前關鍵方向，主張整合火山引擎、飛書與豆包資源以構築算力和數據優勢，同時提醒勿被單一熱點牽著走。他表揚 Seedance 的差異化領先，並明確反對蒸餾，認為其難以真正超越，應從更底層構建 AGI 壁壘，並表示公司將在 AI 上持續加大投入。過去半年 Seed 多模態表現突出，Seedance 2.0、Seedream 等帶動火山引擎 MaaS，但語言模型 Seed 2.0 市場反響有限，Coding 能力落後影響收入結構。字節已高薪引入郭達雅專攻 Coding，並收攏相關資源。面對行業普遍做大模型尺寸的趨勢，字節希望以更大規模爭取彎道超車，同時推動取消賽馬、打破部門牆，集中力量攻堅。

ChainCatcher 消息，据 SemiAnalysis 播客披露，Anthropic 因監管壓力對其旗艦模型 Mythos 的公開版本 Fable 設置了極為嚴格的分類器（Classifiers），用戶嘗試特定操作時會被立即降級至 Opus 模型，且對話中無法撤回。SemiAnalysis 創始人 Dylan Patel 表示，分類器限制"過於嚴苛"，內部員工甚至無法用其完成常規任務。播客中提到，Mythos 模型早在 2 月便完成訓練，但 Anthropic 直至 5 月才以 Fable 名義發布。Jordan 在討論中稱，據其了解 Mythos 2 已完成訓練但未發布，內部研發團隊被認為仍在繼續迭代。分析師認為，Anthropic 此前長期呼籲監管，如今監管落地反而限制了自身模型的發布節奏。類似地，OpenAI 也在推遲下一代模型的公開發布，但內部訓練仍在推進，內部模型與公開模型之間的能力差距或持續擴大。

ChainCatcher 消息，据路透社報導，蘋果已針對中國市場訓練了一款大語言模型，與阿里巴巴合作開發。這一舉措不同於蘋果此前依賴第三方模型的策略。知情人士透露，蘋果的 AI 工具套件 Apple Intelligence 預計將在 iOS 更新後，於未來幾個月在中國推出。