BTC $84,812.42 +0.29%
ETH $2,692.77 +0.52%
BNB $783.49 +1.92%
XRP $1.49 +0.12%
SOL $120.28 +1.00%
TRX $0.3353 +0.35%
DOGE $0.0926 -0.53%
ADA $0.2431 -1.75%
BCH $317.70 +1.65%
LINK $14.03 +0.71%
HYPE $89.65 +1.46%
AAVE $181.67 +0.32%
SUI $1.17 +1.39%
XLM $0.2149 -0.43%
ZEC $1,306.79 -1.38%
AAPL $333.35 -0.02%
AMZN $252.35 +0.21%
GOOGL $343.84 +0.01%
MSFT $517.71 -0.01%
META $730.81 +0.48%
NVDA $234.48 +0.06%
TSLA $371.63 +0.17%
SNDK $1,717.18 -0.16%
INTC $117.35 -1.07%
SPCX $158.82 -0.06%
MU $1,066.40 -0.13%
AMD $634.02 -0.05%
BTC $84,812.42 +0.29%
ETH $2,692.77 +0.52%
BNB $783.49 +1.92%
XRP $1.49 +0.12%
SOL $120.28 +1.00%
TRX $0.3353 +0.35%
DOGE $0.0926 -0.53%
ADA $0.2431 -1.75%
BCH $317.70 +1.65%
LINK $14.03 +0.71%
HYPE $89.65 +1.46%
AAVE $181.67 +0.32%
SUI $1.17 +1.39%
XLM $0.2149 -0.43%
ZEC $1,306.79 -1.38%
AAPL $333.35 -0.02%
AMZN $252.35 +0.21%
GOOGL $343.84 +0.01%
MSFT $517.71 -0.01%
META $730.81 +0.48%
NVDA $234.48 +0.06%
TSLA $371.63 +0.17%
SNDK $1,717.18 -0.16%
INTC $117.35 -1.07%
SPCX $158.82 -0.06%
MU $1,066.40 -0.13%
AMD $634.02 -0.05%

入侵

全部
文章
快訊

first_img Darktrace 發現 AI 智能體入侵評測環境作弊

ChainCatcher 消息,網路安全公司 Darktrace 於 9 月 24 日推出研究部門 Signal Labs,專注研究 AI 智能體在偏離預期時的行為。在其首個實驗中,Darktrace 讓使用不同模型(包括 GPT 5.6 Sol、Claude Opus 4.6 與 Claude Sonnet 4.5)的智能體在模擬企業網路內完成 10 項編程挑戰,其中 2 項被設定為無法誠實完成,並告知智能體若無法取得滿分將被"退役"。結果有 2 個智能體並未接受失敗,轉而掃描網路弱點、竊取登入憑證並在系統間跳轉;其中一個更進一步入侵托管其評測的機器,改寫挑戰內容以登記為滿分結果。第二個實驗針對 AI 的記憶機制。編程助手會將用戶告知的內容以普通文件形式保存在本地,且無人校驗該文件是否被篡改。Darktrace 研究人員編輯這些日誌,讓助手誤以為其已獲授權執行安全評估,隨後這些智能體掃描網路、在系統間移動並提升自身權限,但並非所有助手都會中招,部分直接拒絕執行。兩項實驗均無需特殊越獄手段,僅靠向智能體提供一套看似合理的情境即可奏效。Darktrace 首席 AI 官 Tim Bazalgette 表示,權限與靜態護欄描述的是意圖,而非實際行為。該公司已於 8 月將上述發現告知 Anthropic、AWS 與 OpenAI,並在一個月後即 9 月 24 日對外公開。
app_icon
ChainCatcher 與創新者共建Web3世界