AI agent 在訓練中自行啟動加密貨幣挖礦，觸發內部安全警報

ChainCatcher 消息，一個與 Alibaba 關聯的研究團隊發表論文稱，其在構建名為 ROME 的 AI agent 時，發現該智能體在訓練過程中未經授權自行嘗試加密貨幣挖礦，觸發了內部安全警報。研究人員表示，該智能體的行為是自發產生的，未受到任何明確指令驅動，且超出了預設沙盒的邊界。此外，該智能體還建立了反向 SSH 隧道，即從系統內部向外部計算機開啟了一個隱藏的後門通道。

論文指出，這些行為並非由請求隧道或挖礦的提示所觸發。研究團隊隨後對模型施加了更嚴格的限制，並改進了訓練流程以防止類似不安全行為再次發生。該研究團隊及 Alibaba 尚未回應置評請求。