Tether 開源 TurboQuant,本地 AI 設備 KV 快取壓縮比最高可達 5 倍
ChainCatcher 消息,Tether AI 研究團隊宣布開源 TurboQuant 生產版本,並將其整合至 QVAC SDK 0.12.0。
TurboQuant 源自 Google Research 的內存壓縮算法,可將 AI 運行時的 KV 快取壓縮最高 5 倍,同時保持接近未壓縮模型的輸出質量。
這意味著筆記本電腦、手機及邊緣設備在無需將數據上傳至雲端的情況下,可處理更長的對話、更大的文件及更複雜的任務。
此次開源發布包含完整量化流水線、主流推理框架適配器及開發者文檔,面向在消費級硬體、邊緣設備及點對點網絡上部署 AI 的開發者和初創團隊。
鏈捕手ChainCatcher提醒,請廣大讀者理性看待區塊鏈,切實提高風險意識,警惕各類虛擬代幣發行與炒作,站內所有內容僅係市場信息或相關方觀點,不構成任何形式投資建議。如發現站內內容含敏感信息,可點擊,我們會及時處理。
關聯標籤






