Tetherは、消費者向けGPUおよびスマートフォンでの大規模モデルのトレーニングと推論をサポートするクロスプラットフォームBitNet LoRAフレームワークを発表しました。

TetherのCEOパオロ・アルドイーノは、Tether AIチームが新しいバージョンのQVAC Fabricを発表し、クロスプラットフォームのBitNet LoRAフレームワークを統合し、消費者向けGPUおよびスマートフォンで10億パラメータ規模の大規模モデルのトレーニングと推論を実現したと明らかにしました。

新しいQVAC Fabric LLMは、初めてBitNet LoRAの微調整と推論をAMD、Intel、Apple MetalおよびモバイルGPU上でクロスプラットフォームで実行しました。フラッグシップデバイスでは、GPUの推論速度がCPUに比べて2倍から11倍向上し、メモリ使用量は全精度モデルに比べて最大90%削減されました。Tetherチームは、Pixel 9、S25、iPhone 16などのフラッグシップスマートフォンで最大38億パラメータモデルの微調整を完了し、iPhone 16では最大130億パラメータモデルの微調整を実現しました。関連コードはGitHubにオープンソースとして公開されています。