BTC $86,823.22 +3.73%
ETH $2,753.98 +2.31%
BNB $780.35 +1.58%
XRP $1.54 +3.71%
SOL $122.53 +4.51%
TRX $0.3348 +0.60%
DOGE $0.0971 +2.87%
ADA $0.2571 +3.84%
BCH $315.83 +2.32%
LINK $14.44 +0.71%
HYPE $90.87 +1.91%
AAVE $183.69 +12.62%
SUI $1.19 +3.17%
XLM $0.2255 +1.73%
ZEC $1,388.51 -0.44%
AAPL $332.52 +0.36%
AMZN $251.83 +0.11%
GOOGL $341.68 -2.41%
MSFT $518.77 -0.06%
META $733.68 +0.87%
NVDA $235.94 +2.51%
TSLA $359.65 +0.85%
SNDK $1,782.89 +2.26%
INTC $123.89 +4.07%
SPCX $149.75 -0.91%
MU $1,110.41 +5.26%
AMD $633.64 +3.36%
BTC $86,823.22 +3.73%
ETH $2,753.98 +2.31%
BNB $780.35 +1.58%
XRP $1.54 +3.71%
SOL $122.53 +4.51%
TRX $0.3348 +0.60%
DOGE $0.0971 +2.87%
ADA $0.2571 +3.84%
BCH $315.83 +2.32%
LINK $14.44 +0.71%
HYPE $90.87 +1.91%
AAVE $183.69 +12.62%
SUI $1.19 +3.17%
XLM $0.2255 +1.73%
ZEC $1,388.51 -0.44%
AAPL $332.52 +0.36%
AMZN $251.83 +0.11%
GOOGL $341.68 -2.41%
MSFT $518.77 -0.06%
META $733.68 +0.87%
NVDA $235.94 +2.51%
TSLA $359.65 +0.85%
SNDK $1,782.89 +2.26%
INTC $123.89 +4.07%
SPCX $149.75 -0.91%
MU $1,110.41 +5.26%
AMD $633.64 +3.36%

开放权重模型

全部
文章
快讯

Coinbase:已将 AI 支出削减近 50%,正尝试默认采用开放权重模型

ChainCatcher 消息,Coinbase CEO Brian Armstrong 发文介绍公司在 AI 成本优化方面的最新进展。 Armstrong 表示,随着 AI 使用量和 Token 消耗持续增长,控制成本的关键并非限制员工使用或频繁发送预算提醒,而是优化默认模型选择、任务路由机制以及缓存策略。 他透露,Coinbase 正通过内部 LLM 网关尝试将 GLM 5.2、Kimi 2.7 等开放权重模型作为默认选项,同时仍允许工程师根据具体任务需求选择其他模型。数据显示,公司 91% 的员工从未达到 AI 使用额度上限,因此 Coinbase 并未选择收紧配额,而是通过更低成本的模型方案提升整体效率。 在模型路由方面,Coinbase 会对提示词进行预处理,并结合缓存命中率及不同模型的定价情况,将任务自动分配给最合适的模型。Armstrong 认为,规划和推理等复杂任务可能需要前沿模型支持,但执行类任务未必需要调用成本更高的模型。未来,模型选择过程应更多由 AI 自动完成,而非依赖人工决策。 此外,他指出缓存命中率是影响 AI 成本的重要因素之一。Coinbase 已将缓存感知机制纳入请求流程,以提高历史结果复用率。以 LibreChat 为例,在优化缓存方案后,其缓存命中率已从 5% 提升至 60%。 Armstrong 还表示,公司要求工程师尽量保持上下文精简,包括切换任务时开启新会话、缩小文件上下文范围以及关闭未使用工具等,以减少不必要的 Token 消耗。 据其透露,通过上述措施,Coinbase 已成功将 AI 支出降低近 50%,同时 Token 使用量仍保持增长。
app_icon
ChainCatcher 与创新者共建Web3世界