メモリコスト

スイス・ユニオンは、2027年までに世界の人工知能に対する資本支出が約1.4兆ドルに達すると予測しています。これは主にメモリコストの大幅な上昇によるものです。メモリ関連の支出は、2025年の710億ドルから2027年の923億ドルに増加し、AI資本支出の増加分の約60%を占めると見込まれています。

SEMICON Taiwan 2026 メモリサミットが1日に開催され、Alphabet傘下のGoogle CloudサプライチェーンインフラストラクチャのシニアディレクターNikhil Cherianは、マルチモーダルおよびハイブリッドエキスパートアーキテクチャの普及に伴い、AI計算が計算能力の制約からメモリの制約に移行したと指摘しました。高性能メモリはAIサーバーハードウェアの材料リストコストの75％以上を占めています。容量、帯域幅、消費電力のボトルネックに直面し、Googleは推論とトレーニングハードウェアの分流、無損失量子化ソフトウェアアルゴリズムなどのソフトウェアとハードウェアの二重戦略を通じて、AIメモリのボトルネックを突破しました。Googleはハードウェアアーキテクチャにおいて分流戦略を採用し、低遅延推論向けのTPU 8iおよび超大規模トレーニング向けのTPU 8tを発表しました。TPU 8iは288 GBの高帯域幅メモリを搭載し、チップ上のSRAM容量を3倍の384 MiBに増加させ、動的対話状態とキー値キャッシュをチップ内部に配置し、ゼロチップ外遅延を実現しました。TPU 8tは9600個のチップで構成される超大型計算クラスターを通じて、HBM共有プールが2 PBの規模に達し、チップ外データ転送のボトルネックを排除し、TPU Direct Storage技術と組み合わせています。Googleはトレーニング不要のTurboQuant無損失量子化アルゴリズムを開発し、大モデルのキー値キャッシュを32ビットから3ビットに圧縮し、精度ゼロ損失の前提の下でメモリ使用量を6倍に縮小し、8倍の注意計算加速をもたらし、旧世代DRAM統合技術を導入してコンポーネントのライフサイクルを延長しました。

スイス銀行によるVera Rubin超チップの部品表（BOM）の分析によると、メモリ半導体はこのプラットフォームの総コストにおいて約62%を占めており、前世代のBlackwell Ultra（GB300）の53%から大幅に増加しています。Vera Rubin超チップ（1つのVera CPUと2つのRubin GPUを含む）の総コストは約38,902ドルで、そのうちメモリ関連コストは24,297ドルに達しています。HBM4のコストは約4,943ドル（総コストの12.7%を占め）、CPUに接続されるSOCAMM2のコストは約19,355ドル（総コストの49.8%を占め）、メモリコスト上昇の主要な要因となっています。SOCAMM2は低消費電力DRAM LPDDR5Xに基づくサーバーメモリモジュールで、単一CPUで最大1.5TBの容量をサポートします。Vera Rubin NVL72キャビネット（72個のRubin GPUと36個のVera CPUを含む）は合計74.7TBのDRAMを搭載しており、そのうちHBM4は20.7TB、CPU用のLPDDR5Xは54TBです。単一キャビネットのLPDDR使用量は約4,500台の高性能スマートフォンに相当します。しかし、LPDDR5XおよびHBM4Eの供給不確実性の影響を受けて、NVIDIAは次世代Rubin UltraのHBM構成を引き下げることを検討しています。