cHBMから3D積層SRAMまで、AI推論によるAIアクセラレータのメモリアーキテクチャ革新の推進

DIGITIMESは、クラウドAIアクセラレータにおけるメモリ開発の3つの主な方向性として、メモリ近傍処理、3D積層SRAM、および高帯域幅フラッシュを挙げています。

要約

DIGITIMESは、クラウドAIアクセラレータにおけるメモリ開発の3つの主要な方向性として、メモリ近傍処理、3D積層SRAM、および高帯域幅フラッシュを挙げています。まず、カスタム高帯域幅メモリ（HBM）（cHBM）は、ロジックベースダイの役割をデータ転送から管理および演算へと移行させることで、HBMシステムにおけるメモリ近傍処理（PNM）の実用的な実装経路となり得ます。第二に、3D積層SRAMは、オンチップSRAMにかかるコストと面積の圧力を軽減し、再利用率が高くレイテンシに敏感なデータを演算コアにより近づけるのに役立ちます。第三に、高帯域幅フラッシュ（HBF）は容量面で優位性がありますが、レイテンシと電力効率の制約を受けており、2028年までは検証段階にとどまる可能性が高いです。全体として、AIメモリ分野における競合は、単一コンポーネントの仕様から、メモリアーキテクチャとパッケージングの協調的な最適化へと移行しており、メモリ階層が主要な競争の場となっています。

クラウドAIアクセラレータの開発は、3つの段階に分けられます。2020年から2024年にかけては、トレーニング用と推論用のアーキテクチャが混在して使用されていました。2025年と2026年には、デコード指向のアクセラレータが徐々に形を成し、業界は単一のアーキテクチャから、トレーニング用とデコード用のデュアルアーキテクチャへと移行しました。2027年以降は、業界はメモリアーキテクチャの革新段階に入ります。キーバリューキャッシュ（KVキャッシュ）やロングコンテキストの要件が拡大するにつれ、競合の焦点は単純な演算能力の拡張から、メモリ帯域幅、容量、およびデータ移動効率の向上へと移行しています。PNM、3D積層SRAM、HBFが、3つの主要な方向性として浮上しています。

本レポートでは、PNM、3D積層SRAM、およびHBFについて、現在の開発進捗状況、それぞれの長所と短所、ならびに残された課題について取り上げています。

目次

イントロダクション

• 図1：2027年以降、AIアクセラレータはメモリアーキテクチャの革新へと移行します
• 図2：推論段階におけるAIアクセラレータのハードウェアのボトルネックは、演算からメモリへと移行します
• 図3：PNM、SRAM、HBFが、AIアクセラレータにおけるメモリの3つの主要な方向性となります

ニアメモリコンピューティング

• 図4：クラウドAIアクセラレータにおいて、PNM技術はPIMよりも急速に進展すると予想されます
• 図5：NvidiaとGoogleは、HBMの価値構造を再構築するため、まずcHBMの導入を計画しています
• 図6：競合の障壁が高く、提携や技術統合が重要となります

3D積層SRAM

• 図7：オンチップSRAMから3D積層SRAMへ
• 図8：NvidiaとAMDが3D積層SRAMの試験を実施していますが、依然として複数の課題に直面しています
• 図9：3D積層SRAMは高度にカスタマイズされており、ファウンドリの役割が重要になっています

3D高帯域幅フラッシュ

• 図10：HBFはHBMの容量不足を補いますが、AIアクセラレータ内での商用化は2028年以前には見込めません

サマリー

• 図11：AI推論がメモリの壁に直面：階層型メモリアーキテクチャが決定的な要因となります