AIメモリの壁を乗り越える：ストレージ層の再割り当てとHBF解析

AI推論において、MoEアーキテクチャや長文コンテキスト処理により、モデル重みとKVキャッシュに対するメモリ容量の要件が急激に高まり、ボトルネックが「演算能力の不足」から「メモリ容量の制限」へと移行しています。ウォームデータの量が急速に増加するにつれ、ストレージ階層の再構築が進み、HBMがホットデータを、HBFがウォームデータを担当することで、コストパフォーマンスの最適化が図られることになります。しかし、HBFの商用化には、高度なパッケージングプロセスやNANDフラッシュ固有の特性に関する課題を克服する必要があります。

主なハイライト

• ボトルネック：AIの進歩により、ボトルネックは演算能力からメモリ容量へと移行しました。
• 階層構造：急増するウォームデータには階層型ストレージが求められます。ホットデータにはHBMを、ウォームデータにはHBFを採用することで、コスト効率を最大化します。
• HBFの課題：商用化には、高度なパッケージング技術とNANDフラッシュの限界を克服する必要があります。

目次

第1章 LLMの開発におけるボトルネック：モデルアーキテクチャの変換別計算構造への影響

第2章 コンピューティングのボトルネックからストレージ層の再構築まで

第3章 TRIの視点