LLM 的推理速度与存储金字塔

一个每秒吐几十个字的大模型，瓶颈往往不在算力，而在从显存里把权重搬出来的速度。同一张 H100，跑一段几千 token 的长 prompt 时算力单元几乎打满，可一旦进入逐字生成，利用率就掉到个位数百分比 — 卡它的不是浮点吞吐，是显存带宽。[2]

要说清这件事，得先把 LLM 推理拆成两个阶段。第一阶段叫 prefill（预填充）：把整段输入 prompt 一次性喂进模型，为后面每个 token 算好注意力所需的 key / value，写进 KV cache。这一步是大矩阵乘(GEMM)，成千上万个 token 并行走一遍网络，算术强度高，吃的是算力(compute bound)。第二阶段叫 decoding（解码 / 逐字生成）：模型自回归地一次只生成一个 token，拿它当输入再生成下一个，循环往复直到结束。问题就出在这里 — 每生成一个 token，都要把整个模型的权重（外加不断变长的 KV cache）从显存完整读一遍，可对每个读进来的字节只做极少量计算。算力单元大部分时间在等数据，于是 decoding 卡在显存带宽上(memory bandwidth bound)。[1][2]

这就解释了过去十年 GPU 存储侧那一连串看似零碎的进步，其实都指向同一个目标 — 喂饱带宽。显存从 HBM2 一路堆到 HBM3e、HBM4，单卡带宽从 P100 的约 0.7 TB/s 涨到 B200 的 8 TB/s；片上 SRAM 越做越大，L2 从 4 MB 涨到上百 MB，每个 SM 的共享内存从 64 KB 涨到 228 KB；显存位宽越拉越宽，HBM 单堆叠做到 1024 甚至 2048 bit。这些数字背后是三种存储工艺（SRAM、GDDR、HBM）、几家寡头供应商，和一条正在被 AI 需求挤爆的封装产线。

本文顺着这条线往下走：先讲清 decoding 为什么是 memory bound，再拆 GPU 的存储金字塔与逐代演进，然后落到工艺与成本，最后看供应链的瓶颈在哪。

Decoding 与带宽

自回归：每个 token 都要把整个模型读一遍

Transformer 生成文本是自回归的 — 第 $t$ 个 token 的输出依赖前面所有 token，模型必须先算出第 $t$ 个，才能拿它当输入去算第 $t+1$ 个。这个链式依赖没法在时间维度上并行，只能一个一个来。

关键在于：生成每一个 token，前向传播都要用到模型的全部权重。一个稠密模型有多少参数，就要从显存里读多少个权重出来做一遍乘加。假设权重用 FP16 存（每个参数 2 字节），那么每生成一个 token，至少要从显存搬运「参数量 × 2」字节到计算单元。除此之外还要读 KV cache — 前面每个 token 都在每一层留下了一份 key / value，序列越长，这块读取量越大。[2]

而计算量呢？decoding 阶段的核心运算是「矩阵 × 向量」（一个 token 就是一个向量），不是 prefill 那种「矩阵 × 矩阵」。矩阵向量乘对每个权重只做一次乘加，读进来一个权重、算一下就扔掉，几乎没有数据复用。

算术强度与 roofline

衡量一段计算是「缺算力」还是「缺带宽」，标准工具是 roofline 模型，核心指标是算术强度(arithmetic intensity) — 每从显存搬运 1 字节，配套做了多少次浮点运算：

$I = \frac{\text{FLOPs}}{\text{Bytes moved}}$

decoding 的算术强度极低。生成一个 token，读一个 FP16 权重（2 字节）大约只做 2 次浮点运算（一次乘、一次加），算下来 $I \approx 1$ FLOP/byte 量级。[2] 而一张 H100 的「拐点(ridge point)」 — 算力峰值除以带宽峰值 — 大约是 $990 \text{ TFLOPS} \div 3.35 \text{ TB/s} \approx 295$ FLOP/byte。decoding 的算术强度比拐点低了两个数量级，稳稳落在 roofline 的带宽受限那一侧：性能由显存带宽这条斜线决定，算力峰值那条平顶完全用不上。[1]

prefill 恰好相反。一次处理成百上千个 token，权重读一遍能服务一整批 token，运算变成「矩阵 × 矩阵」的 GEMM，同一个权重被复用几百上千次，算术强度轻松冲到几百 FLOP/byte，越过拐点进入算力受限区。所以同一个模型，prefill 比算力、decoding 比带宽 — 这是理解 LLM 推理性能的第一条分界线。

一条经验公式

把上面的道理压成一个估算吐字速度的公式：

$\text{tokens/s} \approx \frac{\text{显存带宽 (bytes/s)}}{\text{生成单个 token 需读取的字节数}}$

拿 Llama-70B、FP16 举例：权重约 $70 \times 10^9 \times 2 = 140$ GB。单条请求(batch size 1)在一张 H100（带宽 3.35 TB/s）上的理论天花板约为 $3350 \div 140 \approx 24$ tokens/s；换到 B200(8 TB/s)约为 $8000 \div 140 \approx 57$ tokens/s。[2] 实测因为 KV cache 读取、kernel 启动开销、带宽利用率打折等，会比这个上限低一截，但量级和它决定的天花板基本吻合 — 这也是为什么同一个模型换到带宽更高的卡上，单流吐字速度几乎线性变快。

顺带一提，批处理(batching)是绕开带宽墙的主要手段 — 把多条请求拼成一批，权重读一遍就能同时服务几十上百个 token，算术强度随 batch 上升，decoding 逐渐从带宽受限往算力受限那侧挪。[2] 但这提升的是「总吞吐」，单条请求的延迟（每个用户看到的吐字速度）仍受带宽约束。想让单流更快，只有一条路 — 更高的显存带宽。这就把话题引到了硬件。

GPU 的架构与存储金字塔

SM、CUDA core 与 Tensor Core

一块现代数据中心 GPU 的算力主体，是几十到上百个 SM（Streaming Multiprocessor，流式多处理器）。每个 SM 内部有一批 CUDA core（做通用 FP32 / INT32 标量运算）和若干 Tensor Core（专做矩阵乘累加 MMA 的单元，一条指令吞一小块矩阵，是跑深度学习的主力）。H100 有 132 个 SM，B200 靠双 die 拼到 148 个 SM。[3][5]

GPU 靠海量线程掩盖延迟：每个 SM 同时驻留几十个 warp（32 个线程一组），某个 warp 卡在等显存时，调度器立刻切到另一个就绪的 warp，让算力单元不空转。这套机制要跑得动，得靠一个层次分明的存储金字塔在背后供数据。

从寄存器到主机内存的六层

GPU 的存储层次和 CPU 同构，但有自己的取舍。从最靠近计算单元往外数：

• 寄存器(register file) — 紧贴 CUDA core / Tensor Core，亚纳秒延迟。GPU 寄存器堆做得极大（H100 每 SM 256 KB，65536 个 32-bit 项），因为要同时养几十个 warp、几千个线程；寄存器用量直接决定一个 SM 能驻留多少线程，也就是占用率(occupancy)。
• 共享内存 / L1(shared memory) — 每个 SM 一块，几百 KB，几纳秒延迟。它和 L1 缓存共用同一块 SRAM，可由程序员按 kernel 需要切分。共享内存是程序员可显式管理的片上暂存区（CPU 缓存对软件透明，这是 GPU 的关键区别），FlashAttention 这类算子正是靠它把注意力矩阵留在片上、避免反复往显存读写。
• L2 cache — 全 GPU 共享，几十到上百 MB，十几纳秒延迟。它是显存的门神 — 命中一次就省一次 HBM 访问，对 decoding 这种带宽敏感场景尤其值钱。[6]
• 全局内存 / 显存(global memory) — 即 HBM（数据中心）或 GDDR（消费级），几十到几百 GB，几百纳秒延迟，带宽几 TB/s。模型权重、KV cache 都住在这里，decoding 每步都要从这层把权重整个读一遍。这一层的带宽就是吐字速度的天花板。
• 主机内存(host memory) — 通过 PCIe / NVLink-C2C 连到 CPU 侧的 DDR / LPDDR，容量最大但延迟带宽都差一大截；显存装不下的部分（超大模型、超长上下文）才往这里溢。

各层的容量、带宽、延迟差着好几个数量级，越靠上越快越小越贵，越靠下越大越慢越便宜 — 这就是存储金字塔的全部张力。整个层次结构存在的唯一目的，就是让 Tensor Core 尽量不因为等数据而空转。

从 Pascal 到 Blackwell：逐代堆带宽

过去十年，NVIDIA 数据中心 GPU 的每一代升级，存储侧几乎都在做同一件事 — 换更快的显存、堆更大的片上 SRAM、拓更宽的位宽。逐代看：[3][4][5]

• Pascal（2016，P100） — 第一代用上 HBM2 的 GPU，4 层堆叠、16 GB、约 732 GB/s，一举甩开当时 GDDR5 的带宽。L2 只有 4 MB，每 SM 共享内存 64 KB，还没有 Tensor Core，深度学习靠 CUDA core 的 FP16 硬扛。
• Volta（2017，V100） — HBM2 提到 900 GB/s，16 / 32 GB，L2 涨到 6 MB。首次引入 Tensor Core（一代），专门加速 FP16 矩阵乘 — 这是 GPU 从「通用并行处理器」转向「深度学习加速器」的转折点。每 SM 的 L1+共享内存合并成 128 KB，共享内存最多可配 96 KB。
• Turing（2018，T4 / RTX 20 系） — 数据中心的 T4 转用 GDDR6(320 GB/s)，走的是低功耗推理路线；二代 Tensor Core 加入 INT8 / INT4 支持，为推理量化铺路。
• Ampere（2020，A100） — HBM2e，40 / 80 GB，带宽 1.55 / 2.0 TB/s，L2 暴涨到 40 MB（十倍于 Pascal）。三代 Tensor Core 引入 TF32、BF16 和结构化稀疏。每 SM 共享内存拉到 164 KB。A100 是 ChatGPT 之前那一波大模型训练的主力。
• Hopper（2022，H100 / H200） — 换 HBM3，H100 80 GB、3.35 TB/s；2023 年的 H200 升级 HBM3e，141 GB、4.8 TB/s（专为 memory bound 的推理场景堆容量和带宽）。L2 到 50 MB，每 SM 共享内存 228 KB。四代 Tensor Core + Transformer Engine，原生支持 FP8 — 权重从 FP16 的 2 字节压到 1 字节，等于把「单 token 读取量」直接砍半，吐字速度翻倍。[3]
• Blackwell（2024，B200 / GB200） — HBM3e，192 GB，8 TB/s。B200 用 NV-HBI（10 TB/s 片间互连）把两块 die 缝成一颗逻辑 GPU，共 208 亿晶体管、148 个 SM，L2 合计约 126 MB。五代 Tensor Core 引入 FP4，把单 token 读取量再砍半。GB200 = 2 颗 B200 + 1 颗 Grace CPU，靠 NVLink-C2C 让 GPU 直接高速访问 CPU 侧的 LPDDR。[5]
• Blackwell Ultra（2025，B300） — HBM3e 堆到 288 GB，进一步为超长上下文和大 batch 推理扩容。

汇总成表（数据中心主力 SKU，SXM 版口径）：

一条清晰的主线：带宽从 Pascal 到 Blackwell 涨了约 11 倍，正好对应 decoding 天花板涨了约 11 倍。而每一代 Tensor Core 引入更低精度（FP16 → FP8 → FP4），又从「减少单 token 读取字节数」这一侧再帮吐字速度加倍 — 硬件是从带宽和数据量两头同时压这道 memory wall。

存储工艺：SRAM、GDDR、HBM

金字塔上的三层电学存储 — 片上的 SRAM、消费显卡的 GDDR、数据中心的 HBM — 决定了带宽、容量和成本的全部张力。它们的存储单元原理各异，工艺难度和造价差着数量级。

SRAM：片上寄存器 / 缓存 / 共享内存

寄存器、L1 / 共享内存、L2 全是 SRAM（Static RAM，静态随机存取存储器），直接刻在 GPU die 上。它的核心是 6T 单元 — 6 个晶体管组成交叉耦合的双稳态回路，通电就一直锁着 0 或 1，不需要刷新（这是「静态」的来历）。读取直接感知节点电平，延迟做到亚纳秒；因为和逻辑电路同工艺，可以和计算单元刻在一块硅上。[11]

代价是密度低、面积大、单位容量极贵。每比特要 6 个晶体管，而先进工艺下 SRAM 单元已经缩不动了 — TSMC N5 的 6T bit cell 约 0.021 μm²，N3 仅缩到约 0.0199 μm²（只小 5%）。[11] 这就是为什么 GPU 的 L2 想再大也只能到上百 MB，再往上就是不可接受的硅面积和成本。它的优势全在带宽和延迟 — 片上 SRAM 的聚合带宽是 HBM 的几十倍，FlashAttention 之所以快，本质就是把热数据尽量留在这层不往 HBM 掉。

GDDR：消费级显卡显存

GDDR 是消费级显卡的显存 — 围着 GPU 焊在 PCB 上的独立 DRAM 颗粒。它的存储单元是 1T1C（1 个晶体管 + 1 个电容），靠电容里的电荷存 0 / 1，电荷会漏、必须每隔几毫秒刷新一次，所以「动态(Dynamic)」、也因此延迟比 SRAM 高、但单元小得多、每比特便宜得多。[13]

GDDR 的代际推进，近几年几乎全靠信号调制在压榨同一条 PCB 走线的带宽极限：

• GDDR6(2018)— NRZ 二电平（高 / 低 = 1 bit/symbol），14 至 18 Gbps/pin。
• GDDR6X（2020，Micron 独家）— 改用 PAM4 四电平(2 bit/symbol)，频率不变但每符号多搬 1 bit，冲到 19 至 24 Gbps；代价是电平间距挤掉一半、SNR 恶化、功耗上升。
• GDDR7（2024-2025，Blackwell RTX 50 系）— JEDEC 转向 PAM3 三电平（约 1.5 bit/symbol），28 至 32+ Gbps。看似比 PAM4 退一步，但三电平间距宽 50%，SNR 和误码率反而更好、同带宽下功耗更低。[7]

一张 RTX 5090 用 GDDR7、512-bit 总线，带宽约 1.8 TB/s。GDDR 单位带宽比 HBM 便宜 4 至 10 倍，游戏卡用得起，所以消费显卡全用 GDDR；但它做不出 HBM 那种超宽位宽和超大容量，撑不起数据中心的大模型 — 这就轮到 HBM 出场。

HBM：堆叠 + 硅中介层，数据中心显存

HBM(High Bandwidth Memory)是 DRAM 家族里工艺含金量最高的一支。存储单元和普通 DRAM 没本质区别，贵在「怎么堆起来」：[8]

• 把多层 DRAM 裸片（4 至 16 层）垂直堆叠；
• 用 硅通孔(TSV，Through-Silicon Via) 在芯片里打孔，实现层间垂直连接；
• 整个堆叠体通过 硅中介层(silicon interposer) 与 GPU 紧贴在一起共封装；
• 接口位宽极宽 — 每个堆叠 1024 bit（HBM4 起翻倍到 2048 bit），远超 GDDR 单颗 32 bit。

per-stack 带宽十年涨了约 16 倍。把主要代际排一排（近似值）：[7][8]

注意 HBM4 的 pin 速率反而从 9.2 Gbps 降到 8 Gbps — 它靠总线位宽翻倍到 2048 bit/stack 把带宽顶上去，而不是继续拉高频率。HBM4 还有一处结构性变化：base die（堆叠最底层的逻辑层）从 DRAM 工艺转到逻辑工艺(TSMC N5 / N3)，可以集成自定义 controller，标志 HBM 从「通用商品」走向「与 GPU 厂、代工厂三方协同设计的定制件」。[8]

成本量级大致是（每 GB，数量级口径）：

HBM 为什么这么贵？三笔账：堆叠良率（16 层里几千根 TSV 任一根开路整摞报废）、封装成本（CoWoS 硅中介层，一块 12 寸晶圆只切得出几十块大 interposer）、用料翻倍（同样的比特数，HBM 用的晶圆约是标准 DRAM 的 3 倍）。这三笔就把话题推到了供应链 — 因为它们决定了产能卡在哪。

供应商与产能

HBM：三家寡头，SK 海力士领跑

HBM 是个高度集中的市场，全球只有三家能量产 — SK 海力士、三星、美光。它们同时也是全球 DRAM 的三巨头（三家合计控制约 95% 的 DRAM 大盘）。[9]

2025 年的 HBM 市场份额（营收口径，季度数据有波动）：

SK 海力士的领先，很大程度来自封装工艺的选择 — 它用 MR-MUF（Mass Reflow Molded Underfill，先涂底胶再整体回流）散热好、良率高，率先拿下 NVIDIA 大单；三星用 NCF（一层层贴膜键合）在 HBM3e 良率上迟迟过不了关，错失了大部分订单，只能把翻身希望押在 HBM4 上。2026 年的竞争焦点正是 HBM4。[9]

封装：CoWoS 是最深的物理瓶颈

HBM 造出来还得和 GPU 封在一起，这道工序卡在 台积电的 CoWoS(Chip-on-Wafer-on-Substrate) 上 — 把 GPU die 和 HBM 堆叠一起放到硅中介层上共封。CoWoS 有三种变体：CoWoS-S（硅中介层，主流，H100 / B200 用）、CoWoS-L（LSI 桥，降本）、CoWoS-R（RDL 重布线，薄型）。[5][10]

CoWoS 产能长期是 NVIDIA 高端卡缺货的物理根因。台积电的 CoWoS 月产能从 2023 年底约 1.3 万片，扩到 2024 年底约 3.5 万片、2025 年底约 7.5 万片，目标 2026 年底冲到约 13 万片 — 三年扩了约十倍，但 CEO 仍表示产能「极度紧张、2026 全年售罄」。TrendForce 估计供需缺口到 2026 年底才从约 20% 收窄到约 10%。[10]

DRAM 大盘：被 AI 挤爆的超级周期

AI 对 HBM 的胃口，正在把整个内存市场推入一轮超级周期。因为同样的晶圆产能，厂商更愿意拿去做利润高得多的 HBM，标准 DRAM(DDR5 / LPDDR)的供给被挤占；加上 HBM 每比特要吃约 3 倍晶圆，等于同样产能造出的总比特数变少。结果是 2025-2026 年常规 DRAM 也跟着涨价、吃紧，连服务器和消费内存都受到波及。[9]

三家厂商 2026 年都在大举扩产 — SK 海力士和三星都宣布提高内存产能以追 AI 需求，但新建晶圆厂周期以年计，短期内 HBM 与先进封装仍是 AI 算力供给链上最紧的两个环节。换句话说，眼下限制大模型推理规模扩张的，往往不是能不能设计出更快的 GPU，而是造得出多少 HBM、封得出多少 CoWoS。

结尾

把全文压成一条链：

decoding 逐字生成 → 每个 token 都要把整个模型从显存读一遍、算术强度约 1 FLOP/byte → 卡在显存带宽(memory bound)→ 吐字速度天花板 ≈ 显存带宽 ÷ 单 token 读取字节数 → 于是 GPU 一路堆带宽（HBM2 → HBM3e，0.7 → 8 TB/s）、堆片上 SRAM（L2 4 → 126 MB）、降精度减读取量（FP16 → FP8 → FP4）→ 而带宽的上限又被 SRAM 缩不动、HBM 堆叠贵、CoWoS 封装产能卡死这三道工艺 / 供应瓶颈锁住。

所以下次看到「H200 上某模型推理提速 X 倍」「HBM4 量产」「台积电 CoWoS 又扩产」这些新闻，都能落到这条链的某一环上 — 它们本质都是在同一道 memory wall 上，从带宽、数据量、或产能的某一侧再推一把。prefill 比算力，decoding 比带宽；而 decoding 才是用户真正感知到的「快慢」所在。

参考资料 — 论文 · 架构白皮书 · 供应链数据

• Williams, Waterman, Patterson. Roofline: An Insightful Visual Performance Model for Multicore Architectures. Communications of the ACM, 2009. dl.acm.org
• Yuan et al. LLM Inference Unveiled: Survey and Roofline Model Insights. arXiv:2402.16363, 2024. arxiv.org
• NVIDIA. NVIDIA Hopper Architecture In-Depth. developer.nvidia.com
• NVIDIA. NVIDIA H100 Tensor Core GPU Architecture Whitepaper. resources.nvidia.com
• NVIDIA. NVIDIA Blackwell Architecture Technical Brief(B200 / GB200). nvidia.com
• Chips and Cheese. Nvidia’s H100: Funny L2, and Tons of Bandwidth. chipsandcheese.com
• JEDEC. GDDR6 / GDDR7 / DDR5 官方标准. jedec.org
• JEDEC / SK Hynix / Micron. HBM3 / HBM3e / HBM4(JESD270) 标准与技术资料. news.skhynix.com
• TrendForce / IDC. 2025 HBM 与 DRAM 市场份额、供需分析. trendforce.com
• TSMC. CoWoS 先进封装产能与路线图. tsmc.com
• Hennessy, Patterson. Computer Architecture: A Quantitative Approach, 6th ed. — 第 2 章存储层次、附录 roofline 与 GPU 存储模型.
• Micron. GDDR7 / HBM3e 产品技术文档. micron.com
• TechInsights. 各代 DRAM / HBM / GPU 逆向工程与拆解数据. techinsights.com