量力而行：用数学模型预测系统的物理瓶颈

LLM 工程路线图

  1. LLM 工程路线图：从概念理解到可运行系统
  2. 项目 1-2：Tokenizer、词表与 Embedding
  3. 项目 3-8：位置、注意力与 Transformer Block
  4. 项目 9-16：Decoding、KV Cache、长上下文与推理系统
  5. 项目 17-33：MoE、数据、后训练、评测、RAG、Agent 与安全
  6. 项目 34：十二周执行计划与 Capstone
  7. 34 个 LLM 工程项目验收清单
  8. 从零实现 tokenizer
  9. embedding 与语义几何
  10. 位置编码（learned / sinusoidal / RoPE / ALiBi）
  11. 手写 scaled dot-product attention
  12. 扩展到多头注意力机制（Multi-Head Attention）
  13. 构建完整的 Transformer Decoder Block
  14. Mini-former 训练实战：从随机扰动到文本预测
  15. 训练目标对比：Causal、Masked 与 Prefix LM
  16. 概率的剪裁：解码策略与采样 Dashboard
  17. 打破串行咒语：投机解码（Speculative Decoding）
  18. 显存的吞噬者：KV Cache 机制与显存预算
  19. 架构的进化：MQA、GQA 与 MLA 深度解析
  20. 跨越万词鸿沟：长上下文（Long Context）的系统性挑战与解法
  21. 频率的炼金术：RoPE Scaling 与长度外推（Extrapolation）
  22. IO 感知的艺术：FlashAttention 的硬件级优化
  23. 硬件精算：显存带宽、算力与硬件预算（Hardware Budget） 👈 当前
  24. 稀疏性的调度艺术：实现双专家 MoE 路由（MoE Router）
  25. 计算的权衡：稠密（Dense）与稀疏（MoE）模型的全方位对比
  26. 线性序列的回归：状态空间模型（SSM）与线性注意力
  27. 文本的扩散：扩散语言模型（Diffusion LM）初探
  28. 文明的数字工业化：构建大规模预训练数据管线
  29. 自我进化的循环：合成数据（Synthetic Data）的生成、过滤与证明
  30. 预测未来的算力账本：缩放法则（Scaling Laws）与曲线拟合
  31. 灵魂的对齐：SFT、指令微调与偏好优化（DPO）
  32. 理性的驯化：从 RLHF、PPO 到 GRPO 的进化史
  33. 数字的炼金术：模型量化（Quantization）深度解密
  34. 吞吐量之王：Serving Stack 与推理引擎横评
  35. 拒绝虚假繁荣：构建严谨的模型评测（Evaluation Harness）
  36. 检索增强生成的艺术：工业级 RAG 架构拆解
  37. 构建 Tool Use 与 Agent Loop
  38. 多模态视觉语言桥接器（Vision-Language Adapter）
  39. 打开黑盒：机械可解释性（Mechanistic Interpretability）
  40. 防线与红队：构建 LLM 安全评估体系
  41. 终极试炼：构建你的私有化大模型系统（Capstone Project）

工程师的直觉：为什么你必须会算硬件账

在 LLM 领域，一个资深工程师与新手的区别在于：当看到一个 70B 模型和一张 A100 显卡时，前者能立刻算出这个系统每秒能跑多少个 Token。这种能力不是来自经验，而是来自对硬件底层的数学建模。

项目 16 的任务是建立一套完整的硬件预算表，理解**算力（Compute）与带宽（Bandwidth）**之间的平衡博弈。

第一阶段：静态资产核算——模型到底占多少显存

模型加载后，显存被分为三大块：

  1. 模型权重（Weights）：
    • FP16/BF16：参数量 $\times 2$ 字节。
    • INT8：参数量 $\times 1$ 字节。
    • INT4：参数量 $\times 0.5$ 字节。 例：70B 模型在 FP16 下占 140GB，这意味着至少需要 2 张 80GB 的 A100 才能加载。
  2. 优化器状态与梯度（训练专用）：
    • 训练时的显存压力是推理的 4-8 倍。Adam 优化器会为每个参数存两份动量，加上梯度和 FP32 副本身。
  3. KV Cache（推理专用）：
    • 这是一个动态资产。随着上下文变长和并发增加，它会迅速吞噬剩余显存。

第二阶段：动态性能建模——Roofline Model

性能不是无限增长的，它受限于两个物理极值：

1. 算力上限（Compute Bound）

如果你的计算任务非常密集（如 Prefill 阶段），瓶颈在于 GPU 的 Tensor Core 处理速度。 $Theoretical_Latency = \frac{Total_FLOPs}{GPU_Peak_FLOPS}$

2. 带宽上限（Memory Bound）

如果你的任务涉及大量数据搬运（如 Decode 阶段），瓶颈在于显存到核心的传输速度。 $Theoretical_Latency = \frac{Total_Bytes_to_Move}{Memory_Bandwidth}$

核心结论： 在 Decode（逐字生成）阶段，模型权重必须在生成每个词时都从显存读一遍。对于 A100 (2TB/s 带宽) 和 70B 模型 (140GB 权重)： $Max_Tokens/s = \frac{2000 GB/s}{140 GB} \approx 14.2$ Tokens/s。 这意味着无论你的 GPU 算力有多强，受限于带宽，单卡生成的物理极限就是每秒 14 个词。

第三阶段：多卡互联与通信开销

当单卡放不下模型时，我们需要张量并行（Tensor Parallel）。

  • 通信税：多卡之间需要通过 NVLink 或 InfiniBand 交换数据。
  • All-Reduce 代价：每一层计算完，卡与卡之间都要进行一次同步。如果网络带宽（如 400Gbps）远低于显存带宽，那么增加 GPU 反而可能让生成变慢。

第四阶段：硬件预算表的构建

你需要建立一个包含以下字段的精算表：

指标计算公式典型值 (Llama-3-8B on A100)
权重大小Params * Bytes_per_param16 GB (FP16)
KV Cache (per token)2 * Layers * Hidden * Bytes0.5 MB
算力利用率 (MFU)Actual_FLOPS / Peak_FLOPS30% - 55%
并发极限(Total_VRAM - Weight) / KV_per_token取决于 Context 长度

工程启示：如何根据预算选型

  1. 高并发场景：瓶颈在显存总量。应优先考虑 KV Cache 量化（INT8/FP8）和 PagedAttention，增加 Batch Size 以摊薄权重读取成本。
  2. 长文本场景：瓶颈在显存总量和算子效率。必须开启 FlashAttention。
  3. 低延迟场景：瓶颈在显存带宽。应优先选择显存带宽更高的硬件（如 H100），或使用更激进的权重量化（INT4）。

总结

硬件预算是 LLM 系统设计的“底牌”。理解了项目 16，你就不会盲目追求增加显卡数量，而是能够精准定位系统瓶颈是在 CPU 内存、显存带宽、算力核心还是网络互联。这种“心中有数”的工程直觉，是构建可扩展、高性价比 AI 服务的核心竞争力。

版权声明: 如无特别声明，本文版权归 sshipanoo 所有，转载请注明本文链接。

（采用 CC BY-NC-SA 4.0 许可协议进行授权）

本文标题:项目 16：硬件精算：显存带宽、算力与硬件预算（Hardware Budget）

本文链接:https://www.sshipanoo.com/blog/ai/llm-roadmap/lab-16-hardware-budget/

本文最后一次更新为 天前，文章中的某些内容可能已过时！

目录