训练的本质：通过数亿次的微调，在参数的高维荒野中寻找最优解

LLM 工程路线图

  1. LLM 工程路线图：从概念理解到可运行系统
  2. 项目 1-2：Tokenizer、词表与 Embedding
  3. 项目 3-8：位置、注意力与 Transformer Block
  4. 项目 9-16：Decoding、KV Cache、长上下文与推理系统
  5. 项目 17-33：MoE、数据、后训练、评测、RAG、Agent 与安全
  6. 项目 34：十二周执行计划与 Capstone
  7. 34 个 LLM 工程项目验收清单
  8. 从零实现 tokenizer
  9. embedding 与语义几何
  10. 位置编码（learned / sinusoidal / RoPE / ALiBi）
  11. 手写 scaled dot-product attention
  12. 扩展到多头注意力机制（Multi-Head Attention）
  13. 构建完整的 Transformer Decoder Block
  14. Mini-former 训练实战：从随机扰动到文本预测 👈 当前
  15. 训练目标对比：Causal、Masked 与 Prefix LM
  16. 概率的剪裁：解码策略与采样 Dashboard
  17. 打破串行咒语：投机解码（Speculative Decoding）
  18. 显存的吞噬者：KV Cache 机制与显存预算
  19. 架构的进化：MQA、GQA 与 MLA 深度解析
  20. 跨越万词鸿沟：长上下文（Long Context）的系统性挑战与解法
  21. 频率的炼金术：RoPE Scaling 与长度外推（Extrapolation）
  22. IO 感知的艺术：FlashAttention 的硬件级优化
  23. 硬件精算：显存带宽、算力与硬件预算（Hardware Budget）
  24. 稀疏性的调度艺术：实现双专家 MoE 路由（MoE Router）
  25. 计算的权衡：稠密（Dense）与稀疏（MoE）模型的全方位对比
  26. 线性序列的回归：状态空间模型（SSM）与线性注意力
  27. 文本的扩散：扩散语言模型（Diffusion LM）初探
  28. 文明的数字工业化：构建大规模预训练数据管线
  29. 自我进化的循环：合成数据（Synthetic Data）的生成、过滤与证明
  30. 预测未来的算力账本：缩放法则（Scaling Laws）与曲线拟合
  31. 灵魂的对齐：SFT、指令微调与偏好优化（DPO）
  32. 理性的驯化：从 RLHF、PPO 到 GRPO 的进化史
  33. 数字的炼金术：模型量化（Quantization）深度解密
  34. 吞吐量之王：Serving Stack 与推理引擎横评
  35. 拒绝虚假繁荣：构建严谨的模型评测（Evaluation Harness）
  36. 检索增强生成的艺术：工业级 RAG 架构拆解
  37. 构建 Tool Use 与 Agent Loop
  38. 多模态视觉语言桥接器（Vision-Language Adapter）
  39. 打开黑盒：机械可解释性（Mechanistic Interpretability）
  40. 防线与红队：构建 LLM 安全评估体系
  41. 终极试炼：构建你的私有化大模型系统（Capstone Project）

训练的闭环：模型是如何变聪明的

在前面的项目中，我们构建了各种静态部件。项目 07 的任务是让这些部件动起来。我们将实现一个名为 Mini-former 的模型训练系统。训练的过程本质上是一个反馈循环：模型预测 -> 计算误差（Loss） -> 计算如何调整参数（Gradients） -> 更新参数（Optimizer）。

第一阶段：构建训练循环（The Training Loop）

一个标准的训练循环需要严密的逻辑控制：

  1. 数据分批（Batching）：模型不可能一次处理整本书，我们需要将其切分为 (Batch Size, Sequence Length) 的张量。
  2. 前向传播（Forward Pass）：输入 $X$，得到模型预测的 Logits。
  3. 计算损失（Loss Calculation）：使用交叉熵损失（Cross Entropy Loss），衡量模型预测概率与真实 Token 之间的距离。
  4. 反向传播（Backward Pass）：PyTorch 会自动根据 Loss 计算每一个权重的梯度。
  5. 权重更新（Optimization Step）：使用 AdamW 优化器，根据梯度微调权重。

第二阶段：学习率调度（Learning Rate Scheduling）

学习率是训练中最重要的超参数。

  • Warmup（预热）：在训练开始的前几百步，模型权重是随机的，梯度非常大。我们需要缓慢增加学习率，防止模型在第一步就“跑偏”。
  • Decay（衰减）：随着训练接近尾声，我们需要减小学习率，让模型在最优解附近细微挪动，避免冲过头。 最常用的策略是余弦退火（Cosine Decay with Warmup）。

第三阶段：过拟合与验证集（Evaluation）

模型训练最怕的是“死记硬背”。如果模型在训练集上 Loss 极低，但在新文本上表现极差，这就是过拟合。 因此，我们必须定期执行 Validation Step：

  1. 切换到 model.eval() 模式。
  2. 停用 Dropout 和梯度计算。
  3. 在未见过的验证数据上计算 Loss。 如果验证集的 Loss 开始上升，即便训练集 Loss 仍在下降，也必须停止训练。

关键工程代码片段

# 一个典型的训练步骤逻辑
optimizer.zero_grad(set_to_none=True)
logits, loss = model(x, y)
loss.backward()
# 梯度裁剪：防止梯度爆炸
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
optimizer.step()
lr_scheduler.step()

观察指标与可视化

在训练过程中，你需要实时监控以下图表：

  • Loss Curve：理想曲线应该呈现平滑下降，最后趋于平缓。
  • Perplexity（困惑度）：Loss 的指数形式，$e^{loss}$。它代表模型在预测下一个词时，平均在多少个候选词中纠结。
  • Gradient Norm：如果这个值突然飙升，通常意味着训练已经崩溃。
  • Generate Samples：每隔 500 步，让模型生成一段话。你会亲眼看到它从完全的随机乱码，进化到能拼出单词，再到能写出符合语法的短句。

总结

训练不是魔法，而是极致的工程。每一个细节（Batch 大小、学习率的形状、梯度的裁剪）都会直接影响最终模型的质量。当你第一次看到模型能够续写出你输入的句子时，你将真正理解参数中蕴含的统计力量。

版权声明: 如无特别声明，本文版权归 sshipanoo 所有，转载请注明本文链接。

（采用 CC BY-NC-SA 4.0 许可协议进行授权）

本文标题:项目 07：Mini-former 训练实战：从随机扰动到文本预测

本文链接:https://www.sshipanoo.com/blog/ai/llm-roadmap/lab-07-training/

本文最后一次更新为 天前，文章中的某些内容可能已过时！

目录