打破自回归：从噪声中还原语义

LLM 工程路线图

  1. LLM 工程路线图：从概念理解到可运行系统
  2. 项目 1-2：Tokenizer、词表与 Embedding
  3. 项目 3-8：位置、注意力与 Transformer Block
  4. 项目 9-16：Decoding、KV Cache、长上下文与推理系统
  5. 项目 17-33：MoE、数据、后训练、评测、RAG、Agent 与安全
  6. 项目 34：十二周执行计划与 Capstone
  7. 34 个 LLM 工程项目验收清单
  8. 从零实现 tokenizer
  9. embedding 与语义几何
  10. 位置编码（learned / sinusoidal / RoPE / ALiBi）
  11. 手写 scaled dot-product attention
  12. 扩展到多头注意力机制（Multi-Head Attention）
  13. 构建完整的 Transformer Decoder Block
  14. Mini-former 训练实战：从随机扰动到文本预测
  15. 训练目标对比：Causal、Masked 与 Prefix LM
  16. 概率的剪裁：解码策略与采样 Dashboard
  17. 打破串行咒语：投机解码（Speculative Decoding）
  18. 显存的吞噬者：KV Cache 机制与显存预算
  19. 架构的进化：MQA、GQA 与 MLA 深度解析
  20. 跨越万词鸿沟：长上下文（Long Context）的系统性挑战与解法
  21. 频率的炼金术：RoPE Scaling 与长度外推（Extrapolation）
  22. IO 感知的艺术：FlashAttention 的硬件级优化
  23. 硬件精算：显存带宽、算力与硬件预算（Hardware Budget）
  24. 稀疏性的调度艺术：实现双专家 MoE 路由（MoE Router）
  25. 计算的权衡：稠密（Dense）与稀疏（MoE）模型的全方位对比
  26. 线性序列的回归：状态空间模型（SSM）与线性注意力
  27. 文本的扩散：扩散语言模型（Diffusion LM）初探 👈 当前
  28. 文明的数字工业化：构建大规模预训练数据管线
  29. 自我进化的循环：合成数据（Synthetic Data）的生成、过滤与证明
  30. 预测未来的算力账本：缩放法则（Scaling Laws）与曲线拟合
  31. 灵魂的对齐：SFT、指令微调与偏好优化（DPO）
  32. 理性的驯化：从 RLHF、PPO 到 GRPO 的进化史
  33. 数字的炼金术：模型量化（Quantization）深度解密
  34. 吞吐量之王：Serving Stack 与推理引擎横评
  35. 拒绝虚假繁荣：构建严谨的模型评测（Evaluation Harness）
  36. 检索增强生成的艺术：工业级 RAG 架构拆解
  37. 构建 Tool Use 与 Agent Loop
  38. 多模态视觉语言桥接器（Vision-Language Adapter）
  39. 打开黑盒：机械可解释性（Mechanistic Interpretability）
  40. 防线与红队：构建 LLM 安全评估体系
  41. 终极试炼：构建你的私有化大模型系统（Capstone Project）

范式的颠覆：生成不一定要“一个一个蹦词”

在项目 01 到 19 中，我们所有的讨论都建立在**自回归（Autoregressive）**范式之上：模型总是根据前文预测下一个词。这种模式在处理长文本时极其强大，但也存在两个天然缺陷：

  1. 推理慢：无法并行生成，必须逐字产出。
  2. 缺乏全局规划：模型只能看到过去，无法根据未来预定的结局来优化当前的表达。

项目 20 探索的是一种完全不同的路径：扩散语言模型（Diffusion LM）。它尝试将 Stable Diffusion 在图像领域取得的巨大成功，复制到离散的文本空间中。

第一阶段：扩散模型的数学直觉——加噪与去噪

扩散模型的核心是一个两阶段过程：

  1. 前向过程（Forward Process / Noising）： 在原始文本的 Embedding 中逐渐加入高斯噪声。随着步数增加，文本向量变得越来越乱，最终变成纯粹的随机噪声。
  2. 逆向过程（Reverse Process / Denoising）： 这是模型真正学习的部分。它接收一段充满噪声的向量，尝试预测并减去这些噪声，从而一步步还原出清晰的文本 Embedding。

离散与连续的鸿沟

在图像中，像素是连续的；而文本是离散的 Token。为了在文本上跑扩散模型，我们通常有两种做法：

  • 连续扩散（Continuous Diffusion）：在词向量空间（Embedding Space）进行扩散。
  • 离散扩散（Discrete Diffusion）：直接在 Token ID 层面通过转移矩阵（Transition Matrix）进行“掩码（Mask）”扩散，类似于极其复杂的完形填空。

第二阶段：非自回归生成的优势

为什么我们要这么折腾？

  • 并行生成：在推理时，扩散模型对整段序列进行并行去噪。虽然它需要多次迭代（Steps），但每次迭代都在处理所有位置。
  • 受控生成（Controllability）：这是 Diffusion LM 的杀手锏。由于它是全局生成的，我们可以非常容易地在生成过程中加入约束（Control）。例如：“生成一段话，必须包含‘苹果’和‘牛顿’，且长度正好为 20 个字”。在自回归模型中，这需要极其复杂的 Prompt Engineering 或搜索算法；但在扩散模型中，这只是在去噪过程中加入一个引导梯度（Guidance）。

第三阶段：迭代式优化与细化

扩散模型的生成过程更像是一个“石雕师”在雕刻石块：

  1. 第一步：勾勒出大致的轮廓（初步的语义方向）。
  2. 中间步：填充细节（确定具体的动词和名词）。
  3. 最后步：精修表面（确保语法正确和拼写无误）。

这种渐进式的生成方式，使得模型在处理结构化任务（如按特定句式写诗）时，具有天然的优势。

第四阶段：实验与实现挑战

在本项目中，你需要构建一个极简的连续空间扩散实验：

  1. Embedding 加噪器： 实现一个函数，根据时间步 $t$ 对 Embedding 矩阵施加不同程度的噪声。
  2. 去噪网络（U-Net 或 Transformer）： 设计一个接收 (noisy_embedding, timestep) 并预测 noise 的网络。
  3. 采样循环： 实现 DDIM 或 DDPM 采样算法，观察从随机正态分布向量一步步变成有意义词向量的过程。

核心难点：Rounding 问题

扩散模型输出的是连续向量，最后如何将其变回离散的 Token？这涉及到 Rounding（舍入） 策略。如果模型预测的向量刚好在两个词的 Embedding 边界，它可能会产生语法逻辑上的模糊。

总结与展望

扩散语言模型目前仍处于实验室阶段，其在大规模生成质量上尚不及 GPT 系列。但它为我们提供了一个全新的视野：生成不再是单向的线性累加，而是全局的概率演化。

如果你关注受控生成、多模态融合（如根据特定布局生成文本）或非线性文案创作，项目 20 的 diffusion 思维将为你打开一扇通往非自回归世界的窗户。理解了扩散，你就能明白“噪声”中其实蕴含着最深刻的语义结构。

版权声明: 如无特别声明，本文版权归 sshipanoo 所有，转载请注明本文链接。

（采用 CC BY-NC-SA 4.0 许可协议进行授权）

本文标题:项目 20：文本的扩散：扩散语言模型（Diffusion LM）初探

本文链接:https://www.sshipanoo.com/blog/ai/llm-roadmap/lab-20-diffusion-lm/

本文最后一次更新为 天前，文章中的某些内容可能已过时！

目录