决定模型性格的基因：你如何定义损失，就如何定义模型

LLM 工程路线图

  1. LLM 工程路线图：从概念理解到可运行系统
  2. 项目 1-2：Tokenizer、词表与 Embedding
  3. 项目 3-8：位置、注意力与 Transformer Block
  4. 项目 9-16：Decoding、KV Cache、长上下文与推理系统
  5. 项目 17-33：MoE、数据、后训练、评测、RAG、Agent 与安全
  6. 项目 34：十二周执行计划与 Capstone
  7. 34 个 LLM 工程项目验收清单
  8. 从零实现 tokenizer
  9. embedding 与语义几何
  10. 位置编码（learned / sinusoidal / RoPE / ALiBi）
  11. 手写 scaled dot-product attention
  12. 扩展到多头注意力机制（Multi-Head Attention）
  13. 构建完整的 Transformer Decoder Block
  14. Mini-former 训练实战：从随机扰动到文本预测
  15. 训练目标对比：Causal、Masked 与 Prefix LM 👈 当前
  16. 概率的剪裁：解码策略与采样 Dashboard
  17. 打破串行咒语：投机解码（Speculative Decoding）
  18. 显存的吞噬者：KV Cache 机制与显存预算
  19. 架构的进化：MQA、GQA 与 MLA 深度解析
  20. 跨越万词鸿沟：长上下文（Long Context）的系统性挑战与解法
  21. 频率的炼金术：RoPE Scaling 与长度外推（Extrapolation）
  22. IO 感知的艺术：FlashAttention 的硬件级优化
  23. 硬件精算：显存带宽、算力与硬件预算（Hardware Budget）
  24. 稀疏性的调度艺术：实现双专家 MoE 路由（MoE Router）
  25. 计算的权衡：稠密（Dense）与稀疏（MoE）模型的全方位对比
  26. 线性序列的回归：状态空间模型（SSM）与线性注意力
  27. 文本的扩散：扩散语言模型（Diffusion LM）初探
  28. 文明的数字工业化：构建大规模预训练数据管线
  29. 自我进化的循环：合成数据（Synthetic Data）的生成、过滤与证明
  30. 预测未来的算力账本：缩放法则（Scaling Laws）与曲线拟合
  31. 灵魂的对齐：SFT、指令微调与偏好优化（DPO）
  32. 理性的驯化：从 RLHF、PPO 到 GRPO 的进化史
  33. 数字的炼金术：模型量化（Quantization）深度解密
  34. 吞吐量之王：Serving Stack 与推理引擎横评
  35. 拒绝虚假繁荣：构建严谨的模型评测（Evaluation Harness）
  36. 检索增强生成的艺术：工业级 RAG 架构拆解
  37. 构建 Tool Use 与 Agent Loop
  38. 多模态视觉语言桥接器（Vision-Language Adapter）
  39. 打开黑盒：机械可解释性（Mechanistic Interpretability）
  40. 防线与红队：构建 LLM 安全评估体系
  41. 终极试炼：构建你的私有化大模型系统（Capstone Project）

架构相似，灵魂不同

如果你观察 GPT、BERT 和 T5 的代码，你会发现它们大部分时间都在使用同样的 Transformer Block。它们真正的差异不在于“骨架”，而在于“眼睛”和“任务”。

项目 08 的核心是对比三种主流的训练目标（Objective Functions）。不同的目标决定了模型在训练时能看到哪些上下文，以及它最终擅长解决什么问题。

1. Causal Language Modeling (CLM) —— GPT 的路径

逻辑： 只能看左边，不能看右边。 模型的目标是预测下一个 Token。为了防止模型“作弊”看到正确答案，我们必须使用 Causal Mask（下三角掩码）。

  • 优势：非常适合开放式生成。因为它训练时的任务（预测下一个词）和推理时的任务完全一致。
  • 劣势：对中间信息的理解能力稍弱，因为它无法通过后文来修正对前文的理解。

2. Masked Language Modeling (MLM) —— BERT 的路径

逻辑： 完形填空。 我们随机盖住（Mask）序列中 15% 的单词，让模型根据上下文（同时看左边和右边）来猜这个词是什么。

  • 优势：双向注意力。模型对语义的理解极其深刻，非常适合分类、情感分析、命名实体识别等任务。
  • 劣势：不擅长生成。当你让一个 BERT 模型生成长文本时，它往往会陷入自我重复或语无伦次，因为它训练时从未学习过如何从零开始构建长序列。

3. Prefix LM / Seq2Seq —— T5 与 GLM 的路径

逻辑： 部分双向，部分单向。 我们将输入分为两部分：Prefix（前缀）和 Target（目标）。

  • 在 Prefix 部分，所有 Token 可以互相看见（双向）。

  • 在 Target 部分，Token 只能看见左边（单向）。

  • 优势：兼具理解和生成能力。这是目前很多对话模型（如早期的 GLM）喜欢采用的折中方案。它能理解复杂的输入指令，同时保持流畅的输出。

实验对比任务

在同一个实验环境下，使用相同的小语料（如：莎士比亚文集），尝试以下对比：

  1. 生成实验：让 CLM 和 MLM 同时续写句子。观察 MLM 是否在生成几个词后就开始输出随机 Token。
  2. 填空实验：给出一句有空缺的话，观察谁能更精准地补全。
  3. Loss 曲线对比：观察三者的收敛速度。由于 MLM 和 Prefix LM 看到了更多的上下文信息，它们的训练 Loss 通常下降得比 CLM 快。

为什么要理解这些差异？

作为开发者，理解训练目标能帮你避开很多坑：

  • 如果你需要做一个翻译系统，你应该优先考虑 Seq2Seq 或 Prefix LM 架构。
  • 如果你需要做一个创意写作工具，纯粹的 Causal LM（GPT 架构）是唯一的选择。
  • 如果你需要做一个搜索召回系统，基于 MLM 的 Embedding 模型通常效果更好。

总结

训练目标是模型的“任务说明书”。Causal LM 训练了模型的想象力，Masked LM 训练了模型的洞察力。通过项目 08 的对比，你将能够根据业务需求，从底层逻辑上选择最合适的模型架构。

版权声明: 如无特别声明，本文版权归 sshipanoo 所有，转载请注明本文链接。

（采用 CC BY-NC-SA 4.0 许可协议进行授权）

本文标题:项目 08：训练目标对比：Causal、Masked 与 Prefix LM

本文链接:https://www.sshipanoo.com/blog/ai/llm-roadmap/lab-08-objectives/

本文最后一次更新为 天前，文章中的某些内容可能已过时！

目录