sshipanoo

项目 24：灵魂的对齐：SFT、指令微调与偏好优化（DPO）

深入解析 base model 转化为助手的全过程，探讨指令遵循（Instruction Following）的底层机制，详细推导 DPO 对比 PPO 的数学优势，掌握低秩微调（LoRA）中的秩（Rank）选择艺术

2026-05-27SFT DPO LoRA

深入拆解强化学习如何重塑模型的推理灵魂，从 PPO 的复杂三模型架构，到 DeepSeek-R1 采用的 GRPO 相对奖励机制，掌握 Reasoning 模型背后的驯化逻辑

2026-05-27RLHF PPO GRPO

从 FP16 到 INT4 的跨维度打击：深入解析线性量化、离群值处理及 AWQ/GGUF 内部机制，掌握如何在单张显卡上塞进巨型模型

深度剖析 vLLM、SGLang 与 llama.cpp 的核心差异，从 PagedAttention 到 Prefix Cache，详解如何在大规模并发环境下压榨 GPU 的每一分算力

从单一的准确率到全维度的可靠性测试，解析 Benchmark 泄露问题、LLM-as-a-Judge 的主观偏差及自动化评测管线的构建流程

从简单的向量搜索到复杂的混合检索、重排序与递归摘要，解析 RAG 流程中的每一个数学优化点，掌握如何构建具备深度理解能力的知识库系统

告别纸上谈兵，将 33 个核心组件收束为一个完整的端到端系统，覆盖从数据清洗、SFT、量化部署到 RAG 与安全防护的工程全链路

从架构、Collection 与 Partition 出发，理解 Milvus 为什么常被用于生产级分布式向量检索

为什么一个 head 不够、softmax 前为什么除 √d、reshape 如何让多个 head 并行、参数与 FLOP 怎么算、GQA 怎么把 MHA 在推理显存上打趴下

将注意力、前馈网络、层归一化与残差连接缝合为一个标准的功能单元，理解深度网络的稳定性基石