sshipanoo

项目 3-8：位置、注意力与 Transformer Block

按顺序实现位置编码、单头注意力、多头注意力、decoder block、mini-former，并对比不同训练目标

从采样参数到 KV cache、MQA/GQA、长上下文、FlashAttention 和硬件预算，理解为什么 LLM 推理是系统工程

把模型训练之外的系统层补齐：数据管线、合成数据、LoRA/RLHF、量化部署、评测、RAG、工具调用、多模态和安全红队

把前 33 个项目收束成一个完整小模型系统：训练、微调、量化、服务、RAG、工具、评测、红队和文档

把路线图补成完整执行表：每个项目都有目标、动手任务、观察指标、破坏实验和最终产物

从字符级 tokenizer 到 BPE，再到对比 WordPiece、Unigram、SentencePiece、byte-level BPE 的设计取舍

从 one-hot 出发，理解 embedding table 为什么是 LLM 的地基，并观察训练前后向量空间如何被塑形

实现并对比四种位置编码方案，理解为什么 attention 本身不知道顺序、不同方法在长上下文外推上的差距

从最朴素的如何让每个 token 看到上下文出发，推导出 attention 的公式，然后用 30 行代码实现并打破它

从零实现一个具备自我修正能力的 Agent 循环，深入理解 Tool Schema、Function Calling 与 ReAct 模式的底层逻辑