项目 17：稀疏性的调度艺术：实现双专家 MoE 路由（MoE Router）
从混合专家模型（MoE）的起源出发，深度解析门控网络（Gating Network）的数学原理，通过实现 Top-1 与 Top-2 路由逻辑，探索专家坍塌（Expert Collapse）的规避策略
项目 18：计算的权衡：稠密（Dense）与稀疏（MoE）模型的全方位对比
深入探讨模型容量与实际算力开销的博弈，分析 MoE 在内存带宽、通信延迟及训练稳定性维度的真实代价，掌握在大规模系统设计中选择架构的决策逻辑
项目 19：线性序列的回归：状态空间模型（SSM）与线性注意力
深入解析 Mamba、S4 等状态空间模型的数学原理，探讨如何通过循环递归（Recurrence）与卷积（Convolution）的对偶性绕过 Transformer 的二次复杂度瓶颈，理解线性注意力与 RNN 的本质联系
项目 20：文本的扩散：扩散语言模型（Diffusion LM）初探
将图像生成领域的扩散模型（Diffusion）迁移至离散文本空间，探讨非自回归生成、渐进式去噪及受控文本生成的底层逻辑
项目 31：多模态视觉语言桥接器（Vision-Language Adapter）
深入探讨如何通过线性投影与特征对齐，将预训练的视觉编码器与大型语言模型缝合在一起，理解多模态大模型的底层机制
项目 32：打开黑盒：机械可解释性（Mechanistic Interpretability）
探索神经网络内部的电路与逻辑，通过探针训练、激活分析与稀疏自编码器，尝试理解大模型参数背后的具体含义
项目 33：防线与红队：构建 LLM 安全评估体系
从 Prompt Injection 到有害输出检测，建立一套可量化、可回放的安全防御与攻击测试框架
Qdrant与Weaviate
围绕 payload 过滤与混合检索能力，比较 Qdrant 和 Weaviate 的适用场景
LLM 工程路线图：从概念理解到可运行系统
把 LLM 项目式路线整理成中文学习记录：不是收藏资源，而是按项目推进、画图、破坏、复盘、发布
项目 1-2：Tokenizer、词表与 Embedding
从字符级 tokenizer 扩展到 BPE、WordPiece、SentencePiece，并把 token ID 映射成可学习的向量空间