sshipanoo

推理引擎横评

比较 vLLM、TGI、TensorRT-LLM 与 SGLang 的设计重点、调度方式和适用场景

理解教师-学生范式、温度软标签与 KL 散度损失，以及蒸馏和量化、剪枝、微调的边界

从全量微调的显存压力出发，理解 LoRA 的低秩分解数学和 QLoRA 的 4bit 训练路线

从 GGUF 文件格式到 llama.cpp 的 CPU 优化路径，理解为什么本地部署仍然离不开这套生态

理解从浮点到低比特整数的压缩过程，以及 GPTQ、AWQ、bitsandbytes 在部署中的不同位置

2026-05-30量化 GPTQ AWQ

从自回归生成、KV 缓存和显存约束出发，拆开大模型推理速度慢的根本原因

把索引、产品形态与运维要求放到一起，讨论向量数据库在真实生产系统中的取舍

深入探讨从 CommonCrawl 到 RefinedWeb 的数据演进史，解析文档级去重（MinHash/LSH）、质量过滤（Heuristic/Model-based）及数据防污染的工程细节

深入解析 Self-Instruct 与 Evol-Instruct 的算法逻辑，探讨如何利用 LLM-as-a-Judge 解决样式重复与知识退化问题，证明合成数据在解决长尾任务中的实战价值

从 OpenAI 的 Power Law 到 DeepMind 的 Chinchilla 方案，深度拆解参数量、数据量与算力（FLOPs）之间的三角博弈，掌握如何通过小规模实验预测百亿级模型的性能上限