08. 自我进化：不改权重也能越用越熟

换模型周期以周计，企业退款流程、冷门 API、本周才上线的后台字段以天计。只靠改权重，永远跟不上现场。自我进化要解决的是另一半问题：在不更新参数的前提下，把经验沉淀成可检索、可复用、可审计的外部能力——让 Agent 从「每次从零摸」变成「越用越熟」。

后训练解决「模型更聪明」；自我进化解决「Agent 更能干」。二者互补：稳定通用策略可进权重，易变领域流程应进文件与工具库。

为什么不会「自动」学会

若上下文无限，把全部历史塞进去，是否就等于学会了一切？否。

注意力更擅长查找（第 37 个笼子里是什么），不擅长在一次前向里做完整的归纳统计（100 个笼子里共几只黑猫）。原始轨迹堆在窗口里，模型能「看见记录」，不会自动压缩成可复用规律；上下文越长噪声越多，关键信息反而更难命中。学习必须被显式设计：额外算力做总结、结构化、入库、再检索。

前几章已有雏形：上下文压缩、状态栏、用户记忆。本章补的是更长期的一半——解题策略、操作流程、失败教训、乃至新工具——让能力跨会话增长，而不只是「记得用户是谁」。

三种学习范式与本章位置

自我进化 ≈ 外部化学习，两个维度：

1. 从经验沉淀知识 / Skill
2. 主动发现与创造工具

分流原则：事实性知识 → RAG/知识库；稳定行为与格式 → 后训练；当下临时信息 → 上下文。外部化用自然语言 + 文件为主载体——模型最擅长处理的形式，也不依赖人工先画一张完备知识图谱。

反面场景：客服 Agent 花 15 分钟摸通某银行退款（三通电话、两种话术），若无外部化，下次同一请求仍从零探索。目标是任务结束后用额外算力总结、压缩、结构化，写入可检索外部系统。

从聪明到熟练：学什么

基座再强，也缺「非公开、动态、现场」的经验：退订必须填某表单而不是电话、优惠只对退伍军人开放、某运营商宽带是否仍有议价空间、本仓库的测试命令与发布闸门、某网站反爬与布局变体。这些不在预训练分布里，却决定任务是否一次做对。

外部化产物常见三类：

经验法则：纯事实进知识库；高频且参数复杂写成代码；常变且含策略判断写成 Skill。后两种都属于「流程外部化」——从每次重新思考，变为一次生成、多次复用。

从经验中学习：成功、失败与录制

机制可分层看：

策略摘要：任务成功后，用 LLM 把轨迹压成「方法、坑、关键步骤」；向量化入库。新任务先检索相似成功案例注入提示。只沉淀可迁移教训——仅对单次输入有效的修正不要进长期库。

工作流录制：浏览器等重复操作，首次多模态观察—行动，把步骤录成「操作类型 + 元素定位 + 参数槽 + 验证信息」；再次命中则参数化回放，跳过完整视觉思考。页面改版导致定位失效时，标记过时、回退学习模式重录。更严的版本：把序列编译成带验证谓词的小状态机——每步先核对界面模式再动作；入库前重置环境整段回放，基准评判器通过才准入，防止「流程走完字段却是空的」程序污染库。

从失败中学习：失败信息量常大于成功——明确排除了一条路径。形态包括错误模式库与负面规则（「该运营商退订不要打电话」）。Reflexion 一类方法：失败后用自然语言反思写入情景记忆，下次同类任务读入，全程不改权重。失败提炼的负面规则也可进入系统提示（见下）。

Skills 与睡眠学习

Skills（岗位操作手册式模块）用人类可读文本承载领域流程：更新快、可审查、可换模型迁移。第二章讲过渐进式披露与 KV Cache 友好加载；本章强调生成侧——元 Skill（如 Skill Creator）指导 Agent 观察场景、识别可复用资源、写出标准目录与 SKILL.md；Claude Code 的项目指南在首次通读仓库后生成并持续更新。参数复杂、调用频繁 → 代码工具；策略性、易变 → Skill 文档。系统常二者混用。

睡眠学习（离线记忆整合）：经验积累与整理分时进行，不在用户交互热路径上抢延迟。典型对象是用户记忆（你是谁、偏好、事实），而非整库领域 RAG。门控条件例如：距上次整合足够久、且新会话积累够量，再后台启动子 Agent：定向读索引 → 采集新信号与矛盾 → 合并去重、相对日期改绝对、删证伪条目 → 修剪索引。异步、限权在记忆目录、失败可重试。Hermes 一类常驻进程把提示词记忆、会话全文检索、技能库、可选用户建模叠成多层，并在「多步工具 / 从错误恢复 / 用户纠正」等条件触发时把经验固化为技能（优先 patch 增量改，而不是整篇重写）。

没有定期整合，记忆库退化为低信噪堆积，检索质量反而下降。

系统提示词自动优化

Karpathy 所说的 System Prompt Learning：很多人类学习更像给自己记一条明文规则（「下次先核身份证再退款」），而不是改大脑权重。相对 outcome RL 的标量对/错，自然语言复盘带宽高得多——单条边界案例就能改规则。

本质是用边界情况把规则刻清楚。「超出能力就转人工」在典型场景无争议；灰色地带（用户不满意政策算不算超出？）才定义规则真实含义。

实现路径：

• Coding Agent 生成 diff + 人审：提示与工具描述本就是多文件文档；定位失败上下文，出精确修改，专家批准后合入。适合高风险、要可追责。
• 离线自动搜索：DSPy 把提示当可优化参数；OPRO 用 LLM 当优化器迭代改写；GEPA 对失败轨迹做语言反思并维护帕累托候选集。依赖评估集，效率高，可能过拟合怪异措辞。

实践上可互补：离线框架做初版批量优化，上线后用 diff + 人审消化真实边界案例。优化后必须在保留任务集上防回归——新规则不能破坏旧正确行为。

长任务跨会话续跑

严格说这是工程支撑：把进度外部化到文件系统。Initializer 写 feature-list.json、进度文件、初始提交；后续会话只读进度与 git log，做下一项、跑测试、更新 passes、提交后退出。进度在文件里不在上下文里；清单用结构化 JSON。任务超过数十分钟时，崩溃恢复是必选项，不是可选项。

从工具使用者到工具创造者

预定义工具集在封闭业务可行；通用 Agent 面对的是不可枚举的接口与半成品开源生态。方向是 最小预定义 + 最大自我进化：少数基础能力（搜索、读网页、代码解释器、注册工具），其余按需从开放世界寻找、封装、入库。

流水线示意：

需求识别 → 开放世界搜索 → 读文档/试跑 → 封装 schema → 注册复用

例子：需要 YouTube 字幕 → 搜到 youtube-transcript-api → 读 README → 沙箱试跑 → 封成标准工具 → 以后同类任务直接 search_tools。另一模式是无现成库时写代码造工具，并持久化——不是用完即弃的一次性脚本。验证环节应占最多算力：自动测试挡住错误接口与边界漏洞。

Voyager 式技能积累（开放世界经典形态）：课程生成器提出「最近发展区」任务 → 迭代提示根据错误改技能代码 → 成功则写入可组合技能库 → 更难任务解锁。浏览器工作流录制是同一闭环在 GUI 上的落地。

能力在三层增长：工具库层次化组合；知识层沉淀「哪类库稳定可用、哪些要 key」；策略层改进「如何搜库、如何写测试」——元经验先外置，稳定后再考虑进 RL 权重。

安全边界

自我进化放大能力，也放大风险：

1. 供应链攻击——自动拉 PyPI/npm 恶意包。沙箱执行、依赖扫描、来源白名单。
2. 能力漂移——长期无监督时策略与工具偏离设计意图。工具类型白名单、库增长范围限制、定期人审新增项。
3. 工具质量退化——带 bug 的工具被反复复用，危害大于单次推理错误。入库前验证闸门、失效回退重学。
4. 记忆/经验投毒——网页或工具输出中的注入被当「经验」写入长期库，跨会话持续生效。写入前审查与来源标记；检索经验以「参考资料」而非「指令」注入；对命中条目做注入模式扫描。

流程记忆与知识库都要有验证闸门，自我改进循环才不会腐坏——与第 1 章 Harness 的「验证 + 纠正」同构，只是对象从单次任务结果扩到了「准许进入长期能力库的东西」。

本篇收束

1. 无限上下文不等于自动学习；提炼必须显式。
2. 自我进化是外部化学习：知识 / Skill / 工具三产物，与后训练、ICL 分工。
3. 成功摘要、失败反思、录制回放、睡眠整合、提示 diff，构成不改权重的进化工具箱。
4. 从用工具到造工具，把开源生态变成可增长动作空间；Voyager 式技能库是原型。
5. 安全：供应链、漂移、质量、投毒——无验证的自改进是在加速腐蚀。

下一篇第 9 章：语音、Computer Use 与机器人——实时多模态如何改写架构与延迟账。