sshipanoo

03. 从执行反馈中学习：CodeRL 与迭代自修正

代码写出来执行失败了——这个失败信号可以拿来训练模型，或者直接在推理时驱动修正。CodeRL 和一系列迭代调试论文，把代码执行结果变成了 Agent 最好的老师

「写代码然后执行」不总是比「直接用文字推理」更好——什么时候用哪种，有一个被低估的选择难题。CodeSteer 是第一篇系统研究这个问题的论文

把推理过程写成程序、交给解释器执行——这个看似简单的想法，为什么能在数学推理上稳定超越 Chain of Thought 12 个百分点，背后的机制是什么

Agent 的失败不是随机的——它有规律，有分类，有对应的诊断方法。把失败系统化，是从手感调 Agent 进化到工程化迭代 Agent 的关键一步

Agent 的安全不是一个功能，是一整套设计决策——从输入侧的注入攻击到工具侧的权限边界，到多 Agent 场景的信任链

Agent 的评测数字满天飞——SWE-bench、AgentBench、τ-bench、WebArena、OSWorld 到底测的是什么、数字怎么读、你该相信多少

编排不是 RAG 的全部。数据从哪里来、如何切、如何建索引、怎么检索与合成，决定了回答的上限

链式 Runnable 足够把 Demo 串起来，但一旦出现分支、暂停、恢复与多人协作，你会需要显式的状态机

从限流、动态批处理、核心指标、OOM 恢复到灰度发布，梳理推理服务走向稳定生产的最后一段路

围绕 DeepSeek、Qwen、Mistral 三类常见开源模型，梳理拿权重、起服务、兼容 OpenAI API 的实际路径