LLM 应用开发系列

• Embedding 嵌入向量
• 向量数据库
• RAG 检索增强生成
• Prompt Engineering
• LangChain 框架
• Agent 智能体
• Function Calling
• 部署与优化
• 安全防护
• 对话记忆管理
• Streaming 流式输出
• LlamaIndex 框架
• 结构化输出
• 多模态 LLM 应用
• LLM 评估与测试
• 多模型路由
• 缓存策略
• 成本优化
• 监控与可观测性
• 高级 RAG 技术
• GraphRAG 知识图谱
• 长上下文处理
• LLM 微调实战
• 本地模型部署
• MCP 协议开发
• AI 搜索引擎
• 代码生成与执行
• 文档智能处理
• 语音交互系统
• 多租户架构
• Prompt 版本管理
• 混合检索策略
• 对话系统设计
• 内容审核与过滤
• 个性化推荐
• 知识库构建
• AI 写作助手
• 实时协作
• 边缘部署

[设计/调试] ──→ [版本提交] ──→ [自动化评估] ──→ [灰度发布] ──→ [监控回溯]
      ↑                               │               │               │
      └───────────────────────────────┴───────────────┴───────────────┘
                            持续优化闭环 (Feedback Loop)

# prompts/customer_service/v2.yaml
name: "cs_assistant"
version: "2.1.0"
description: "处理电商退款咨询的专业客服"
model:
  provider: "openai"
  name: "gpt-4o"
  parameters:
    temperature: 0.2
    max_tokens: 500
template: |
  你是一名{company}的客服。请根据以下上下文回答用户问题。
  
  上下文：{context}
  用户问题：{query}
  
  要求：
  1. 语气亲切。
  2. 如果无法解决，请引导用户联系人工客服：{support_phone}。
input_variables: ["company", "context", "query", "support_phone"]

from functools import lru_cache
import yaml

class PromptRegistry:
    def __init__(self, storage_path: str):
        self.storage_path = storage_path

    @lru_cache(max_tokens=100)
    def get_prompt(self, name: str, version: str = "latest"):
        """从存储中加载指定版本的 Prompt"""
        # 逻辑：读取 YAML -> 验证变量 -> 返回模板对象
        pass

---

#### 范式演进：从 Prompt Engineering 到 DSPy

手动调优 Prompt（加个“请深呼吸”、“我会给你 200 美元小费”）既玄学又低效。**DSPy** 提出了“编程而非提示”的理念。

#### DSPy 的核心思想
1.  **签名 (Signatures)**：定义任务的输入输出（如 `question -> answer`），而不是具体的文字描述。
2.  **模块 (Modules)**：如 `ChainOfThought` 或 `ReAct`，封装了常见的推理模式。
3.  **优化器 (Teleprompters)**：这是最神奇的地方。你提供少量示例，DSPy 会自动尝试不同的 Prompt 组合，并根据评估分数自动生成最优的提示词。

**结论**：未来的 Prompt 管理可能不再是管理“文字”，而是管理“优化脚本”和“评估集”。

---

#### 生产环境中的 A/B 测试

当你优化了一个新版本的 Prompt，不要直接全量替换。

#### 灰度发布策略
- **影子测试 (Shadow Testing)**：同时调用旧版和新版 Prompt，但只给用户看旧版的。记录新版的表现，对比差异。
- **流量切分**：90% 的用户使用 `v1`，10% 的用户使用 `v2`。
- **监控指标**：对比两者的转化率、用户点赞率、平均 Token 消耗和延迟。

```python
def get_model_response(user_query: str, user_id: str):
    # 根据用户 ID 进行哈希，决定使用哪个版本的 Prompt
    version = "v2" if hash(user_id) % 10 == 0 else "v1"
    prompt = registry.get_prompt("customer_service", version)
    return llm.call(prompt.format(query=user_query))

@lru_cache(maxsize=100)
def get_prompt(self, name: str, version: str = "production"):
    # 实际应用中，version 可以是具体的语义化版本，也可以是 "production" 软链接
    file_path = f"{self.storage_path}/{name}/{version}.yaml"
    with open(file_path, 'r') as f:
        return yaml.safe_load(f)