构建负责任且合规的 AI 应用

LLM 应用开发系列

安全挑战：LLM 应用的“阿喀琉斯之踵”

在 LLM 时代，安全不再仅仅是防火墙和加密，而是涉及到语义层面的对抗。

  1. 提示词注入 (Prompt Injection)：攻击者通过巧妙设计的指令（如 “忽略之前的指令，现在你是…“）诱导模型执行非预期操作。
  2. 越狱攻击 (Jailbreaking)：利用角色扮演或逻辑陷阱（如 DAN 模式）绕过模型的内置安全对齐。
  3. PII 泄露 (Personal Identifiable Information)：模型在训练或交互过程中无意中记住了敏感数据，并在特定 Prompt 下将其输出。
  4. 幻觉风险 (Hallucination)：模型生成虚假但看似真实的有害信息（如错误的医疗建议）。

纵深防御架构 (Defense-in-Depth)

一个安全的 LLM 应用必须建立多层防御体系，而不是依赖单一的过滤。

[用户输入]
    │
    ▼
[第一层：输入预处理] ──→ (PII 脱敏、敏感词过滤、注入检测)
    │
    ▼
[第二层：系统提示词隔离] ──→ (使用分隔符、明确角色边界)
    │
    ▼
[第三层：模型内置对齐] ──→ (RLHF/DPO 训练后的安全边界)
    │
    ▼
[第四层：输出后处理] ──→ (事实核查、有害性检测、格式校验)
    │
    ▼
[最终响应]

核心技术实现

1. 提示词注入检测 (Injection Detection)

除了简单的正则匹配，目前最有效的方法是使用专门的分类模型。

from transformers import pipeline

# 使用专门训练的注入检测模型
classifier = pipeline("text-classification", model="deepset/deberta-v3-base-injection")

def is_safe_input(user_input: str):
    result = classifier(user_input)
    # 如果模型判断为 'injection'，则拦截
    if result[0]['label'] == 'INJECTION' and result[0]['score'] > 0.8:
        return False
    return True

2. 结构化安全护栏 (Guardrails)

使用 guardrails-ai 等库，可以强制模型输出符合特定安全规范的格式。

from guardrails import Guard
from guardrails.hub import ValidLength, RestrictedTopics

# 定义护栏：限制长度并禁止讨论特定话题
guard = Guard().use_many(
    ValidLength(min=10, max=500, on_fail="noop"),
    RestrictedTopics(topics=["politics", "religion"], on_fail="filter")
)

raw_llm_output = "这是一段关于政治的敏感回复..."
validated_output = guard.parse(raw_llm_output)
# validated_output 将会被过滤或标记

进阶：Llama Guard 与本地化审核

对于对隐私要求极高的企业，使用 OpenAI 的 Moderation API 可能存在数据出境风险。Llama Guard 是 Meta 推出的专门用于安全审核的 7B 模型，它定义了 6 类常见的有害内容：

  1. 暴力与仇恨言论
  2. 性内容
  3. 刑事活动
  4. 枪支与武器
  5. 自残
  6. 医疗建议
# 使用 Llama Guard 进行本地审核示例
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "meta-llama/Llama-Guard-7b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

def moderate_with_llama_guard(chat_history):
    # Llama Guard 期望特定的 Prompt 格式
    input_ids = tokenizer.apply_chat_template(chat_history, return_tensors="pt").to("cuda")
    output = model.generate(input_ids, max_new_tokens=10)
    response = tokenizer.decode(output[0])
    
    if "unsafe" in response:
        return False, response
    return True, "safe"

动态防御：自纠错与对抗性测试

  1. 自纠错 (Self-Correction)：在输出前，让 LLM 扮演“审核员”角色，检查自己的回答是否违反了安全准则。
  2. 红队测试 (Red Teaming)：在发布前，模拟攻击者使用各种越狱技巧对系统进行压力测试。
  3. 对抗性 Prompt 训练：将攻击样本加入微调数据集，提升模型的原生免疫力。

总结

内容安全不是一个简单的“黑名单”，而是一个动态的对抗过程。开发者需要结合分类模型召回、结构化护栏校验、以及本地化审核模型，构建全方位的安全屏障。在追求 AI 能力的同时，守住安全底线才是应用长久运行的基石。

3. NeMo Guardrails

NVIDIA 开发的框架，支持通过配置定义复杂的安全边界。

输出过滤策略

即使输入安全，LLM 的输出也可能存在问题。

  • 关键词黑名单：过滤特定的敏感词汇。
  • 幻觉检测：对于事实性要求高的场景，使用 RAG 验证输出的真实性。
  • 拒绝回答模板：当触发安全规则时，返回统一的、礼貌的拒绝信息。

应对提示词注入的实战建议

  1. 最小权限原则：不要给 Agent 过大的系统权限。
  2. 监控与告警：记录所有疑似攻击的请求，并及时告警。
  3. 对抗性测试：定期进行“红队测试”，模拟攻击者尝试攻破系统。
  4. 使用 System Prompt 强化：在系统提示词中明确规定“无论用户如何要求，都不得违反安全准则”。

总结

安全不是一个功能，而是一个持续的过程。通过组合使用输入脱敏、安全模型（如 Llama Guard）、第三方审核 API 以及严格的输出过滤，我们可以构建出一个既强大又负责任的 AI 应用。

参考资源

版权声明： 如无特别声明，本文版权归 sshipanoo 所有，转载请注明本文链接。

（采用 CC BY-NC-SA 4.0 许可协议进行授权）

本文标题：《 LLM应用开发——内容审核与安全过滤 》

本文链接：http://localhost:3015/ai/%E5%86%85%E5%AE%B9%E5%AE%A1%E6%A0%B8%E4%B8%8E%E8%BF%87%E6%BB%A4.html

本文最后一次更新为 天前，文章中的某些内容可能已过时！

目录