核心用法
Content Moderation 是面向Agent系统的双层内容安全框架，通过 scripts/moderate.sh 脚本实现输入/输出全链路防护。
第一层：提示注入检测
- 基于 ProtectAI DeBERTa 分类器，通过 HuggingFace Inference API（免费）运行
- 输出 SAFE/INJECTION 二元判定，典型攻击识别置信度 >99.99%
- 专防：指令覆盖、系统提示泄露、隐藏配置探测等对抗性输入
第二层：内容安全审核
- 调用 OpenAI omni-moderation 端点（免费，可选）
- 覆盖13个风险类别：harassment/hate/self-harm/sexual/violence 及子类别
调用模式
| 方向 | 命令 | 检测能力 |
|------|------|---------|
| 输入 | `echo "msg" \| scripts/moderate.sh input` | 注入检测 + 内容审核 |
| 输出 | `scripts/moderate.sh output "text"` | 仅内容审核 |
响应处理：注入检测触发→拒绝执行并解释；输入违规→拒答；输出违规→重写再检；API故障→降级人工判断。
显著优点
- 零成本门槛：双层核心能力均免费（HF Token + OpenAI moderation）
- SOTA检测力：DeBERTa在典型提示注入攻击上达99.99%识别率
- 灵活阈值：
INJECTION_THRESHOLD可调敏感度 - 结构化输出：统一JSON格式，便于自动化决策链集成
- 生产就绪：专为"公开-facing/多用户/对抗性输入"场景设计
局限与风险
- 依赖外部API：HF或OpenAI服务中断将触发降级策略，存在检测盲区
- 英文优化：DeBERTa对非英语注入攻击的泛化能力未明确标注
- 黑盒审核：OpenAI moderation类别定义不透明，可能出现过度拦截
- 无本地回退：核心模型未本地化部署，网络隔离环境不可用
- 上下文缺失：单条消息检测，不维护跨轮对话的累积风险评分
适合人群
- 部署公开ChatBot/Agent的开发者（Discord bot、客服系统、论坛机器人）
- 需防范"越狱"攻击的企业级AI应用架构师
- 多租户SaaS平台运营方，需隔离用户间提示泄露风险
- 教育/医疗等敏感领域的内容合规团队
常规风险
| 风险类型 | 说明 |
|---------|------|
| API密钥泄露 | HF_TOKEN/OPENAI_API_KEY需妥善保管，建议配合密钥管理服务 |
| 检测绕过 | 新型注入手法可能突破DeBERTa训练分布，需持续更新模型版本 |
| 误杀率 | 低阈值配置可能导致正常技术讨论（如"忽略此前指令"的合法场景）被拦截 |
| 合规真空 | moderation端点覆盖范围≠各国法律要求，需叠加地域化审核层 |