Tinman - AI Failure Mode Research, Prompt Injection & Tool Exfil Detection

核心功能概述

Tinman 是一套面向 AI Agent 生态的前置安全研究框架，专注于通过系统化实验发现并预防 AI 系统的未知故障模式。其核心定位是"AI 安全免疫系统"——既能在执行前拦截危险操作，也能持续监控会话安全态势。

主要能力矩阵

| 功能模块 | 作用描述 | 使用场景 |

|---------|---------|---------|

| `/tinman check` | 执行前安全检查（Agent 自防护） | 任何工具调用前的风险评估 |

| `/tinman scan` | 历史会话安全审计 | 事后追溯与取证分析 |

| `/tinman sweep` | 主动渗透测试（288 探针） | 系统安全基线验证 |

| `/tinman watch` | 实时监控模式 | 生产环境持续防护 |

三级安全模式设计

• safer（默认）: 中等风险需人工确认，高风险自动拦截——适合生产环境
• risky: 中等风险自动放行，仅拦截高危操作——适合受控场景
• yolo: 仅警告不拦截——专用于安全研究与红队测试

显著优势

1. 主动防御架构: 不同于传统日志审计的事后追溯，/tinman check 实现了 Agent 级自决策能力，可在工具执行前完成风险评估
2. 丰富的攻击覆盖: 11 大攻击类别、288 个合成探针，涵盖从 Prompt 注入到 MCP 攻击、内存投毒等前沿威胁向量
3. 零外泄隐私设计: 全本地运行，会话数据不出境，符合企业合规要求
4. OpenClaw 生态深度集成: 扫描结果直接映射到 SOUL.md 加固建议、沙箱策略配置

局限性与风险

1. 检测非完备性: 168 个模式虽覆盖常见攻击面，但新型对抗样本（如多语言编码绕过）可能存在逃逸
2. 误报成本: safer 模式下频繁的 REVIEW 状态可能打断工作流，需配合 allowlist 调优
3. yolo 模式的生产风险: 该模式明确用于研究，但配置误用可能导致防护真空
4. 依赖 OpenClaw 运行时: 非通用安全工具，需特定 Agent 框架支持

适用人群

• AI Agent 开发者: 构建生产级 Agent 时的安全基线验证
• 红队安全研究员: 系统化评估 AI 系统的对抗鲁棒性
• 企业合规团队: 满足 AI 系统安全审计与可追溯要求
• 平台运营方: 多租户场景下的会话隔离与数据泄露防护

常规风险提示

• 建议定期更新攻击探针库（通过 pip 依赖更新）
• tinman.yaml 中的 mode: shadow 仅观察不拦截，不适合生产防护
• 敏感扫描报告（含 ~/.ssh/* 等路径信息）需妥善保管访问权限

Tinman - AI安全扫描与主动防护工具

Tinman是一款面向AI Agent系统的安全研究与防护工具，核心定位是主动式失败模式发现与自我防护。其设计哲学借鉴了混沌工程思路——通过系统性实验暴露未知风险，同时构建实时防御机制。

核心用法

工具提供三层防护体系：

1. 事前检查 (/tinman check) —— Agent自我防护的核心机制。在工具执行前进行安全审查，返回SAFE/REVIEW/BLOCKED三级判定，支持safer/risky/yolo三种运行模式平衡安全与效率
2. 事后扫描 (/tinman scan) —— 回溯分析近期会话，识别提示注入、工具滥用、上下文泄漏等失败模式
3. 主动探测 (/tinman sweep) —— 288个合成攻击探针，覆盖凭据窃取、加密钱包、MCP攻击等11大类别，主动发现系统弱点

持续监控通过WebSocket实时连接Gateway实现，也可降级为轮询模式。所有分析完全本地执行，findings仅存于用户工作目录。

显著优点

• 检测深度领先：168+静态模式+288动态探针，覆盖从传统jailbreak到MCP生态新型攻击向量
• 架构设计精良：三级安全模式、可配置allowlist、OpenClaw控制映射（SOUL.md/sandbox/工具权限联动），形成完整治理闭环
• 零信任数据设计：本地分析、无外部API、无数据外发，通过隐私合规审计
• Agent原生集成：check命令可直接嵌入SOUL.md，实现自主安全决策

潜在局限

• T3来源风险：个人开发者项目，无知名机构背书，存在供应链信任缺口
• 自定义依赖：AgentTinman和tinman-openclaw-eval两个核心依赖为项目专属包，社区审计覆盖度有限
• 误报可能性：安全扫描工具固有挑战，部分REVIEW级判定可能需要人工频繁介入（safer模式下）
• 覆盖面限制：当前主要针对单Agent场景，多Agent协同、复杂工作流的安全建模仍在发展中

适合人群

• 运行高权限Agent（具备bash/write等敏感工具）的技术用户
• 需要满足数据不出域要求的合规场景
• 安全研究者探索LLM失败模式
• 希望为Agent添加自主安全决策能力的开发者

常规风险

• 供应链攻击：自定义依赖包被篡改风险
• 配置漂移：allowlist过度放宽或yolo模式误用导致防护失效
• 依赖漏洞：PyPI包未来可能暴露的CVE
• 模式绕过：新型攻击向量未被168个模式覆盖

建议搭配代码签名验证、依赖锁定、定期sweep探针更新等纵深防御措施使用。