核心用法
Fact-Checker 是一款面向技术文档和报告的事实核查技能,通过 Python 脚本自动提取 Markdown 草稿中的可验证声明(数字、日期、模型名称、分数、因果关系陈述),并与多层本地数据源进行交叉验证,生成结构化的核查报告。
使用流程:
1. 执行 python3 skills/fact-checker/scripts/fact_check.py <draft.md>
2. 系统按优先级查询六大数据源:FINDINGS.md(主真相源)、本地 /status API、JSON 分数文件、memory 日志、git 历史、CHANGELOG.md
3. 输出带状态标记的逐条验证结果(✅ 确认 / ⚠️ 无法验证 / ❌ 矛盾)及汇总统计
显著优点:
- 多源交叉验证:整合文档、API、版本控制、运行时日志四类数据源,降低单一来源偏差
- 结构化输出:机器可解析的验证状态 + 人类可读的证据引用,便于快速定位问题
- 零外网依赖:纯本地执行,符合敏感环境合规要求
- 细粒度追踪:支持模型版本(
phi4:latest)、任务路径(phi4/classify)等 MLOps 场景的特定引用格式
潜在局限:
- 语义理解有限:依赖正则模式匹配,对模糊表述("约一天""性能显著提升")无法自动判定
- 数据源时效性:若
/statusAPI 或 FINDINGS.md 未及时更新,可能产生假阴性矛盾 - 英语场景优化:日期格式仅支持
YYYY-MM-DD,百分比、分数格式固定 - 无自动修复:仅标记矛盾,不直接修改原文,需人工介入决策
适合人群:
技术写作者、MLOps 工程师、研发项目经理、需要确保数据驱动报告准确性的内容审核团队。
常规风险:
- 过度信任工具:用户可能忽略 "⚠️ 无法验证" 条目,将"未找到证据"等同于"正确"
- API 不可用降级:当
/status离线时,系统降级依赖静态文件,可能错过最新运行数据 - 敏感信息泄露:memory 日志和 git 历史可能包含内部用户名、路径,输出报告需脱敏审查