Fact Checker

🔍 多源交叉验证,精准事实核查

自动化事实核查工具,交叉验证Markdown文档中的数字、日期、模型引用与本地源数据,确保发布前准确性。

收藏
6.5k
安装
2.5k
版本
1.0.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Fact-Checker 是一款面向技术文档和报告的事实核查技能,通过 Python 脚本自动提取 Markdown 草稿中的可验证声明(数字、日期、模型名称、分数、因果关系陈述),并与多层本地数据源进行交叉验证,生成结构化的核查报告。

使用流程
1. 执行 python3 skills/fact-checker/scripts/fact_check.py <draft.md>

2. 系统按优先级查询六大数据源:FINDINGS.md(主真相源)、本地 /status API、JSON 分数文件、memory 日志、git 历史、CHANGELOG.md

3. 输出带状态标记的逐条验证结果(✅ 确认 / ⚠️ 无法验证 / ❌ 矛盾)及汇总统计

显著优点

  • 多源交叉验证:整合文档、API、版本控制、运行时日志四类数据源,降低单一来源偏差
  • 结构化输出:机器可解析的验证状态 + 人类可读的证据引用,便于快速定位问题
  • 零外网依赖:纯本地执行,符合敏感环境合规要求
  • 细粒度追踪:支持模型版本(phi4:latest)、任务路径(phi4/classify)等 MLOps 场景的特定引用格式

潜在局限

  • 语义理解有限:依赖正则模式匹配,对模糊表述("约一天""性能显著提升")无法自动判定
  • 数据源时效性:若 /status API 或 FINDINGS.md 未及时更新,可能产生假阴性矛盾
  • 英语场景优化:日期格式仅支持 YYYY-MM-DD,百分比、分数格式固定
  • 无自动修复:仅标记矛盾,不直接修改原文,需人工介入决策

适合人群
技术写作者、MLOps 工程师、研发项目经理、需要确保数据驱动报告准确性的内容审核团队。

常规风险

  • 过度信任工具:用户可能忽略 "⚠️ 无法验证" 条目,将"未找到证据"等同于"正确"
  • API 不可用降级:当 /status 离线时,系统降级依赖静态文件,可能错过最新运行数据
  • 敏感信息泄露:memory 日志和 git 历史可能包含内部用户名、路径,输出报告需脱敏审查

Fact Checker 内容

scripts文件夹
手动下载zip · 11.4 kB
fact_check.pytext/plain
请选择文件