peer-review

Peer Review 技能构建了一套基于本地大语言模型的多模型交叉验证架构，旨在通过"众包智能"方式提升云端模型输出的可靠性。该方案采用 Fan-out 设计模式，将 Claude 等云模型的分析结果并行分发至本地运行的 Mistral 7B、TinyLlama 1.1B 和 Llama 3.1 8B 三个不同规模的模型进行独立评审，最终通过共识算法聚合各模型的质疑点，形成结构化的错误检测报告。

该架构的核心优势在于完全本地化部署，所有推理过程通过 Ollama 在本地完成，既避免了敏感数据上传至第三方 API 的风险，又通过多模型共识机制显著降低单一模型的偏见和幻觉影响。设计中明确区分了"Drift"（方法论分析）、"Pip"（快速检查）和"Lume"（深度思考）三种角色，针对事实错误、逻辑漏洞、信息缺失、过度自信和虚构引用五类问题提供结构化 critique。对于高风险决策场景（如交易分析、重要发布前的内容审查），该层能提供额外的质量保障。

然而，该技能存在明显的局限性。首先，当前版本仅为纯文档型资产，实际可执行的 shell 脚本并未随技能打包，用户需从外部 workspace/scripts 目录单独获取，增加了部署复杂度。其次，多模型推理带来 30-60 秒的固有延迟，使其不适用于实时性要求高的场景。再者，短文本（<50 词）或高度专业化领域的内容可能无法获得有效评审，而创意类内容的评估效果也有限。

该技能最适合 AI 应用开发者、质量控制团队以及对输出准确性有极高要求的专业人士。典型使用场景包括：金融分析报告的事实验证、法律文档的逻辑审查、以及任何高 stakes 决策前的模型输出复核。

使用风险方面，除性能延迟外，需特别注意：该技能来源于 T3 级别的个人开发者账号，长期维护和支持存在不确定性；文档中提及的脚本需单独进行安全审查；实际运行依赖于本地 Ollama 环境的正确配置，若本地模型版本或配置不当，可能导致评审质量下降。建议在正式生产环境部署前，先通过 seed-test-corpus 进行充分的准确率测试。

核心用法

peer-review 是一套基于本地LLM的多模型评审架构，通过Ollama部署Mistral 7B、TinyLlama 1.1B、Llama 3.1 8B等轻量模型，对Claude等云端模型的输出进行并行交叉验证。用户通过bash脚本触发评审流程，模型以特定角色（Drift🌊方法论分析师、Pip🐣快速检查器、Lume💡深度思考者）分别输出结构化批评，最终由聚合器基于共识逻辑（≥2模型一致则高置信）生成发布建议。

适用场景明确限定为：高 stakes 决策验证（交易分析、代理输出质量审核）、复杂推理检查、关键内容发布前审查。系统通过JSON格式的问题分类（事实错误、逻辑漏洞、遗漏上下文、过度自信、虚构来源）实现可量化的错误捕获。

显著优点

• 成本可控：完全本地化推理，无API调用费用，适合高频批量审核
• 架构清晰：三角色分工明确，覆盖速度-深度-结构化的不同审查维度
• 可量化评估：TPR/FPR指标体系（目标≥30%真阳性率，<50%假阳性率）支持持续优化
• 共识机制：多模型交叉降低单模型偏见，≥2一致才标记为高置信问题
• 生态集成：设计目标指向Reef API端点化，支持代理工作流嵌入

潜在缺点与局限

• 延迟瓶颈：明确标注30-60秒延迟，不适合实时决策场景
• 模型能力天花板：本地7B/8B参数模型在专业领域（法律、医学、前沿科研）的知识深度有限，可能漏检或误报
• 提示工程依赖：评审质量高度依赖批评提示模板的设计，需持续迭代
• 无自动修复：仅标记问题，不提供修正建议，人工介入环节不可避免
• 冷启动成本：需本地部署Ollama及多模型，硬件资源（GPU/内存）要求未明确说明

适合人群

• AI代理开发者：需要为自动化工作流添加质量门禁
• 金融/投研分析师：验证模型生成的交易逻辑或数据结论
• 内容运营团队：高 stakes 发布前的多层级审核（替代部分人工一审）
• 本地优先隐私敏感用户：不愿将敏感内容发送至云端API

常规风险

• 共识幻觉：多模型可能共同继承训练数据中的系统性偏见，导致"一致但错误"的标记
• 阈值僵化：固定的≥2模型共识规则可能在边缘案例（1强模型正确、2弱模型错误）中失效
• 维护负担：Ollama版本、模型权重更新可能导致评审行为漂移，需持续回归测试
• 范围误用：用户可能忽视"短文本跳过""创意写作不适用"等边界条件，导致资源浪费