Search Cluster

核心用法

Search Cluster 是一个工业级多源搜索聚合器，通过统一接口整合三大搜索提供商：

• Google Custom Search：官方 API，结果权威可靠
• Google News RSS：实时新闻聚合，适合时效性查询
• Scrapling：基于 DuckDuckGo 的隐形无头浏览器爬虫，无需 API 密钥

使用方式简单直接：执行 scripts/search-cluster.py all "<query>" 即可并行调用所有提供商，输出结构化 JSON（含来源、标题、链接及净化摘要）。

显著优点

| 维度 | 优势 |

|------|------|

| **高可用性** | 多提供商冗余，单点故障自动降级 |

| **安全隔离** | 子进程隔离输入，严格 TLS 验证，内置 Path Neutral 净化器 |

| **零成本备选** | Scrapling 路径无需 API 费用 |

| **标准化输出** | 统一 JSON 格式，便于下游处理 |

| **缓存支持** | 可选 Redis 缓存，提升响应效率 |

潜在缺点与局限性

1. 配置复杂度：Scrapling 需独立虚拟环境及环境变量配置，部署门槛高于单一 API 方案
2. 速率限制：Google CSE 有每日查询配额，高频场景需成本规划
3. Scrapling 稳定性：依赖 DuckDuckGo 页面结构，存在因目标站点反爬或改版导致的失效风险
4. 法律灰色地带：隐形爬虫可能违反部分网站 ToS，需评估合规性

适合人群

• 需要多源交叉验证的研究人员与情报分析师
• 追求成本优化的开发者（Scrapling 免 API 费）
• 对安全隔离有硬性要求的企业级场景

常规风险

| 风险类型 | 说明 |

|---------|------|

| 合规风险 | Scrapling 模式需确认目标站点 robots.txt 及服务条款 |

| 数据泄露 | API 密钥（GOOGLE_API_KEY/CSE_ID）需妥善保管 |

| 依赖维护 | Scrapling 虚拟环境需独立维护，版本漂移可能导致故障 |

| 缓存失效 | Redis 配置不当可能导致过期数据返回 |

核心用法

Search Cluster 是一款专为 Agent 设计的聚合搜索技能，整合三大权威数据源：Google Custom Search（官方 API）、Google News RSS（新闻聚合）以及 Scrapling（基于 DuckDuckGo 的隐身爬虫）。用户通过统一的 CLI 入口执行 scripts/search-cluster.py all "<query>"，即可并行查询多个渠道，返回标准化的 JSON 结果，包含来源、标题、链接和净化后的摘要片段。

该技能采用模块化设计，需预先配置环境变量：Google API 密钥、CSE ID、Scrapling 虚拟环境路径，以及可选的 Redis 缓存地址。安装流程要求为 Scrapling 创建独立 Python 虚拟环境，确保依赖隔离。输出结果经过内部净化处理（Path Neutral 级清理），自动过滤提示注入标记和非打印字符，防止恶意输入穿透。

显著优点

架构安全性突出：子进程隔离执行敏感爬虫操作，主进程仅通过 JSON 与 stealth_fetch.py 交换数据，即使爬虫组件被攻破也无法直接影响主进程。所有网络请求强制启用 SSL 验证，TLS 1.2+ 加密传输，超时保护机制（10-30 秒）防止资源耗尽。

数据覆盖全面：三大互补数据源覆盖网页搜索、新闻资讯和隐私友好型聚合结果，满足多样化信息需求。Google 官方 API 保障结果权威性，DuckDuckGo 爬虫补充无追踪视角，Redis 缓存可选加速重复查询。

部署灵活性高：支持环境变量或密钥管理服务注入凭证，无硬编码风险；模块化依赖允许按需启用组件（如跳过 Scrapling 仅使用 API 模式）。

潜在缺点与局限性

配置门槛较高：需手动搭建虚拟环境、申请 Google Cloud 项目并配置 CSE，对非技术用户不够友好。Scrapling 依赖 Chromium/Playwright，可能带来数百 MB 的存储开销和容器化兼容性问题。

API 成本与配额：Google Custom Search 免费层级每日限制 100 次查询，超出后需付费；高频场景下成本可控性弱于纯开源方案。

网络依赖性强：全部功能依赖外部服务可用性，任何单点故障（Google API 限流、DuckDuckGo 反爬升级）都会导致结果缺失。无离线回退机制。

适合的目标群体

• 需要实时、多源信息验证的 AI Agent 开发者
• 构建新闻监控、舆情分析系统的 内容运营与媒体从业者
• 追求结果可信度、愿为数据质量投入配置的 企业知识管理场景
• 具备基础 DevOps 能力、能管理 API 密钥和虚拟环境的 技术团队

使用风险

隐私泄露风险：搜索查询内容会明文发送至 Google 和 DuckDuckGo 服务器，即使 TLS 加密也无法避免服务商侧的数据留存。敏感商业查询或个人信息检索场景需谨慎评估。

性能波动风险：Scrapling 依赖无头浏览器渲染，内存占用高且响应时间不稳定（受目标网站反爬策略影响）。未设置 Redis 时，重复查询无缓存加速。

依赖维护风险：Playwright/Chromium 需持续更新以应对网站变更；Google API 配额策略调整可能导致服务中断。个人开发者维护（T3 来源）意味着长期支持存在不确定性。

合规边界风险：虽通过 GDPR/CCPA 基础合规检查，但缺乏明确的隐私政策文档说明数据保留期限和用户权利，企业部署时可能需要补充法律审查。