webserp

🔍 七引擎并行搜索,零配置实时获取

零配置并行搜索7大引擎,curl_cffi模拟浏览器指纹绕过反爬,无需API密钥,适合获取实时信息。

收藏
6.7k
安装
1.7k
版本
0.1.4
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

webserp 是一款元搜索CLI工具,通过并行查询 Google、DuckDuckGo、Brave、Yahoo、Mojeek、Startpage、Presearch 七大搜索引擎获取实时网络信息。安装仅需 pip install webserp,无需API密钥或配置文件。

关键特性:

  • 浏览器模拟:使用 curl_cffi 模拟真实浏览器指纹(TLS指纹、HTTP/2、Headers),有效规避反爬机制
  • 并行架构:7引擎并发请求,默认10秒超时,显著提升响应速度
  • 结构化输出:返回 SearXNG 兼容的JSON格式,包含标题、URL、内容摘要及来源引擎
  • 智能去重:按URL自动去重,避免同一结果重复出现

典型场景:

  • 获取训练数据截止日期后的最新信息
  • 验证事实、查找技术文档或代码仓库
  • 追踪近期事件、产品发布或新闻动态

常用参数组合:

webserp "query" --engines google,brave --max-results 5 --verbose

显著优点

1. 零门槛使用:无API密钥、无注册流程、无配置成本
2. 反爬能力强:curl_cffi的浏览器指纹模拟在同类工具中属于第一梯队

3. 结果可靠性:多引擎交叉验证,降低单一引擎偏见或故障影响

4. 输出可控--max-results 和引擎筛选功能便于精准获取所需信息

潜在局限与风险

稳定性依赖:搜索引擎前端页面结构变更可能导致解析失败,需持续维护
速率限制:虽模拟浏览器,但高频请求仍可能触发IP封禁(建议配合--proxy使用)

法律合规:部分引擎服务条款可能限制自动化抓取,需自行评估合规性

内容质量:返回结果为原始搜索摘要,未经过事实核查,需人工甄别

适合人群

  • 需要实时信息补充的AI Agent/自动化工作流
  • 不愿配置API密钥的个人开发者或研究者
  • 需要快速验证技术方案的技术人员
  • 对隐私敏感、偏好聚合搜索而非单一平台的用户

常规风险提醒

  • IP暴露:直接请求会暴露源IP,生产环境建议配置代理
  • 结果一致性:不同引擎返回结果差异较大,关键决策需人工复核
  • 长期维护:依赖第三方前端页面,存在因目标站点改版而失效的风险
  • 无服务承诺:开源工具无SLA保障,不宜用于关键业务路径的强依赖

webserp 内容

手动下载zip · 2.7 kB
skill-card.mdtext/markdown
请选择文件