核心用法
Firehose API 是一套实时网页监控系统，用户创建「taps」（数据流端点）并配置 Lucene 查询规则，系统将全球爬取到的网页与规则匹配，通过 Server-Sent Events (SSE) 实时推送结果。
关键操作流程：
1. 获取管理密钥（fhm_ 前缀）创建 tap，获得 tap token（fh_ 前缀）
2. 使用 tap token 创建规则（Lucene 查询），可指定关键词、域名、发布时间窗口、页面分类等筛选条件
3. 连接 /v1/stream 端点建立 SSE 长连接，实时接收匹配结果
查询能力： 支持 added（新增内容）、removed（删除内容）、url、domain、publish_time、dr（Ahrefs 域名评分 0-100）等字段，运算符包括 AND/OR/NOT、精确短语 "..."、通配符 */? 及正则 /.../，并内置 recent:24h 等时间过滤器。
推送格式： SSE 事件类型包括 connected、update（匹配结果，含 URL、标题、发布时间、diff 片段、分类标签等）、error、end。
显著优点
- 实时性强：SSE 流式推送，延迟低，适合需要秒级响应的场景
- 查询灵活：Lucene 语法成熟，支持复杂布尔逻辑、正则、范围查询
- 结构化数据：返回包含 diff 片段、页面分类、语言、域名评分等丰富元数据
- 独立产品形态：与 URL Watch（固定 URL 变更监控）分离，覆盖两种典型监控需求
- API 设计清晰：管理密钥与 tap token 权限分离，端点职责明确
潜在缺点与局限性
- 学习成本：需掌握 Lucene 查询语法，对非技术用户不够友好
- 费用敏感：按匹配次数计费，规则过于宽泛可能导致成本失控
- 覆盖盲区：仅监控 Firehose 爬虫已抓取的页面，非全网实时
- 连接管理：SSE 长连接需自行处理断线重连、事件续传，增加客户端复杂度
- 速率限制：规则管理 60 次/分钟、流连接 30 次/分钟，高频场景需规划连接池
适合人群
- 舆情监测团队：追踪品牌提及、竞品动态、行业热点
- SEO/内容运营：监控特定域名、关键词的内容更新
- 金融/投研机构：实时跟踪公告、新闻、监管动态
- 开发者/数据工程师：构建实时数据管道，对接下游分析系统
常规风险
- 凭证泄露：tap token 可直接访问数据流，需妥善保管；管理密钥泄露可导致 tap 被恶意删除
- 计费失控：过于宽松的规则（如
*通配）可能产生大量匹配，消耗预付额度 - 数据合规：爬取内容可能涉及版权、隐私或地域法规限制，需确认使用场景合法性
- 服务依赖：SSE 连接稳定性受网络影响，关键业务需设计降级方案（如 URL Watch 兜底）