Firecrawl

核心用法

Firecrawl 技能通过 Maton 平台提供对 Firecrawl API 的完整访问能力，支持六大核心操作模式：

1. 单页提取（Scrape） — 提取单个网页内容，支持 markdown、HTML、JSON、截图、链接等多种输出格式，可选主内容提取、广告屏蔽、移动端模拟等
2. 全站爬取（Crawl） — 深度爬取网站，支持深度限制、路径过滤、子域名控制，返回异步作业 ID 供轮询状态
3. 站点地图（Map） — 快速获取网站全部 URL 结构而不抓取内容，支持语义搜索排序
4. 网页搜索（Search） — 集成搜索引擎，返回结果附带完整页面内容提取
5. 批量处理（Batch） — 并行处理多个 URL 的高效批量抓取
6. AI 提取（Extract/Agent） — 基于自然语言指令或 JSON Schema 的智能结构化数据提取，支持自主导航的 AI Agent

所有请求通过 https://api.maton.ai/firecrawl/{path} 代理转发，自动注入 API 密钥，统一使用 Authorization: Bearer $MATON_API_KEY 认证。

显著优点

• 统一认证管理：Maton 平台集中处理 Firecrawl API 密钥，无需直接暴露第三方凭证
• 多格式输出：原生支持 markdown 等 LLM 友好格式，大幅降低内容处理成本
• 浏览器自动化：支持点击、输入、滚动、执行 JavaScript 等预操作，可处理动态渲染页面
• 智能提取能力：AI Extract 和 Agent 功能支持零代码模式下的复杂数据提取
• 实时浏览器会话：CDP 协议支持实时交互式浏览器控制
• 连接管理：支持多 Firecrawl 账户切换，通过 Maton-Connection 头指定

潜在缺点与局限性

• 信用消耗敏感：所有操作均消耗 Firecrawl 信用额度，大规模爬取成本较高（增强代理最高 5 信用/页）
• 结果有效期短：爬取结果 24 小时后过期，需及时消费
• 异步操作复杂度：Crawl、Batch、Extract、Agent 等均为异步作业，需轮询状态或配置 webhook
• 网络依赖严格：必须可访问 Maton 和 Firecrawl 服务，代理环境可能受限
• 浏览器动作风险：自定义 headers 和 actions 参数可能触发网站反爬机制或产生非预期交互
• 超时限制：最大 5 分钟，超大页面或复杂 JS 场景可能失败

适合人群

• 数据工程师/分析师：需要结构化提取竞品信息、文档站点内容的场景
• AI 应用开发者：为 RAG 系统、知识库构建提供高质量网页内容源
• 研究人员：需要批量采集学术资源、政策文件的学术工作者
• 市场情报团队：监控竞品动态、价格信息的商业分析场景
• 自动化工作流构建者：结合 n8n、Make 等工具搭建无代码数据管道

常规风险

| 风险类型 | 说明 |

|---------|------|

| 成本控制风险 | 未设置 `limit` 的大规模爬取可能导致信用额度快速耗尽（402 错误） |

| 合规风险 | 抓取受保护内容可能违反目标网站 ToS 或 robots.txt |

| 数据残留风险 | 爬取结果存储于 Firecrawl 云端 24 小时，含敏感信息的任务需注意 |

| 操作误用风险 | `actions` 中的点击、JS 执行可能触发订单提交、表单发送等不可逆操作 |

| 账户安全风险 | `MATON_API_KEY` 泄露可能导致 Firecrawl 信用被盗用 |

核心用法

Firecrawl 是一项面向开发者的专业网页数据抓取服务，通过 Maton 平台提供托管式 API 访问。核心功能包括四大模块：

1. 单页抓取 (Scrape)：提取单个网页内容，支持 Markdown、HTML、JSON、截图等多种输出格式，可配置内容过滤、广告拦截、移动设备模拟等选项。

2. 整站爬取 (Crawl)：从指定 URL 开始递归爬取整个网站，支持深度限制、路径过滤、子域名控制，返回结构化数据集。

3. URL 映射 (Map)：快速获取网站所有可访问 URL，无需下载完整内容，适用于站点结构分析。

4. 智能提取 (Extract)：基于 AI 的自然语言指令提取结构化数据，支持自定义 JSON Schema 定义输出格式。

此外还提供网页搜索 (Search)、批量抓取 (Batch)、交互式浏览器会话 (Browser)、AI 代理 (Agent) 等高级功能。

显著优点

• 格式灵活：原生支持 Markdown 输出，便于直接用于 RAG、知识库构建等 AI 应用场景
• 智能渲染：内置浏览器引擎，可处理 JavaScript 动态内容，支持交互操作（点击、滚动、填写表单）
• 成本控制：提供信用额度机制，基础抓取 1 信用/页，反爬增强模式最高 5 信用/页
• 并发友好：支持批量任务和异步轮询，适合大规模数据采集需求
• 托管便利：通过 Maton 统一管理认证，无需直接与 Firecrawl 对接

潜在局限

• 外部依赖：完全依赖 Maton/Firecrawl 服务可用性，无法私有化部署
• 信用消耗：大规模爬取（如万级页面）可能产生显著费用，需预先规划预算
• 速率限制：API 存在频率限制，超量会触发 429 错误
• 数据时效：爬取结果 24 小时后自动过期，需及时导出
• 反爬对抗：部分强防护网站可能抓取失败或需要更高成本模式

适合人群

• 构建 AI 知识库的开发者（RAG 场景）
• 需要竞品监控、价格追踪的市场分析团队
• 进行学术研究或舆情监测的数据分析师
• 开发自动化内容聚合工具的工程师

常规风险

1. 凭证安全：MATON_API_KEY 需妥善保管，避免泄露至代码仓库或日志
2. 合规风险：抓取前需确认目标网站的 robots.txt 和服务条款，遵守数据保护法规
3. 操作误伤：actions 参数中的 JavaScript 执行和页面交互可能影响目标网站状态
4. Webhook 泄露：配置回调 URL 时需确保端点安全，防止任务信息外泄
5. 预算失控：未设置 limit 的大规模爬取可能快速消耗信用额度