核心用法
Firecrawl skill 提供通过 Maton 平台代理访问 Firecrawl 网页数据采集服务的完整能力。用户需先在 maton.ai 注册并获取 MATON_API_KEY，所有请求通过 https://api.maton.ai/firecrawl/ 代理转发至 Firecrawl 原生 API，Maton 自动注入认证密钥。
主要功能模块
| 功能 | 端点 | 用途 |
|------|------|------|
| **单页抓取** | `POST /v2/scrape` | 提取单网页内容，支持 Markdown/HTML/JSON/截图/链接等多种格式 |
| **整站爬取** | `POST /v2/crawl` + `GET /v2/crawl/{id}` | 递归爬取网站，返回异步任务 ID 供轮询状态 || **URL 映射** | `POST /v2/map` | 快速获取网站全部 URL 列表，不抓取内容 |
| **网页搜索** | `POST /v2/search` | 执行网络搜索并抓取结果页面的完整内容 |
| **批量抓取** | `POST /v2/batch/scrape` | 并行抓取多个指定 URL |
| **智能提取** | `POST /v2/extract` | 基于 AI 从网页提取结构化数据，支持自然语言 prompt 和 JSON schema |
| **AI 代理** | `POST /v2/agent` | 自主导航网页并提取指定数据的 AI agent |
| **浏览器会话** | `POST /v2/browser` | 创建交互式浏览器会话（CDP/WebSocket），支持实时控制 |
典型工作流
# 1. 单页快速抓取
POST /firecrawl/v2/scrape {"url": "https://example.com", "formats": ["markdown"]}
# 2. 启动整站爬取（返回任务 ID）
POST /firecrawl/v2/crawl {"url": "https://example.com", "limit": 100}
→ {"id": "019cdc53-...", "url": "..."}
# 3. 轮询获取结果
GET /firecrawl/v2/crawl/{id}
→ {"status": "completed", "data": [...]}高级特性
- 浏览器动作：支持点击、滚动、等待、输入、截图等交互操作
- 反爬配置：
blockAds自动屏蔽广告，mobile模拟移动设备 - 连接管理：支持多 Firecrawl 账户，通过
Maton-Connection头部指定
显著优点
1. 托管认证简化集成：Maton 统一代理层处理 Firecrawl API 密钥，用户仅需管理单一 MATON_API_KEY
2. 功能全面：覆盖从单页到整站、从静态抓取到 AI 代理的完整数据采集链路
3. 输出格式灵活：原生支持 Markdown（便于 LLM 处理）、HTML、结构化 JSON、截图等
4. 异步架构：爬取/批量任务采用异步 ID + 轮询模式，适合大规模数据采集
5. AI 原生设计：extract 和 agent 端点直接支持自然语言指令和 schema 约束，降低数据清洗成本
潜在缺点与局限性
1. 成本不透明：按信用点计费（1 信用/页基础代理，反爬场景可达 5 信用/页），实际费用随目标网站反爬强度波动
2. 结果时效性：爬取结果仅保留 24 小时，需及时导出
3. 超时限制：最大请求超时 5 分钟，复杂动态页面可能截断
4. 代理依赖风险：Maton 代理层成为单点，若服务故障则完全不可用；同时增加请求延迟
5. 写操作需确认：文档声明所有创建/更新/删除操作需用户显式批准，可能中断自动化流程
适合人群
- AI 应用开发者：需将网页内容转换为 Markdown 供 RAG/微调使用
- 数据分析师：需要结构化提取竞品价格、文档内容等
- 自动化工程师：构建网站监控、内容同步、SEO 审计等流水线
- 无前端采集经验者：通过托管代理和 AI 提取功能，无需处理反爬、验证码等底层问题
常规风险
| 风险类别 | 说明 |
|----------|------|
| **合规风险** | 大规模爬取可能违反目标网站 robots.txt 或服务条款，Firecrawl 提供 `robotsBlocked` 错误提示但不做强制拦截 |
| **数据隐私** | 抓取内容流经 Maton 代理服务器，敏感数据存在第三方托管风险 |
| **成本失控** | 未设置 `maxCredits` 的 agent 任务或深层爬取可能产生意外高额账单 |
| **API 密钥泄露** | `MATON_API_KEY` 需妥善保管，泄露可导致账户被盗用 |
| **供应商锁定** | 深度依赖 Maton 代理路径，迁移至原生 Firecrawl API 需修改端点 URL 和认证逻辑 |
建议生产环境启用请求日志监控、设置合理爬取速率限制，并对敏感数据抓取评估合规性。