核心用法
Distil 是一个专为 LLM 设计的网页内容代理服务，提供统一的 HTTP 接口将任意网页转换为结构化 Markdown。核心功能包括：
- 网页转 Markdown：通过
/{url}端点抓取并清洗网页，输出纯净 Markdown，官方宣称可节省 60-80% Token - 网络搜索：
/search?q=...端点支持带Accept: text/markdown的搜索请求 - 截图功能：
/screenshot/{url}生成网页 PNG 截图 - JS 渲染：
/render/{url}先执行 JavaScript 再提取内容，适用于 SPA 单页应用 - 原始内容/raw 模式：绕过 Markdown 转换直接返回原始响应
- 无缓存模式：
/nocache/{url}强制刷新获取最新内容
所有请求通过 X-Distil-Key Header 认证，支持通过 DISTIL_PROXY_URL 环境变量指向自建实例。
显著优点
1. Token 效率：HTML 到 Markdown 的转换显著降低 LLM 上下文长度，成本效益明显
2. 多模态输出：同一服务同时支持文本（Markdown）、图片（截图）和原始数据
3. SPA 支持：/render 端点解决现代 JavaScript 密集型网站的爬取难题
4. 架构灵活：支持官方 SaaS 或自建代理实例，企业可私有化部署
5. 无依赖设计：纯 HTTP/curl 交互，无需专用 SDK，跨语言通用
潜在缺点与局限性
- 商业服务依赖：核心功能依赖 distil.net 付费 API，存在供应商锁定风险
- 认证单一：仅支持单一 API Key 认证，缺乏 OAuth 或细粒度权限控制
- 速率限制未知：文档未披露 QPS 或并发限制，生产环境需自行测试
- 缓存策略不透明：
nocache模式存在但常规缓存 TTL 未说明 - 搜索黑箱：未说明搜索引擎来源（自建索引/ Bing/ Google）及结果排序逻辑
- 截图成本：PNG 输出虽方便但 Token 消耗优势丧失，需权衡使用
适合人群
- AI Agent 开发者：需要为 LLM 提供结构化 Web 输入的自动化工作流
- RAG 系统构建者：将实时网页内容注入向量数据库或知识库
- 研究自动化场景：批量抓取文档、论文、技术规格进行摘要分析
- 监控与情报收集：配合
nocache模式跟踪网页内容变更 - 无头浏览器替代方案：相比 Puppeteer/Playwright，部署复杂度大幅降低
常规风险
| 风险类别 | 说明 |
|---------|------|
| **API Key 泄露** | Key 以 Header 明文传输，日志/历史记录中可能残留，需严格保管环境变量 |
| **数据隐私** | 抓取内容流经第三方代理，敏感信息存在泄露可能 |
| **服务可用性** | 单点依赖 distil.net，建议生产环境配置降级策略（如直连 curl fallback） |
| **内容准确性** | Markdown 转换可能丢失表格结构、代码块格式或复杂排版信息 |
| **法律合规** | 自动化抓取需遵守目标网站的 robots.txt 及服务条款，规避 CFAA 等法律风险 |
| **计费失控** | 未提及用量监控或预算告警机制，大额抓取任务需自行封装限流 |
使用建议
建议将 Distil 作为网页内容预处理层集成到 Agent 工具链中，配合本地缓存和降级策略，避免过度依赖单一商业服务。对于高敏感度数据，优先考虑自建实例或本地 HTML-to-Markdown 方案。