核心用法
Distil 是一个网页代理服务，为 AI Agent 提供标准化的网页访问能力。核心功能包括：
1. 网页转 Markdown：将任意 URL 转换为干净、结构化的 Markdown，去除冗余 HTML 和样式代码
2. 网页搜索：通过 /search 端点执行网络搜索，返回 Markdown 格式结果
3. 截图功能：对网页进行可视化截图
4. JS 渲染支持：针对单页应用（SPA）提供预渲染能力
5. 原始内容获取：绕过转换直接获取原始 HTML
6. 缓存控制：支持强制刷新绕过缓存
技术实现
基于 curl 命令行工具，通过 HTTP Header 传递 X-Distil-Key 认证。环境变量 DISTIL_API_KEY 为必需配置，DISTIL_PROXY_URL 可选用于自建代理。
显著优点
- Token 效率：官方宣称可节省 60-80% Token，对 LLM 上下文窗口极其友好
- 多模式输出：支持 Markdown、原始 HTML、截图等多种格式
- SPA 兼容：
/render端点解决 JavaScript 动态渲染内容的抓取难题 - 优雅降级：Token 耗尽时自动回退到原始 HTML，不中断服务
- 透明计费：每次响应显示节省的 Token 数量
潜在局限
- 外部依赖：完全依赖 distil.net 服务可用性，存在单点故障风险
- 认证限制：免费版需邮箱验证，可能存在用量限制
- 隐私考量：所有网页请求经第三方代理，敏感内容存在泄露风险
- 延迟问题：代理层增加网络延迟，实时性场景受限
适合人群
- 需要频繁抓取网页内容的 AI Agent 开发者
- 受限于 LLM 上下文长度的应用场景
- 处理技术文档、新闻聚合等结构化文本提取任务
常规风险
- API 密钥泄露：
X-Distil-Key需妥善保管，避免硬编码 - 数据主权：网页内容经美国服务器（distil.net）中转
- 内容合规：抓取结果可能受原网站版权/TOS 约束
- 服务连续性：免费服务可能调整政策或限制速率