核心用法
WebFetch MD 是一款基于 Node.js 的网页内容抓取工具，核心功能是将任意网页 HTML 转换为结构清晰的 Markdown 格式。该技能支持三种使用模式：作为 OpenClaw 工具通过 YAML 配置调用、直接命令行执行、以及作为 Node.js 模块集成到项目中。
使用时只需提供目标 URL，工具会自动完成：HTTP 请求获取页面 → HTML 解析提取正文 → 过滤导航/广告等噪音 → 图片标签转换为 Markdown 格式并修正相对路径 → 输出干净 Markdown。
显著优点
- 智能内容提取：基于 cheerio 解析 DOM，自动识别并过滤导航栏、广告、页脚等非核心内容，保留文章主体
- 图片完整性保障：将
<img>标签转换为标准Markdown 格式，自动补全相对路径为绝对 URL，确保图片可访问 - 多场景兼容：同时满足自动化工作流（OpenClaw）、脚本批量处理（CLI）、二次开发（模块）三类需求
- 依赖成熟稳定：基于 turndown（业界广泛使用的 HTML→Markdown 库）和 cheerio（类 jQuery 服务端实现），转换质量有保障
潜在缺点与局限性
- 动态内容限制：无法执行 JavaScript，对 SPA 单页应用、懒加载内容、无限滚动页面提取能力有限
- 反爬机制敏感：未内置请求头伪装、代理轮换、验证码处理等反爬策略，易被目标站点限制
- 提取策略固定：正文识别依赖预设 DOM 选择逻辑，对非常规页面结构（如论坛、PDF 在线预览）可能效果不佳
- 无缓存机制：重复抓取相同 URL 无本地缓存，增加网络开销与被封风险
适合人群
- 需要批量归档网页内容的开发者、研究者
- 构建知识库/文档系统的自动化工作流设计者
- 对特定网站进行内容监控的运维人员
常规风险
| 风险类型 | 说明 |
|---------|------|
| 法律合规 | 抓取需遵守目标网站的 robots.txt 及版权声明，禁止用于大规模商业爬取 |
| 网络安全 | 直接请求外部 URL 存在 SSRF 风险，建议配合 URL 白名单使用 |
| 隐私泄露 | 可能意外抓取含敏感信息的页面，输出内容需脱敏审查 |
| 服务稳定性 | 依赖外部网站可用性，目标站点变更结构会导致提取失效 |