核心用法
Web Content Fetcher 是一款专为内容提取设计的自动化技能，可将任意网页 URL 转换为结构清晰的 Markdown 格式。其核心采用双引擎架构：主引擎为 Scrapling 脚本（支持 HTTP 快速抓取与无头浏览器隐身模式自动切换），备选引擎为 Jina Reader API。用户仅需提供目标 URL，系统即可自动识别站点特征，选择最优提取策略。
典型调用场景：
- 阅读微信公众号文章（mp.weixin.qq.com）
- 提取知乎专栏、掘金等技术社区内容
- 抓取 CSDN、少数派等静态博客文章
- 快速获取任意文档页面的正文内容
显著优点
1. 智能路由决策：内置域名路由表自动匹配提取模式，针对微信公众号、知乎、掘金等 JS 渲染站点强制启用隐身模式，静态站点则使用快速 HTTP 抓取，兼顾效率与成功率。
2. 自动降级机制：Scrapling 脚本内置内容质量检测，快速模式若返回内容过少则自动切换至隐身模式，无需用户手动干预。
3. 格式完整性保障：完整保留标题层级、超链接、图片、列表及代码块，WeChat _lazy-load 图片自动还原真实 URL。
4. 多输出选项：支持字符长度限制（默认 30000）、JSON 元数据输出等灵活配置。
潜在缺点与局限性
- Jina Reader 限制：免费额度 200 次/日，且对微信公众号等平台返回 403 错误，无法作为通用 fallback
- 依赖管理：首次使用需手动安装 scrapling + html2text，系统级 Python 环境可能需额外参数
- 失败即终止策略：同一 URL 失败一次后不再重试，对临时性网络波动敏感
- 图片本地化缺失：默认仅提取远程 URL，若需离线副本需额外开发后处理步骤
适合人群
- 研究人员与知识工作者：需要批量归档网络文章、构建个人知识库
- 开发者与技术写作者：快速提取技术文档、教程用于引用或改写
- 内容运营人员：监控竞品公众号、专栏更新，实现自动化内容采集
常规风险
- 合规风险：抓取行为需遵守目标站点 robots.txt 及版权声明，微信公众号等内容受平台保护
- 反爬对抗：部分站点可能更新反爬策略，导致路由表失效需人工维护
- 内容完整性：极端复杂的单页应用（SPA）或高度自定义渲染逻辑可能超出自动检测能力
- 隐私泄露：提取的页面可能包含用户个性化内容（如登录后的推荐信息），需注意脱敏处理