核心功能
clean-web-fetch 是一款基于 Scrapling 的网页内容提取技能，专注于从现代网页中抓取干净、可读的 Markdown 格式正文。其核心优势在于对微信公众号文章的深度优化——自动识别并清洗尾部推荐、广告等噪音内容，同时支持多种正文选择器智能回退机制（article → main → .post-content → [class*="body"] → body）。
显著优点
1. 稳定性强：相比常规 HTTP fetch，能更好应对反爬机制与动态渲染干扰
2. Token 优化：精准提取正文，过滤导航、侧边栏、页脚等冗余信息，大幅降低后续处理成本
3. 格式友好：原生输出 Markdown，便于 LLM 直接处理与总结
4. 灵活配置：支持自定义选择器覆盖、JSON 结构化输出、调试日志等进阶功能
5. 批量能力：内置批量抓取支持，适合内容聚合场景
潜在局限
- 无法处理需完整浏览器交互的页面（登录态、点击翻页、JS 依赖严重的 SPA）
- 极端复杂的反爬场景（如企业级 Bot 检测）可能需要额外代理或浏览器自动化
- 选择器策略基于常见 CMS 模式，小众建站系统可能需手动调优
适合人群
- 需要快速抓取新闻、博客、公告正文的分析师与开发者
- 构建知识库、RAG 系统的用户，追求高信噪比内容
- 处理微信公众号文章自动化采集的研究者
- 对 Token 成本敏感的大模型应用场景
常规风险
- 需遵守目标网站的 robots.txt 与服务条款
- 高频抓取可能触发 IP 限流
- 依赖外部库（scrapling、html2text）需保持更新以兼容新站点结构