核心用法
clean-content-fetch 是一款专注于网页正文提取与内容清洗的专用工具，旨在解决普通 HTTP 请求抓取现代网页时常见的噪音多、动态渲染干扰、正文难以定位等问题。
工作流程：
1. 接收目标 URL 与最大字符限制参数
2. 按优先级尝试定位正文区域：article → main → .post-content → [class*="body"] → body
3. 使用 html2text 将提取的 HTML 转换为干净 Markdown
4. 支持 --json 输出结构化数据，stderr 输出调试信息
典型应用场景：
- 抓取博客、新闻、公告类文章正文
- 将网页内容转为 Markdown 供 AI 总结或存档
- 处理微信公众号、小红书（
xhslink.com短链及笔记页）等现代社交平台内容 - 常规
fetch效果差、页面结构复杂的场景
显著优点
- 智能选择器策略：内置多级回退机制，适配多种网页结构
- 现代网页友好：基于
scrapling等库，对动态渲染页面有较好支持 - 一键转 Markdown：无缝衔接后续文本处理、RAG 流程
- 平台特化支持：内置小红书短链解析能力
- 灵活输出：支持纯文本 Markdown 或结构化 JSON
潜在局限
- 非交互场景：无法处理需登录、点击、滚动、翻页的页面
- 依赖较重：需安装
scrapling、playwright、browserforge等多个依赖，首次部署成本较高 - 环境敏感：
playwright需要浏览器二进制文件，在受限环境（如无 GUI 容器）中配置复杂 - 选择器盲区：极少数非标准网页可能无法命中预设选择器
适合人群
- 需要批量抓取公开文章、博客、新闻正文的开发者
- 构建内容聚合、知识库、RAG 系统的工程师
- 处理微信公众号、小红书等中文社交媒体内容的研究者
常规风险
- 合规风险：仅限抓取公开可访问内容，禁止用于登录后页面、私有数据或绕过权限控制
- 性能风险：
playwright等依赖资源占用较高，高频调用需注意资源管理 - 稳定性风险：目标网站结构变更可能导致选择器失效
安全边界
开发者明确约束：本技能不用于登录后页面、受限资源或复杂会话状态场景，此类需求应改用浏览器自动化并在明确授权下执行。