skills/jllyzzd/Clean Content Fetch

Clean Content Fetch

🧹 智能提取网页正文，一键转Markdown

智能网页正文提取工具，自动去噪转Markdown，支持现代网页、博客、新闻及小红书抓取，优于常规fetch

收藏
4.2k
安装
1.3k
版本
1.0.5
CLS 安全性认证2026-07-13
点击查看完整报告 >

使用说明

核心用法

clean-content-fetch 是一款专注于网页正文提取与内容清洗的专用技能。其核心工作流为：通过 scrapling 库解析目标网页，按优先级命中 article/main/.post-content/[class*="body"] 等语义化选择器，使用 html2text 将 HTML 转为干净 Markdown，最终按指定字符数截断输出。支持 --json 结构化输出与 stderr 调试信息，便于集成与排障。

显著优点

1. 智能去噪：针对现代网页设计，优先识别语义化标签，有效过滤导航栏、广告、侧边栏等噪音
2. 多场景覆盖：原生支持博客、新闻、公告、微信公众号及小红书笔记页（含短链解析）
3. 现代网页适配：基于 scrapling+curl_cffi+playwright 技术栈，对动态渲染页面有更好兼容性
4. 输出友好：标准 Markdown 格式，便于后续 AI 总结、知识库入库或文档归档
5. 轻量化回退：语义选择器未命中时自动回退到 body，保证基础可用性

潜在缺点与局限性

  • 复杂交互盲区：无法处理需登录、点击授权、滚动加载或会话状态维持的页面
  • 反爬对抗有限：虽支持 browserforge 指纹伪装，但非专业反爬方案，高防护站点可能触发限制
  • 依赖环境较重：需 Python 虚拟环境 + Chromium 浏览器内核，首次部署成本高于纯 HTTP 请求
  • 选择器策略固化：内置优先级列表虽覆盖常见场景，但特殊架构站点可能需手动调整

适合人群

  • 需要批量抓取公开文章、博客、新闻正文的开发者与内容运营
  • 希望将网页快速转为 Markdown 供 AI 处理的知识管理用户
  • 小红书内容研究者（笔记文案提取）
  • 对常规 fetch 效果不满、追求更高提取质量的场景

常规风险

  • 合规边界：仅限公开可访问内容，严禁用于登录后数据、私有资源或绕过权限控制
  • 频率控制：批量抓取时需自行实现限速与重试，避免对目标站点造成压力
  • 内容版权：提取内容的使用需遵守原站点的版权声明与 robots.txt 约定
  • 依赖安全：playwright 与 browserforge 涉及浏览器自动化，建议在隔离环境中运行，避免与敏感系统混用

安全解读

核心用法

clean-content-fetch 是一款专注于网页正文提取的技能，通过调用外部 Python 工具链（scrapling + playwright + html2text）实现高质量的网页内容清洗与转换。使用时只需执行 python3 scripts/scrapling_fetch.py <url> <max_chars>，脚本会按优先级（article → main → .post-content → [class*="body"] → body）智能定位正文区域，并输出为 Markdown 格式。支持 --json 结构化输出和 stderr 调试信息。

显著优点

1. 精准去噪：针对现代网页架构优化选择器策略，有效过滤导航栏、广告、侧边栏等噪音
2. 动态渲染支持：底层依赖 playwright，可处理 JavaScript 动态加载内容，优于常规 HTTP fetch
3. 多场景覆盖：特别适配微信公众号、小红书（xhslink 短链）、博客、新闻站点等中文内容生态
4. 输出友好：原生 Markdown 输出，便于后续 AI 总结、知识库归档等流程
5. 安全边界清晰：明确限定仅用于公开网页，不触及登录态、私有数据等敏感场景

潜在缺点与局限性

  • 外部依赖重：需自行安装 scrapling、playwright、browserforge 等多个 Python 包，环境配置门槛较高
  • 无内置执行代码：skill 本身为纯文档（T-MD 类型），实际功能依赖用户本地环境，跨平台兼容性取决于外部工具
  • T3 来源风险：作者为个人开发者 jllyzzd，无顶级开源基金会背书，长期维护稳定性存疑
  • 复杂交互受限：明确不支持需要登录、点击、翻页等浏览器自动化场景的完整工作流

适合人群

  • 内容研究者、知识管理用户：快速将网络文章转为干净 Markdown 存档
  • AI 应用开发者：为 RAG/LLM 工作流提供结构化的网页正文输入
  • 轻量级爬虫需求者：无需编写复杂代码即可提取微信公众号、小红书笔记正文

常规风险

  • 依赖安全风险：playwright、scrapling 等外部包需持续关注 CVE 公告
  • 合规风险：网页抓取需遵守目标站 robots.txt 及服务条款，避免高频请求
  • 隐私边界：虽声明仅用于公开内容，但使用者需自律不越界抓取敏感数据
web-scrapingcontent-extractionmarkdown-conversionarticle-parserwechat-articlexiaohongshuscraplinghtml2textdata-cleaning

Clean Content Fetch 内容

references文件夹
手动下载zip · 5.9 kB
release-1.0.1.mdtext/markdown
请选择文件