Url Reader

🔗 一键抓取任意网页,自动归档知识库

智能读取任意URL内容,支持微信、小红书、抖音等主流平台,三层降级策略确保高成功率,自动保存为Markdown格式

收藏
6.8k
安装
2.2k
版本
0.1.1
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能与用法

URL Reader 是一款专为中文互联网生态设计的智能内容抓取工具,采用三层自动降级架构确保高可用性:

1. 首选策略 Firecrawl:AI 驱动抓取,支持 96% 网站,自动处理 JS 渲染和反爬机制
2. 备选策略 Jina Reader:完全免费,无需 API Key,直接拼接 URL 即可使用

3. 兜底策略 Playwright:浏览器自动化,支持登录态保持,应对微信公众号等强反爬平台

使用极其简单——直接粘贴 URL 或执行 /url-reader {链接} 命令即可。工具会自动识别平台类型(微信/小红书/抖音/淘宝等),智能选择最佳策略,并将内容整理为结构化 Markdown,同时自动下载图片到本地目录。

显著优点

  • 高成功率:三层策略自动降级,覆盖绝大多数网站场景
  • 平台适配:针对微信、小红书、抖音等中国主流平台做了专门优化
  • 零配置友好:Jina 策略完全免费免登录,开箱即用
  • 内容结构化:自动提取标题、作者、时间、互动数据等元信息
  • 本地化保存:自动归档为 Markdown + 图片的本地知识库格式

局限性与风险

  • 登录依赖:微信公众号、微博等部分平台需配置 Playwright 登录态
  • 额度限制:Firecrawl 免费版仅 500 页/月,重度用户需付费
  • 反爬对抗:部分网站持续升级反爬机制,可能存在暂时失效
  • 版权合规:自动抓取需遵守目标网站的 robots.txt 和使用条款

适合人群

  • 知识管理重度用户:构建个人/团队知识库
  • 内容创作者:素材收集与竞品分析
  • 研究人员:信息聚合与文献归档
  • 运营人员:多平台内容监控与备份

安全评估

  • 代码层面:依赖外部 API(Firecrawl/Jina),需关注 API Key 泄露风险
  • 数据合规:抓取内容需遵守版权法规,禁止商业滥用
  • 隐私风险:Playwright 登录态需妥善保管,避免账号信息泄露
  • 供应链风险:Firecrawl 为第三方服务,存在服务中断可能性

Url Reader 内容

scripts文件夹
手动下载zip · 22.9 kB
save_content.pytext/plain
请选择文件