Zoomin Docs Portal Scraper Tool

核心功能

Zoomin Scraper Skill 是一款专门用于抓取 Zoomin Software 技术文档门户的自动化工具。它采用 Playwright 驱动的 headless Chromium 浏览器引擎，能够执行完整的 JavaScript 渲染流程，并智能等待动态内容加载完成后才进行提取。

显著优点

• 动态内容支持：突破静态爬取限制，完美处理 AJAX 加载的现代文档站点
• 精准定位：通过 CSS 选择器 #zDocsContent 精确提取主文档正文，过滤导航、广告等干扰元素
• 工程化设计：提供 shell 包装脚本 run_scraper.sh，自动管理虚拟环境激活
• 反爬友好：内置浏览器 User-Agent 模拟与请求延迟机制，降低被封禁风险
• 批处理能力：支持 URL 列表批量处理，输出结构化目录

潜在局限

• 依赖重量：需完整安装 Playwright 及 Chromium 二进制（约 100MB+），环境准备成本较高
• 执行开销：相比 HTTP 请求方案，浏览器启动与渲染带来显著时间与资源消耗
• 单点故障：若 Zoomin 门户 DOM 结构变更（如 #zDocsContent ID 变化），需手动维护选择器
• 无增量机制：目前未实现智能去重或断点续传，大规模任务需自行管理状态

适用人群

• 技术文档工程师需批量归档 Zoomin 托管的产品文档
• 数据团队需获取竞争对手或行业标准的结构化技术内容
• 自动化流程构建者，常规爬取工具失效时的备选方案

常规风险

| 风险类型 | 说明 |

|---------|------|

| 合规风险 | 需确认目标站点的 robots.txt 及服务条款允许爬取 |

| 性能风险 | 高并发或高频请求可能导致 IP 临时封禁 |

| 稳定性风险 | 动态站点结构变更可能导致选择器失效 |

| 资源风险 | 长时间运行需监控内存（Chromium 进程泄漏可能） |

技术规格

| 项目 | 详情 |

|-----|------|

| 引擎 | Playwright + Chromium |

| 内容定位 | `#zDocsContent` article 元素 |

| 输出格式 | 纯文本文件（默认目录） |

| 依赖管理 | 外部虚拟环境（venv） |