Read, Search & Extract Web Pages by Dokobot

🌐 真实浏览器驱动的智能网页抓取

基于真实Chrome浏览器的网页内容提取工具,支持SPA、动态渲染页面和多平台内容抓取,提供本地免费与云端API两种模式。

收藏
5.1k
安装
1.5k
版本
2.1.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Dokobot 是一款通过真实 Chrome 浏览器会话读取和提取网页内容的工具,与无头爬虫不同,它利用实际浏览器实现完整的 JavaScript 渲染,因此能够处理单页应用(SPA)、动态站点和复杂 Web 应用。

主要功能

网页读取(read):核心命令,支持提取完全渲染后的页面内容。关键参数包括:

  • --local:本地模式,免费无限使用,无需服务器
  • --screens N:设置滚动采集屏幕数量(默认1屏)
  • --format chunks:返回带坐标信息的结构化分段数据
  • --reuse-tab:复用已有标签页
  • --session-id:实现会话连续性,支持分页长内容

网络搜索(search):执行实时网络搜索并返回结构化结果,包含标题、链接、摘要及可能的直接答案。

设备管理(dokos):列出已连接的浏览器实例,支持多设备选择。

显著优点

1. 真实浏览器渲染:突破无头工具的限制,完美处理 React/Vue/Angular 等 SPA 框架、懒加载内容和用户登录态页面
2. 双模式灵活切换:本地模式零成本、隐私优先;远程模式支持跨机器访问

3. 中文生态深度支持:专门优化微信公众号、微博、知乎、小红书、B站等国内平台

4. 结构化输出:可选 chunks 格式返回带边界坐标的精确分段,便于内容溯源

5. 并发能力:支持最多5个并行读取任务

潜在缺点与局限性

1. 环境依赖较重:必须安装 Chrome 浏览器、Dokobot 扩展及 Node.js CLI 工具,首次配置门槛较高
2. 本地模式限制:要求 Chrome 始终保持开启状态,且需在本地运行

3. 会话有效期:读取会话默认120秒超时,长内容需主动续期

4. 无自动化交互:仅支持读取,无法执行点击、表单提交等操作

5. 平台政策风险:部分网站(如 LinkedIn、Instagram)可能封禁或限制此类读取行为

适合人群

  • 需要抓取 JavaScript 渲染内容的开发者与数据分析师
  • 研究中文社交媒体内容的用户运营与市场人员
  • 需要绕过反爬虫机制进行合规内容提取的研究者
  • 重视数据隐私、不愿使用云端爬虫服务的个人用户

常规风险

| 风险类型 | 说明 |
|---------|------|
| 账号安全 | 读取需登录态的页面时,存在平台检测到异常访问的可能性 |
| 服务稳定性 | 远程模式依赖 Dokobot 云服务,存在 503/504 等服务端错误 |
| 内容合规 | 大规模抓取可能触发网站反爬机制或违反 robots.txt |
| 隐私泄露 | 虽然官方声明无数据收集,但远程模式仍需信任第三方基础设施 |

使用建议

优先使用 --local 模式处理敏感或高频任务;对长页面合理设置 --screens 和 --timeout;遵守目标网站的 ToS 和 robots.txt 规范;定期轮换会话 ID 避免过期中断。

Read, Search & Extract Web Pages by Dokobot 内容

手动下载zip · 3.6 kB
SKILL.mdtext/markdown
请选择文件