Crawl From X

🐦 X 帖子自动归档与资讯监控

自动化抓取 X/Twitter 用户最新帖子,管理关注列表并导出 Markdown 格式,支持媒体下载,适合内容归档与资讯监控

收藏
5.1k
安装
1.2k
版本
2.7.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Crawl From X 是一个面向 X (原 Twitter) 的数据抓取工具,通过 OpenClaw Browser Relay 实现浏览器自动化操作。用户需先安装 OpenClaw 及其浏览器扩展并登录 X 账号,然后通过命令行管理关注用户列表(add/list/remove),执行抓取任务后输出 Markdown 格式的帖子内容,同时自动下载图片、视频等媒体文件到本地。

显著优点

1. 结构化输出:自动生成带时间戳的 Markdown 文件,媒体 URL 智能替换为本地路径,便于离线阅读与长期存档
2. 批量管理:支持多用户列表维护,可批量或单用户抓取,适合资讯聚合场景

3. 媒体完整性:自动下载图片、动图、视频,避免链接失效导致内容丢失

4. 延迟防护:内置随机延迟机制,降低被平台检测的风险

潜在缺点与局限性

1. 依赖链复杂:必须同时安装 OpenClaw 核心、浏览器扩展、保持登录状态,任一环节故障都会导致工具失效
2. 无官方 API:基于浏览器自动化实现,属于非官方方案,存在合规与稳定性风险

3. 私密内容限制:无法抓取私密账号,且公开账号也可能因反爬机制偶尔失败

4. 单平台锁定:仅支持 X/Twitter,不具备跨平台扩展性

适合人群

  • 研究人员:需要长期归档特定账号的推文内容
  • 内容创作者:监控行业 KOL 动态进行素材收集
  • 数据分析师:获取原始文本数据进行舆情分析(需配合后续处理)

常规风险

| 风险类型 | 说明 |
|---------|------|
| 账号安全 | 非官方抓取可能触发平台风控,导致账号受限或封禁 |
| 数据隐私 | 抓取内容需遵守平台 Terms of Service 及版权规范 |
| 技术债务 | OpenClaw 生态尚不成熟,未来维护存在不确定性 |
| 法律合规 | 部分司法管辖区对自动化数据抓取有严格限制,商用需谨慎 |

Crawl From X 内容

results文件夹
scripts文件夹
手动下载zip · 238.9 kB
posts_20260301_164616.mdtext/markdown
请选择文件