media-crawler-local

🕷️ 本地部署·跨平台内容一键采集

本地部署的多平台内容爬取工具,支持B站/抖音/YouTube/知乎数据采集,无需MCP客户端配置,适合需要私有化数据抓取的开发者和研究者。

收藏
3.5k
安装
981
版本
1.0.4
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

media-crawler-local 是一款面向本地部署的跨平台内容爬取工具,通过独立的 HTTP 服务(默认端口39002)实现与 B站、抖音、YouTube、知乎等内容平台的数据交互。该工具采用"服务端-客户端"分离架构,用户需先在本地启动 Electron 应用作为服务后端,随后通过 Shell 命令、Node.js 脚本或直接 HTTP 请求完成内容采集。

工具提供两种调用模式:REST 端点适用于简单的单链接爬取,MCP 端点(JSON-RPC 2.0)支持复杂查询与工具调用。B站功能最为完善,涵盖视频爬取、关键词搜索、UP主视频列表、热门/每周必看、历史记录聚合等场景;其他平台(抖音、YouTube、知乎)目前仅支持单链接解析。

数据归档系统为每次爬取生成独立任务 ID,支持通过 list_archives 查询历史任务,通过 get_task_data 按需读取评论、弹幕、字幕、详情等多类型数据。

显著优点

1. 零 MCP 依赖:直接通过 HTTP 与本地服务通信,无需配置 Cursor/OpenClaw 等 MCP 客户端,降低使用门槛
2. 平台覆盖广:单一工具整合中文主流视频社区(B站、抖音)与全球平台(YouTube),以及知识社区(知乎)

3. B站深度集成:支持登录态采集(cookies 参数),可爬取个性化内容如历史记录、关注动态

4. 多环境兼容:提供 PowerShell(Windows)、curl(macOS/Linux)、Node.js、Bash 四套调用方案,适应不同技术背景用户

5. 结构化输出:数据以 JSON 格式持久化存储,便于后续清洗、分析或接入 AI 工作流

潜在缺点与局限性

1. 本地服务依赖:必须预先启动 Electron 应用,无云托管版本,不适合纯云端自动化场景
2. 平台能力不均:B站功能远多于其他平台,抖音/YouTube/知乎仅支持基础视频解析,无搜索、UP主列表等高级功能

3. 反爬风险:明确涉及 401/403/429 等限速/封禁处理,说明实际使用中存在账号/IP 受限风险

4. 技术门槛:URL 编码、JSON-RPC 构造、任务 ID 管理等操作对非开发者不够友好

5. 维护状态存疑:技能文档由系统自动生成占位,未经过完整安全扫描,长期维护与更新频率不明确

适合人群

  • 数据研究者:需要批量采集社交媒体内容进行舆情分析、趋势研究
  • 内容创作者:整理竞品视频、监控热门话题、建立选题素材库
  • 开发者/工程师:构建私有化内容 pipeline,避免依赖第三方 SaaS 爬取服务
  • AI 训练者:获取多平台原生语料,用于模型微调或 RAG 知识库构建

常规风险

| 风险类型 | 说明 |
|---------|------|
| 账号封禁 | 高频爬取可能触发平台反爬机制,导致 B站/抖音等账号限流或封禁 |
| 隐私合规 | 爬取用户历史记录、关注列表等需确保获得账号持有者明确授权 |
| 数据安全 | 本地服务未加密通信(HTTP 明文),敏感内容存在本地泄露风险 |
| 版权争议 | 采集的视频字幕、评论等内容可能涉及著作权与平台用户协议冲突 |
| 服务稳定性 | 依赖本地 Electron 应用持续运行,进程崩溃将导致采集中断 |

建议使用者遵守各平台《用户协议》与《Robots 协议》,控制请求频率,优先用于个人学习与合法研究用途。

media-crawler-local 内容

scripts文件夹
手动下载zip · 9.6 kB
crawl_mcp.mjstext/javascript
请选择文件