核心用法
media-crawler-local 是一款面向本地部署的跨平台内容爬取工具,通过独立的 HTTP 服务(默认端口39002)实现与 B站、抖音、YouTube、知乎等内容平台的数据交互。该工具采用"服务端-客户端"分离架构,用户需先在本地启动 Electron 应用作为服务后端,随后通过 Shell 命令、Node.js 脚本或直接 HTTP 请求完成内容采集。
工具提供两种调用模式:REST 端点适用于简单的单链接爬取,MCP 端点(JSON-RPC 2.0)支持复杂查询与工具调用。B站功能最为完善,涵盖视频爬取、关键词搜索、UP主视频列表、热门/每周必看、历史记录聚合等场景;其他平台(抖音、YouTube、知乎)目前仅支持单链接解析。
数据归档系统为每次爬取生成独立任务 ID,支持通过 list_archives 查询历史任务,通过 get_task_data 按需读取评论、弹幕、字幕、详情等多类型数据。
显著优点
1. 零 MCP 依赖:直接通过 HTTP 与本地服务通信,无需配置 Cursor/OpenClaw 等 MCP 客户端,降低使用门槛
2. 平台覆盖广:单一工具整合中文主流视频社区(B站、抖音)与全球平台(YouTube),以及知识社区(知乎)
3. B站深度集成:支持登录态采集(cookies 参数),可爬取个性化内容如历史记录、关注动态
4. 多环境兼容:提供 PowerShell(Windows)、curl(macOS/Linux)、Node.js、Bash 四套调用方案,适应不同技术背景用户
5. 结构化输出:数据以 JSON 格式持久化存储,便于后续清洗、分析或接入 AI 工作流
潜在缺点与局限性
1. 本地服务依赖:必须预先启动 Electron 应用,无云托管版本,不适合纯云端自动化场景
2. 平台能力不均:B站功能远多于其他平台,抖音/YouTube/知乎仅支持基础视频解析,无搜索、UP主列表等高级功能
3. 反爬风险:明确涉及 401/403/429 等限速/封禁处理,说明实际使用中存在账号/IP 受限风险
4. 技术门槛:URL 编码、JSON-RPC 构造、任务 ID 管理等操作对非开发者不够友好
5. 维护状态存疑:技能文档由系统自动生成占位,未经过完整安全扫描,长期维护与更新频率不明确
适合人群
- 数据研究者:需要批量采集社交媒体内容进行舆情分析、趋势研究
- 内容创作者:整理竞品视频、监控热门话题、建立选题素材库
- 开发者/工程师:构建私有化内容 pipeline,避免依赖第三方 SaaS 爬取服务
- AI 训练者:获取多平台原生语料,用于模型微调或 RAG 知识库构建
常规风险
| 风险类型 | 说明 |
|---------|------|
| 账号封禁 | 高频爬取可能触发平台反爬机制,导致 B站/抖音等账号限流或封禁 |
| 隐私合规 | 爬取用户历史记录、关注列表等需确保获得账号持有者明确授权 |
| 数据安全 | 本地服务未加密通信(HTTP 明文),敏感内容存在本地泄露风险 |
| 版权争议 | 采集的视频字幕、评论等内容可能涉及著作权与平台用户协议冲突 |
| 服务稳定性 | 依赖本地 Electron 应用持续运行,进程崩溃将导致采集中断 |
建议使用者遵守各平台《用户协议》与《Robots 协议》,控制请求频率,优先用于个人学习与合法研究用途。