核心功能与用法
media-crawler-local 是一个面向本地部署的媒体内容采集工具集,通过直连本机运行的 media-agent-crawler HTTP 服务(默认 127.0.0.1:39002),绕过传统 MCP 客户端配置流程,直接采集 B 站、抖音、YouTube、知乎四大平台的内容数据。
主要采集能力
- B 站生态:单视频、关键词搜索、UP 主视频列表、热门/每周必看、历史记录聚合
- 跨平台支持:抖音单视频、YouTube 单视频、知乎问题与回答
- 数据归档管理:任务列表查询、按平台/关键词/时间筛选、任务数据精细化读取(评论、弹幕、字幕、详情、AI 摘要)
三种调用方式(按优先级)
1. 内联命令(首选):AI 直接通过 Shell 工具执行 PowerShell 或 curl 命令,零依赖
2. Node.js 脚本:skills/scripts/*.mjs 系列,适合有 Node 环境的用户
3. Bash 脚本:skills/scripts/*.sh,面向 macOS/Linux/Git Bash 用户
数据读取灵活性
get_task_data 支持多种数据类型别名,如 comments/comment 均可识别,降低记忆成本;list_archives 支持按状态排序,便于快速定位失败任务。
显著优点
- 零配置门槛:不依赖 OpenClaw/Cursor 的 MCP 客户端,AI 直接通过 Shell 调用即可
- 平台覆盖全:从国内 B 站/抖音/知乎到海外 YouTube,满足多元内容分析需求
- 调用方式灵活:内联命令无需安装任何依赖,脚本方案则提供更结构化参数传递
- 数据维度丰富:除基础视频信息外,支持弹幕、字幕、AI 摘要等特色字段
- 身份模拟支持:B 站工具可通过
cookies参数模拟登录态,突破部分限制
潜在缺点与局限
- 本地服务依赖:必须预先启动 Electron 应用,服务未运行时完全不可用
- 单点故障风险:默认
127.0.0.1:39002为硬编码地址,多实例冲突时需手动覆盖环境变量 - 平台策略敏感:依赖平台反爬策略,cookies 过期或触发风控会导致 401/403/429
- Windows 编码陷阱:PowerShell 需显式设置 UTF-8 编码,否则中文输出乱码
- 无云端协同:纯本地架构,无法跨设备共享任务状态或数据
适合人群
- 需要批量采集社交媒体内容的内容创作者与运营人员
- 构建本地知识库的 AI 应用开发者
- 进行竞品分析、舆情监控的数据分析师
- 重视数据隐私、不愿使用第三方云服务的用户
常规风险
- 服务可用性:Electron 应用崩溃或未启动时,所有调用直接失败
- 账号安全:cookies 参数明文传输,存在本地日志泄露风险
- 法律合规:批量爬取可能违反平台 ToS,需遵守当地数据抓取法规
- 数据存储:本地任务数据无自动清理机制,长期运行可能占用大量磁盘空间
- 版本兼容性:media-agent-crawler 服务端与 skill 版本不匹配时,可能出现 API 行为差异