media-crawler-local

🕷️ 零配置本地爬虫,四大平台一键采集

本地 HTTP 服务直连 B站/抖音/YouTube/知乎爬虫,无需 MCP 配置,支持内容搜集、归档查询与任务数据读取,适合开发者私有化内容分析。

收藏
2.5k
安装
981
版本
1.0.6
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能与用法

media-crawler-local 是一个面向本地部署的媒体内容采集工具集,通过直连本机运行的 media-agent-crawler HTTP 服务(默认 127.0.0.1:39002),绕过传统 MCP 客户端配置流程,直接采集 B 站、抖音、YouTube、知乎四大平台的内容数据。

主要采集能力

  • B 站生态:单视频、关键词搜索、UP 主视频列表、热门/每周必看、历史记录聚合
  • 跨平台支持:抖音单视频、YouTube 单视频、知乎问题与回答
  • 数据归档管理:任务列表查询、按平台/关键词/时间筛选、任务数据精细化读取(评论、弹幕、字幕、详情、AI 摘要)

三种调用方式(按优先级)

1. 内联命令(首选):AI 直接通过 Shell 工具执行 PowerShell 或 curl 命令,零依赖
2. Node.js 脚本:skills/scripts/*.mjs 系列,适合有 Node 环境的用户

3. Bash 脚本:skills/scripts/*.sh,面向 macOS/Linux/Git Bash 用户

数据读取灵活性

get_task_data 支持多种数据类型别名,如 comments/comment 均可识别,降低记忆成本;list_archives 支持按状态排序,便于快速定位失败任务。

显著优点

  • 零配置门槛:不依赖 OpenClaw/Cursor 的 MCP 客户端,AI 直接通过 Shell 调用即可
  • 平台覆盖全:从国内 B 站/抖音/知乎到海外 YouTube,满足多元内容分析需求
  • 调用方式灵活:内联命令无需安装任何依赖,脚本方案则提供更结构化参数传递
  • 数据维度丰富:除基础视频信息外,支持弹幕、字幕、AI 摘要等特色字段
  • 身份模拟支持:B 站工具可通过 cookies 参数模拟登录态,突破部分限制

潜在缺点与局限

  • 本地服务依赖:必须预先启动 Electron 应用,服务未运行时完全不可用
  • 单点故障风险:默认 127.0.0.1:39002 为硬编码地址,多实例冲突时需手动覆盖环境变量
  • 平台策略敏感:依赖平台反爬策略,cookies 过期或触发风控会导致 401/403/429
  • Windows 编码陷阱:PowerShell 需显式设置 UTF-8 编码,否则中文输出乱码
  • 无云端协同:纯本地架构,无法跨设备共享任务状态或数据

适合人群

  • 需要批量采集社交媒体内容的内容创作者与运营人员
  • 构建本地知识库的 AI 应用开发者
  • 进行竞品分析、舆情监控的数据分析师
  • 重视数据隐私、不愿使用第三方云服务的用户

常规风险

  • 服务可用性:Electron 应用崩溃或未启动时,所有调用直接失败
  • 账号安全:cookies 参数明文传输,存在本地日志泄露风险
  • 法律合规:批量爬取可能违反平台 ToS,需遵守当地数据抓取法规
  • 数据存储:本地任务数据无自动清理机制,长期运行可能占用大量磁盘空间
  • 版本兼容性:media-agent-crawler 服务端与 skill 版本不匹配时,可能出现 API 行为差异

media-crawler-local 内容

scripts文件夹
手动下载zip · 11.5 kB
crawl_mcp.mjstext/javascript
请选择文件