核心功能
MediaCrawler 是一款开源的多平台公开信息采集工具，基于 Python 技术栈开发，支持小红书、抖音、快手、B站、微博、贴吧、知乎七大主流内容平台的数据采集。该工具提供三种主要采集模式：关键词搜索采集（按关键词抓取相关帖子/视频）、指定内容详情抓取（通过 ID 精准获取特定帖子）、创作者主页采集（批量获取指定创作者的历史内容）。
技术实现上采用 Playwright 浏览器自动化框架模拟用户行为，支持二维码/手机号等多种登录方式并自动缓存登录态，降低频繁登录封禁风险。数据输出支持 CSV、JSON、JSONL、Excel、SQLite、MySQL、MongoDB 等七种格式，默认按平台分类存储于 data/ 目录下。WebUI 可视化界面（基于 FastAPI + Uvicorn）让非技术用户也能便捷操作。
显著优点
1. 平台覆盖广：一站式覆盖短视频、图文、社区、问答等多类型平台
2. 采集维度全：支持内容正文、评论、二级评论、创作者信息全链路抓取
3. 使用门槛低：一键安装脚本 + WebUI 界面，无需深入理解代码
4. 数据格式灵活：多种导出格式适配后续分析、入库、可视化需求
局限性与风险
- 法律合规风险：数据采集涉及平台用户协议，过度抓取可能触发平台反爬机制或法律纠纷
- 稳定性依赖：依赖 Playwright 浏览器驱动，平台页面结构变更需及时更新选择器
- 登录态限制：部分平台（如抖音）对登录设备、IP 有风控策略，可能触发验证或限制
- 道德边界：抓取用户评论、个人主页信息涉及隐私边界，需严格限定研究用途
适合人群
学术研究人员（社交媒体分析、传播学研究）、市场调研员（竞品内容监测）、数据工程师（搭建测试数据集）。不适合用于批量搬运内容、监控竞争对手商业数据等违规场景。
常规风险提示
- 务必遵守《网络安全法》《数据安全法》《个人信息保护法》及平台用户协议
- 建议配置合理采集频率与并发数，避免对平台服务器造成压力
- 采集结果禁止用于非法用途、侵犯他人合法权益或商业化违规传播