Macrocosmos

🌐 实时社媒数据,去中心化采集

通过 Macrocosmos 网络实时抓取 X/Twitter 与 Reddit 社交数据,支持关键词、用户名筛选及大规模数据集采集,免费额度 $5 起。

收藏
3.9k
安装
1.1k
版本
1.0.2
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心功能

Macrocosmos SN13 API 是面向 LLM 智能体的实时社交媒体数据接口,通过去中心化的 Bittensor 网络聚合 X(Twitter)和 Reddit 内容。

主要用法

  • 即时查询OnDemandData 端点支持关键词搜索、用户名过滤、时间范围限定,单次返回 1-1000 条结果
  • 高级检索keyword_mode: "all" 实现多关键词交集查询,适合精准定位话题交叉点
  • 大规模采集:Gravity API 支持 7 天持续爬取,最终导出 Parquet 格式数据集(万级规模)
  • 多平台支持:X 支持用户名+关键词组合,Reddit 支持 r/subreddit 格式关键词

显著优点

  • 实时性强:依托 Bittensor 矿工网络,数据延迟较低
  • 成本友好:免费 tier 含 $5 额度,足够中小规模测试
  • 结构化输出:返回完整的用户画像、推文元数据、互动指标(浏览/点赞/转发/引用)
  • SDK 友好:提供 Python macrocosmos 异步客户端,简化集成

潜在局限

  • 可靠性波动:纯用户名查询易超时(DEADLINE_EXCEEDED),需配合 start_date 扩展时间窗口
  • 冷数据缺失:小众关键词可能无矿工索引,返回空结果
  • 默认时间窗陷阱:24 小时默认值常导致数据遗漏,必须显式设置 start_date
  • Gravity 不可逆:BuildDataset 操作会永久停止爬虫,需确认完成后再执行

适合人群

  • 需要实时社舆情分析的 AI Agent 开发者
  • 加密货币、AI 等高速变化领域的趋势追踪工具
  • 学术研究者进行大规模社交媒体数据集构建

常规风险

  • API 密钥泄露:Bearer Token 需安全存储,避免硬编码
  • 超时处理:生产环境必须实现重试与降级逻辑
  • 数据合规:抓取内容需遵守 X/Twitter、Reddit 及目标地区的数据使用政策
  • 成本失控:大规模 Gravity 任务可能快速消耗额度,需监控任务状态

Macrocosmos 内容

手动下载zip · 3.4 kB
SKILL.mdtext/markdown
请选择文件