Macrocosmos

🌌 去中心化实时社交数据引擎

通过 Bittensor SN13 网络实时获取 X/Twitter 和 Reddit 的公开社交数据,支持关键词、用户、时间范围过滤及完整互动指标,适用于舆情分析和市场情报。

收藏
4.9k
安装
1.1k
版本
1.0.3
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Macrocosmos SN13 API 是一个基于 Bittensor 去中心化网络的社交数据采集工具,提供两种主要接入方式:

即时查询(OnDemandData):单次请求获取最多 1000 条 X(Twitter)或 Reddit 的实时帖子,支持关键词、用户名、时间范围、互动量等多维度过滤。请求通过 REST API 或 Python SDK 发起,返回包含完整用户画像、帖子内容、互动数据(点赞、转发、浏览量等)的结构化 JSON。

大规模采集(Gravity):针对超过 1000 条的数据需求,支持创建持续 7 天的爬虫任务,最终导出为 Parquet 格式数据集。适用于学术研究、模型训练或历史数据分析。

显著优点

  • 实时性与覆盖度:直连 Bittensor SN13 去中心化数据网络,矿工节点持续索引 X 和 Reddit 公开内容,理论上可获得比单一 API 更抗封锁的数据源
  • 丰富的互动指标:返回 view_count、like_count、retweet_count、reply_count、quote_count、bookmark_count 等完整 engagement 数据,优于部分官方 API 的精简版
  • 灵活的查询模式:支持 keyword_mode: "any"(任一词匹配)和 "all"(全部匹配),便于精准定位话题交叉点
  • 成本优势:免费 tier 提供 $5 额度,适合中小型项目验证;付费模式基于 Bittensor 代币经济,可能比官方 Twitter API 更具价格弹性
  • 开源生态:提供 Python SDK(macrocosmos-mcp)和 MCP(Model Context Protocol)服务器,便于与 LLM 工作流集成

潜在缺点与局限性

  • 可靠性波动:Username-only 查询和冷门关键词容易触发 DEADLINE_EXCEEDED 超时,需主动调整策略(扩大时间范围、转为关键词搜索)
  • 数据非官方来源:通过第三方矿工采集,数据质量、完整性和时效性依赖于矿工节点的覆盖范围和索引策略,存在与官方 API 不一致的风险
  • 功能边界:不支持私信、非公开账号、点赞/关注关系等敏感数据;Reddit 不支持用户名过滤
  • 网络依赖:Bittensor 网络的共识机制和矿工激励机制可能影响查询响应速度和成功率
  • 学习曲线:需要理解 Bittensor 子网概念、gRPC/REST 区别、以及矿工数据索引的分布式特性

适合人群

  • 加密货币/Web3 分析师:追踪 KOL 言论、市场情绪、项目动态
  • AI/LLM 开发者:构建需要实时社交数据的 RAG 系统、舆情监控 agent
  • 量化研究员:获取高粒度互动数据进行信号挖掘
  • 学术研究:大规模社交媒体数据集构建(通过 Gravity 模式)

常规风险

  • 合规风险:采集和存储社交媒体数据需遵守 X/Twitter、Reddit 的服务条款及 GDPR 等数据保护法规,商业用途建议法律审核
  • API 密钥安全:MC_API 作为 Bearer token 需妥善保管,避免硬编码泄露
  • 数据可靠性风险:去中心化采集可能导致数据缺失、延迟或矿工提交低质量数据,关键业务决策建议交叉验证
  • 服务持续性:依赖 Bittensor 网络经济模型,矿工退出或子网参数调整可能影响服务质量
  • 成本失控:Gravity 大规模采集任务消耗额度较快,需监控用量

Macrocosmos 内容

手动下载zip · 3.6 kB
SKILL.mdtext/markdown
请选择文件