核心用法
微博热搜抓取(匿名版)利用 Chrome/Edge 的 DevTools Protocol(CDP)技术,以空白浏览器配置启动匿名会话,访问微博公开的热搜页面(weibo.com/newlogin?tabtype=search),无需任何账号或 Cookie 即可采集数据。脚本通过模拟缓慢滚动(200px/600ms)突破虚拟滚动限制,完整抓取约 50 条热搜内容,自动过滤广告条目并保留置顶内容,最终输出为结构化的 Markdown 表格文件。
部署方式灵活:已安装 bun 可直接运行;否则通过 npx -y bun 临时加载运行时,零配置即可使用。
显著优点
1. 零门槛匿名访问:彻底摆脱账号依赖,规避登录风险与 Cookie 管理复杂度,适合临时查询或敏感环境部署。
2. 技术实现稳健:CDP 方案相比直接 HTTP 抓取更抗反爬,模拟真实浏览器行为;虚拟滚动处理逻辑成熟,数据完整性有保障。
3. 输出格式友好:Markdown 表格天然兼容文档系统、Git 仓库与数据分析流程,便于版本追踪与自动化处理。
4. 部署极简:单文件 TypeScript 脚本,依赖仅浏览器与 Bun 运行时,容器化与 CI/CD 集成友好。
潜在局限与风险
- 页面结构依赖:核心选择器若遭微博改版即失效,需持续维护更新。
- 反爬对抗升级:微博可能加强 CDP 检测或引入更复杂的动态加载机制。
- 置顶内容解读:政府/官方置顶条目无热度数值,舆情权重需人工结合上下文判断。
- 网络环境敏感:部分地区或网络策略可能限制对微博域名的访问。
适合人群
- 媒体从业者、舆情分析师需快速获取热点概览
- 开发者构建无账号依赖的自动化数据管道
- 研究人员进行社交媒体趋势追踪与存档
常规风险
操作行为符合公开信息抓取规范,但高频请求可能触发 IP 限流;建议控制调用频率,避免对微博服务器造成压力。输出数据仅限分析用途,商用传播需遵守微博内容版权及合规要求。