微信公众号文章抓取

核心用法

wechat-article-scraper 是一款微信公众号文章自动化采集工具，通过搜狗微信搜索入口获取公开文章数据。用户以自然语言触发（如"搜索微信文章 人工智能 10"），系统自动完成四阶段流水线：Playwright 驱动的搜狗搜索与页面解析 → LLM 逐篇生成 100-200 字摘要 → Playwright 抓取原文渲染为 PDF → 整合生成带双链接的行业动态报告 PDF。

显著优点

1. 端到端自动化：从搜索关键词到产出格式化 PDF 报告，全程无需人工介入，支持批量处理
2. 双备份机制：同时保留原始微信链接（带时效性提醒）和本地 PDF 存档，兼顾即时访问与长期留存
3. 结构化输出：JSON 中间态便于二次开发，最终 PDF 排版规范，含标题、来源、日期、摘要、双链接等完整字段
4. 时效性过滤：默认 90 天窗口，有效聚焦近期行业动态

潜在缺点与局限性

1. 数据源依赖搜狗：搜狗微信搜索的收录完整度、排序算法与反爬策略直接影响抓取成功率，非微信官方 API
2. 时效性风险：微信原文链接存在失效可能（如公众号删除、迁移），系统已标注但无法保证可访问
3. Playwright 资源消耗：浏览器渲染对内存和 CPU 要求较高，大规模采集时性能瓶颈明显
4. 摘要质量波动：依赖外部 LLM（MiniMax）生成摘要，长文关键信息可能遗漏或理解偏差
5. 缺乏精细筛选：无按阅读量、点赞数、原创标识等维度的过滤能力

适合人群

• 市场研究人员：快速生成竞品动态、行业趋势简报
• 公关与舆情分析师：监测品牌提及、热点事件传播
• 投资研究员：追踪特定赛道（如 AI、新能源）的草根视角与一线信息
• 内容运营：批量采集选题素材，建立本地知识库

常规风险

1. 合规风险：微信公众号内容受版权保护，自动化抓取需确保符合《网络安全法》《著作权法》及微信 robots 协议，商业用途建议获取授权
2. 账号封禁：搜狗/微信可能识别自动化访问模式，存在 IP 限制或搜索功能临时封锁可能
3. 数据隐私：抓取内容可能含个人信息，存储与处理需符合 GDPR、PIPL 等法规
4. 依赖维护：Playwright 与搜狗页面结构耦合紧密，目标站点改版可能导致脚本失效

核心用法

该Skill通过四步工作流实现微信公众号文章的自动化采集与报告生成：

1. 搜索采集：使用Playwright驱动Chromium浏览器访问搜狗微信搜索，解析指定关键词的最新文章（默认90天内），提取标题、正文、URL、日期、来源公众号等元数据，输出为articles.json。

2. AI摘要生成：调用OpenClaw集成的MiniMax大模型，为每篇文章生成100-200字精炼摘要，扩展为articles_new.json。

3. 原文PDF抓取：基于Playwright逐篇访问微信文章原文，渲染完整样式后保存为独立PDF文件。

4. 报告合成：将结构化数据与本地PDF整合为<关键词>_行业动态.pdf，包含双链接设计（微信原文外链+本地PDF内链），便于离线阅读与溯源验证。

显著优点

• 端到端自动化：从搜索到报告输出全程无需人工干预，大幅节省信息收集时间
• 双形态交付：既保留可点击的微信原文链接，又提供本地PDF存档，兼顾时效性与持久性
• AI增强阅读：LLM生成的摘要帮助快速筛选海量内容，聚焦关键信息
• 结构化数据：JSON中间格式便于二次开发，可对接BI工具或知识库系统

潜在局限

• 外部依赖脆弱性：核心功能依赖搜狗微信搜索和微信公众平台的稳定性，任何一方的反爬策略调整或接口变更都可能导致功能失效
• 时效性风险：微信原文链接存在有效期限制，过期后仅能依赖本地PDF
• 无增量更新机制：每次执行均为全量抓取，重复关键词会重复下载，缺乏智能去重
• 验证码挑战：headless=False配置下可能弹出验证码窗口，需人工介入

适合人群

• 行业研究员：追踪特定领域（如脑机接口、光伏）的微信生态内容动态
• 市场情报人员：批量采集竞品公众号发布策略与内容风向
• 咨询顾问：快速生成带有本地存档的行业监测日报/周报
• 知识管理从业者：构建私有化的微信文章资料库

常规风险

• 网络超时风险：未配置动态超时策略，弱网环境下可能长时间阻塞
• 反爬限制风险：高频抓取可能触发搜狗或微信的风控机制，导致IP临时封禁
• 资源消耗：Playwright启动完整浏览器进程，内存占用较高，不适合低配置环境
• 依赖版本漂移：无requirements.txt锁定版本，playwright或requests升级可能引入兼容性问题