tech-news-digest

核心用法

Tech News Digest 是一个面向技术从业者与投资者的多源新闻聚合自动化系统，采用统一数据模型和流水线架构，从五大渠道采集内容：

• RSS订阅（49个源）：OpenAI、Anthropic、技术博客等
• Twitter/X KOL监控（48个账号）：AI研究者、加密货币领袖、科技高管
• GitHub Releases（28个仓库）：LangChain、vLLM、DeepSeek、Llama等开源项目
• Reddit（13个子版块）：r/MachineLearning、r/CryptoCurrency等
• Web搜索（4个主题领域）：LLM、AI Agent、Crypto、Frontier Tech

核心工作流通过 run-pipeline.py 统一执行，并行抓取五层数据，经智能去重（85%标题相似度）、质量评分（基于来源权威性+时效性+互动指标）后，输出结构化JSON，再经模板引擎生成Discord、邮件或PDF格式的日报/周报。

显著优点

1. 全自动化流水线：单次命令完成数据采集→去重→评分→格式化，约30秒出稿
2. 企业级鲁棒性：指数退避重试、API密钥轮询、GitHub App自动Token生成、ETag缓存
3. 高度可配置：workspace层覆盖默认配置，支持新增/禁用源、自定义主题搜索策略、调整展示样式
4. 多格式输出：移动端优化的Discord简报、带归档链接的富文本邮件、A4 PDF（支持中文排版）
5. 零依赖设计：纯Python 3.8+标准库运行，可选依赖仅提升体验
6. 智能去重机制：跨源标题相似度检测 + 历史digest惩罚，避免重复推送

潜在缺点与局限性

• API成本：Twitter需第三方服务（twitterapi.io $3-5/月）或官方API；搜索层需Tavily/Brave密钥
• 中文支持有限：虽PDF支持Noto Sans CJK，但内容源以英文为主，中文科技媒体需手动添加
• Reddit依赖公开API：无认证，可能受rate limit或结构变动影响
• 模板固定：输出格式受预设模板限制，深度自定义需修改Markdown模板文件
• 无LLM摘要：当前版本仅聚合链接+元数据，不生成AI摘要（需外部LLM处理）
• OpenClaw平台限制：单次会话只能投递一个渠道（Discord或Telegram），多平台需多job

适合人群

• 技术投资者/VC：追踪AI、Crypto等前沿领域动态
• 开发者关系/DevRel：监控竞品发布、社区讨论热度
• 技术团队负责人：团队内部技术雷达、每周分享素材
• 独立研究者：构建个人知识库，替代手动刷推/RSS

常规风险

| 风险类型 | 说明 | 缓解措施 |

|---------|------|---------|

| API密钥泄露 | 密钥存于环境变量，可能被其他进程读取 | 使用最小权限密钥，定期轮换，优先GitHub App模式（JWT短时有效） |

| 信息过载 | 138个默认源可能导致噪音 | 通过`priority`标记、topic过滤、workspace禁用不需要的源 |

| 来源偏见 | RSS/KOL选择隐含立场 | 主动配置多元来源，交叉验证重大新闻 |

| 依赖服务失效 | Twitter API政策变动、Reddit封禁 | 系统graceful降级，缺失源不影响其他层运行 |

| 自动化误报 | 相似标题不同内容可能被去重 | 调低相似度阈值或人工抽查archive |

安全设计亮点

• 零用户输入执行：所有shell命令参数为skill内建常量，禁止插值 fetched content
• URL白名单：仅允许http/https scheme，拒绝javascript:等危险协议
• XSS防护：邮件HTML通过sanitize-html.py处理，inline CSS隔离，内容转义
• 最小权限：GitHub auth cascade设计允许纯无认证运行，credential discovery显式可控

核心功能

tech-news-digest 是一款面向技术从业者的自动化新闻聚合系统，通过统一的五层数据源模型（RSS、Twitter/X KOL、GitHub Releases、Reddit、Web Search）采集科技动态，经质量评分与智能去重后生成结构化摘要。

核心用法

系统采用管道化架构，主入口为 run-pipeline.py，支持并行采集与统一合并：

python3 scripts/run-pipeline.py \
  --defaults config/defaults \
  --config workspace/config \
  --hours 48 --freshness pd \
  --archive-dir workspace/archive/tech-news-digest/ \
  --output /tmp/td-merged.json --verbose --force

单次运行约30秒完成全链路，输出可直接套用 Discord、邮件或 PDF 模板。配置采用覆盖机制：用户在工作空间 workspace/config/ 下的同名文件优先于默认配置，便于个性化源管理而不污染主仓库。

显著优点

• 数据源丰富：预置138个高质量源（49 RSS、48 Twitter KOL、28 GitHub、13 Reddit、4 搜索主题），覆盖AI/LLM、加密、前沿科技
• 质量分层：内置去重（85%相似度阈值）、历史惩罚、质量评分算法，避免信息过载
• 输出灵活：支持 Discord 简洁格式、邮件富文本、PDF 印刷级排版（中文优化）
• 运维友好：完整的健康监控、配置验证、错误重试、日志追踪体系
• 零侵入部署：纯 Python 3.8+ 标准库运行，可选依赖仅提升体验

局限性与风险

• API 依赖：Twitter/X 与搜索层需自备 API 密钥（twitterapi.io $3-5/月或 Tavily 免费额度），否则对应源静默跳过
• 网络波动：部分 RSS 源稳定性参差，极端情况下单源失败率可能上升
• 内容边界：聚焦技术新闻聚合，非深度分析工具，需人工二次解读
• 跨平台限制：OpenClaw 架构限制单会话仅支持单一渠道投递（Discord 或邮件），多平台需配置独立定时任务

适合人群

• 技术团队负责人、CTO：监控竞品动态与行业趋势
• 开发者社区运营：自动化内容策展与频道维护
• 独立研究员：构建个人知识雷达，减少信息噪声
• AI/LLM 从业者：追踪模型发布、论文、开源工具更新

常规风险提示

| 风险项 | 等级 | 说明 |

|--------|------|------|

| API 密钥泄露 | 中 | 需通过环境变量配置，避免硬编码入脚本或 cron |

| GitHub App 私钥 | 低 | 若使用 App 认证，确保 PEM 文件权限 600 |

| 邮件注入 | 低 | 主题固定格式，正文经 HTML 转义，无用户输入注入 shell |

| 网络嗅探 | 低 | 全链路 HTTPS，TLS 1.2+，无明文传输 |

安全认证要点

经 CLS-Certify v2.1.0 扫描，获 A 级（78分）认证：

• 三处 subprocess 调用均用于安全场景（JWT 签名、邮件发送、内部脚本并行），无可利用的命令注入面
• 外部 API 调用透明，无敏感信息硬编码
• 输入验证完整，URL 限定 http(s) 协议，HTML 转义防 XSS

建议：生产环境部署前审查 workspace/config/ 的自定义源配置，确保 URL 可信；定期轮换 API 密钥并关注上游仓库安全更新。