HackerNews Extract

核心用法

hn-extract 是一款专为 HackerNews 内容提取设计的 CLI 工具，通过 uv 零配置运行。用户只需提供 HN 帖子 ID、完整 URL 或本地 Algolia JSON 文件路径，即可自动完成：

1. 文章抓取：使用 trafilatura 爬取原始链接的网页内容，清理 HTML 标签并转换为结构化 Markdown
2. 元数据获取：调用 hn.algolia.com/api/v1/items/<id> 获取帖子标题、作者、分数、时间等关键信息
3. 评论树还原：递归解析嵌套评论层级，通过缩进深度可视化呈现讨论线程
4. 统一输出：将文章正文、HN 讨论、元数据合并为单一 Markdown 文件

支持重试机制、自动目录创建、灵活 SSL 处理以提升兼容性。

显著优点

• 零依赖安装：仅需系统预装 uv，Python 依赖自动隔离至专属 venv
• 格式纯净：输出标准 Markdown，适合 Obsidian/Notion 导入或直接投喂 LLM
• 线程可读：评论按层级缩进，比网页端更易追踪讨论脉络
• 输入灵活：ID/URL/JSON 三种来源无缝切换，支持离线二次处理
• 工作流集成：Agent 场景内置标准化流程（提取→上传→询问摘要）

潜在局限

• 反爬风险：部分站点需认证或启用反爬策略，可能提取失败
• 内容完整性：trafilatura 对复杂动态渲染页面（SPA/重度 JS）支持有限
• 无增量更新：每次需完整重新抓取，不支持评论增量同步
• Python 环境绑定：虽用 uv 隔离，但仍依赖 Python 生态

适合人群

• 需要离线阅读 HN 长文的技术爱好者
• 构建知识库、将 HN 讨论纳入笔记系统的用户
• 研究技术趋势、需批量抓取 HN 内容的数据分析师
• 使用 LLM 分析社区讨论的研究者与开发者

常规风险

• 高频请求可能触发 HN/源站 rate limit
• 抓取内容需遵守原站版权与 HN 使用条款
• SSL 宽松配置在极端场景下存在中间人攻击理论风险（实际概率极低）

核心用法

hn-extract 是一个轻量级 Python 脚本，通过 uv 零配置运行，可将任意 HackerNews 帖子（包括原文与完整评论树）提取为结构清晰的 Markdown 文件。支持三种输入方式：帖子 ID、完整 URL 或本地保存的 Algolia JSON 文件。

典型工作流程：
1. 用户提供一个 HN 链接或 ID
2. 脚本自动抓取文章正文（使用 trafilatura 提取并清洗 HTML）
3. 从 Algolia API 获取帖子元数据与嵌套评论
4. 输出格式化的 Markdown，包含文章、评论线程及关键元数据

显著优点

• 零依赖管理：通过 uv 自动创建隔离虚拟环境，无需手动安装包
• 输出质量高：评论按层级缩进，保留线程结构；文章内容经 HTML 清洗，去除广告和导航
• LLM 友好：生成的 Markdown 结构清晰，适合直接输入大语言模型进行摘要或分析
• 健壮性设计：内置 HTTP 重试机制，SSL 配置宽松以兼容更多网站

潜在缺点与局限性

• 外部依赖风险：核心功能依赖 HackerNews Algolia API 和目标网站的可访问性；后者若反爬或需认证则抓取失败
• 网络请求必需：必须联网运行，无法纯离线使用
• 无内置速率限制：高频使用可能触发目标站点的反爬机制
• Python 版本限制：依赖 uv 和现代 Python 特性，老旧系统可能不兼容

适合人群

• 研究人员与开发者：需要批量归档 HN 讨论供离线阅读或数据分析
• AI 辅助阅读用户：希望将长文+评论一次性输入 LLM 进行摘要和观点提炼
• 内容策展者：需要干净格式保存高质量技术讨论

常规风险

• 隐私层面：工具本身不收集用户数据，但会按指令访问外部 URL，用户应注意输入链接的敏感性
• 合规层面：抓取行为需遵守目标网站的 robots.txt 和服务条款
• 稳定性：依赖第三方 API（Algolia）和网页结构，存在因上游变更导致失效的风险

安全评估结论

CLS-Certify 扫描显示代码结构清晰，无危险函数调用，依赖均为知名开源库（requests、trafilatura、urllib3）。网络请求来源明确，无数据外泄风险，综合评分 88/100，安全等级 A。