核心功能
WebClip 是一款专为AI Agent设计的网页内容提取工具，通过Node.js原生https模块实现零依赖的网页抓取。核心能力包括：
- 智能清洗：自动剥离脚本、样式、导航、广告及页脚，提取正文内容
- 可读性引擎：基于算法识别页面主体内容区域
- 多格式输出：原始文本（
.text）、格式化Markdown（.markdown）、元数据（.metadata）及可选摘要（.summary） - 批处理能力：支持多URL并行抓取，内置本地缓存避免重复请求
- 离线归档：可将网页保存为本地Markdown文件
显著优势
| 维度 | 特点 |
|------|------|
| **轻量化** | 零外部依赖，仅使用Node.js内置模块，无Puppeteer等重量级浏览器 |
| **Agent友好** | 输出格式专为LLM上下文优化，便于直接注入对话 |
| **隐私优先** | 本地处理，默认不向外部传输数据（除非用户主动配置） |
| **成本效益** | 避免浏览器自动化的高内存/CPU开销，适合高频抓取场景 |
局限与风险
技术局限：
- 纯HTTP抓取无法执行JavaScript动态渲染内容（SPA、懒加载等）
- 反爬机制强的站点可能返回403/验证码
- 可读性算法对非标准页面结构可能失效
合规风险：
- 需自行遵守目标网站的
robots.txt及ToS - 高频抓取可能触发IP封禁
- 摘要功能需配置本地LLM（如Ollama），产生额外计算资源消耗
适用人群
- 构建研究型AI Agent的开发者
- 需要批量归档网页内容的个人知识库用户
- 追求低资源占用的服务器端抓取场景
- 对数据隐私敏感、偏好本地处理的合规要求环境
安全评估
代码结构清晰，无隐蔽网络请求或数据外泄逻辑。主要风险在于：①用户输入URL的SSRF潜在可能（需自行校验）；②本地LLM摘要时的提示注入风险。建议生产环境启用URL白名单与输入过滤。