核心用法
Crawl4AI-Skill 是一款面向LLM工作流优化的智能爬虫工具，提供三大核心能力：
1. 搜索+爬取一体化：集成 DuckDuckGo 搜索（免API Key），自动爬取结果并输出LLM友好的Markdown格式，通过智能去冗余大幅节省Token消耗。
2. 智能全站爬取：自动识别 sitemap 和 llms-full.txt，支持设置最大页面数限制，适合文档站、博客等结构化内容的批量获取。
3. 登录态爬取：突破传统爬虫限制，支持 Twitter/X（Cookie登录）和小红书（扫码登录）的认证内容获取，可提取推文及引用推文。
显著优点
- Token经济性：Fit Markdown输出格式专为LLM上下文优化，去除广告、导航等噪声
- 零API成本：DuckDuckGo搜索无需付费Key
- 安全设计：Session采用AES-128加密，密钥绑定机器标识符，支持环境变量/交互式/文件三种安全凭证传递方式
- 完全开源：代码可审计，支持bandit安全扫描
- 本地化存储：所有数据仅保存在
~/.crawl4ai-skill/，绝不上传服务器
潜在缺点与局限性
- 平台依赖：小红书需配合手机App扫码，流程较重；Twitter依赖Cookie可能因平台策略变更失效
- 法律风险：登录态爬取可能违反平台ToS，存在账号封禁风险
- 维护成本：Playwright浏览器依赖需要定期更新，Chromium安装体积大
- 扩展性：新增平台需联系作者，暂无插件机制
- 无分布式能力：单机工具，不适合大规模采集场景
适合人群
- AI研究者/开发者：需要为RAG系统采集高质量网页数据
- 内容创作者：批量获取Twitter/X、小红书授权内容用于分析
- 数据分析师：免API成本的小规模舆情监测需求
- 隐私敏感用户：拒绝云端爬虫服务的本地化方案偏好者
常规风险
| 风险类型 | 说明 | 缓解建议 |
|---------|------|---------|
| 账号安全 | Cookie泄露导致账号被盗 | 使用专用小号、定期清理session |
| 合规风险 | 违反平台服务条款 | 控制请求频率、仅用于个人研究 |
| 数据残留 | 本地加密文件被物理提取 | 使用全盘加密、及时执行session-clear |
| 供应链攻击 | PyPI包被篡改 | 优先从源码安装并审查代码 |
建议安全等级：本地开发环境推荐，生产环境需谨慎评估法律合规性。