DuckDB CLI skills

核心用法

DuckDB CLI Specialist 是一款面向数据分析与文件转换的命令行专家工具，基于高性能的 DuckDB 嵌入式分析引擎。用户可直接对 CSV、Parquet、JSON 等常见数据文件执行 SQL 查询，无需预先导入数据库。核心工作流包括：使用 -c 参数执行单行 SQL 命令，通过 read_csv_auto、read_parquet、read_json_auto 等函数直接读取文件，利用 COPY ... TO 语法完成格式转换，以及启动交互式 shell 进行复杂查询。

工具提供 18 种输出格式（CSV、JSON、Markdown、HTML、LaTeX 等），支持管道与 stdin/stdout 重定向，便于集成到 Shell 工作流。内置丰富的 dot 命令（如 .tables、.schema、.mode）用于元数据查询和输出控制。支持通过 ~/.duckdbrc 配置文件保存常用设置，并提供安全的只读模式和受限的安全模式。

显著优点

1. 零配置即用：无需数据库服务器，单文件执行 SQL 分析，极大降低数据探索门槛
2. 格式原生支持：Parquet 列式存储的直接读写性能优异，特别适合大数据集
3. 管道友好：完美适配 Unix 哲学，可嵌入复杂的数据处理流水线
4. 交互体验佳：智能 Tab 补全（关键字、表名、列名、路径）、语法高亮、外部编辑器集成

潜在局限

• 单机会话限制：无并发多用户支持，不适合生产级数据库服务场景
• 内存依赖：大数据集分析受单机内存约束（尽管有流式处理优化）
• 生态系统：相比 PostgreSQL/MySQL 等成熟数据库，高级特性（如复杂权限管理、复制集群）仍在演进
• WSL2 兼容性：部分 Ubuntu 版本存在内存限制显示异常

适合人群

数据工程师、分析师、科学家及开发者，尤其适用于：快速原型验证、ETL 脚本编写、日志分析、数据清洗转换、本地大数据文件探索等场景。

常规风险

• 文件系统暴露：默认模式可读写任意路径，多用户环境需谨慎
• SQL 注入式误操作：直接执行用户输入 SQL 可能破坏数据，建议配合只读模式 (-readonly) 或安全模式
• 大数据内存压力：未加限制的聚合查询可能导致 OOM，建议对未知规模数据先使用 LIMIT 探查

核心用法

该 Skill 是一个 DuckDB CLI 专用知识库，为 AI Agent 提供完整的数据分析操作指南。核心能力包括：

即时数据查询：无需导入即可直接对 CSV、Parquet、JSON 文件执行 SQL 查询，支持 glob 模式批量处理多个文件
格式无缝转换：单行命令实现 CSV↔Parquet↔JSON 互转，支持过滤条件预处理
交互式分析：提供 18 种输出格式（含 Markdown、HTML、LaTeX 等）、丰富的 dot 命令和类 readline 快捷键
数据库操作：支持持久化数据库创建、表管理、数据追加与导出

显著优点

1. 零门槛数据分析：传统数据库需先导入再查询，DuckDB 可直接 SELECT * FROM 'file.csv'，大幅降低分析门槛
2. 高性能单机引擎：列式存储、向量化执行，单机处理 GB 级数据性能优异
3. 格式生态兼容：原生支持 Parquet（大数据标准格式）、自动类型推断的 CSV/JSON 读取
4. 输出灵活：从机器友好的 JSON Lines 到学术排版用的 LaTeX，覆盖全场景需求
5. 管道友好：完美支持 stdin/stdout 重定向，轻松嵌入 Shell 工作流

局限性与注意事项

• 仅限单机处理：不支持分布式计算，TB 级以上数据需配合其他工具
• 内存依赖：大数据集操作受可用内存限制（尽管有流式处理支持）
• 功能正确性依赖环境：需本地安装 DuckDB CLI，命令语法随版本可能变化
• T3 来源：维护者为个人开发者，建议关注官方文档以获取最新权威信息

适合人群

• 数据分析师、数据工程师需要快速探索本地数据文件
• 开发者构建 ETL 管道、数据转换脚本
• 研究人员处理实验数据、生成学术格式输出
• 任何希望用 SQL 替代 pandas/R 进行轻量级数据操作的用户

常规风险

• 文件系统权限：涉及数据文件读写时需确保适当权限配置
• 敏感数据暴露：分析含 PII 的数据文件时需注意输出路径与访问控制
• 大内存查询风险：无 LIMIT 的聚合查询可能消耗大量内存