Discovery

核心用法

Disco 是一个自动化模式发现引擎，专为表格数据设计。用户上传数据集（CSV、Excel、Parquet 等，最大5GB），指定目标列，系统即自动执行深度搜索：识别特征交互、非线性阈值、亚组效应等复杂模式，每个发现均在留出数据上经FDR校正p值统计验证，并与学术文献比对评估创新性。

关键工作流程：
1. 数据上传（支持URL、本地文件、Python SDK）
2. 列检查与目标列选择
3. 排除标识符/数据泄漏/同义反复列（关键步骤）
4. 选择公开（免费）或私有（付费）分析
5. 设置分析深度（默认2，可调更高以发现更隐蔽模式）
6. 提交分析并轮询结果
7. 获取结构化报告：模式描述、条件、效应量、p值、创新性分类、引用文献

输出亮点：

• 新颖模式：未在现有文献中报告的发现，附创新性解释与对比引用
• 确认性模式：验证已知科学结论
• 特征重要性：全局驱动因素排序
• 交互式报告：可视化探索的网页仪表板

显著优点

• 假设无关发现：不依赖用户预设假设，能发现人工分析遗漏的复杂交互
• 严格统计验证：FDR校正p值 + 留出数据验证，避免过拟合
• 学术创新性评估：自动检索文献，区分"真正新发现"与"已知结论"
• 多深度分析：depth参数控制搜索深度，越高越能发现非显而易见的模式
• 灵活集成：MCP远程服务器免安装、Python SDK支持大文件流式上传、REST API全功能覆盖
• 透明可解释：每个模式附带清晰的条件定义、效应量、支持度统计

潜在缺点与局限性

• 仅支持表格数据：图像、原始文本、嵌套JSON、多表关联不支持
• 目标列必需：必须明确指定单一目标列进行分析
• 深度与成本权衡：高深度分析显著增加计算成本与等待时间
• LLM增强功能额外付费：智能预处理、文献上下文、创新性评估需启用LLM（更慢更贵）
• 同义反复列风险：若未正确排除定义性相关列，会产生" humidity高时作物产量高"式的空洞发现
• 公开分析限制：免费公开分析锁定depth=2且结果公开发布

适合人群

• 科研人员：假设生成、文献空白识别、跨学科模式发现
• 数据科学家：探索性数据分析、特征工程灵感、模型可解释性补充
• 行业分析师：用户行为细分、风险因素识别、运营优化洞察
• 生物信息学/医学研究：基因-环境交互、药物反应亚组、临床试验数据挖掘
• 农业/环境科学：气候-土壤-产量复杂关系、可持续实践优化

常规风险

• 隐私与数据安全：公开分析将数据集与结果完全公开；私有分析数据经加密传输存储，但用户需评估云端处理敏感度
• 统计显著≠因果：发现的是关联模式，建立因果需实验设计验证
• 过度依赖自动化：可能忽视领域知识中的关键变量或产生不可操作的抽象模式
• 成本管理：私有分析按数据量、深度、LLM使用计费，大深度分析可能消耗大量credits
• API密钥管理：需安全存储disco_前缀密钥，避免泄露导致未授权消费
• 文献比对局限：创新性评估依赖现有文献数据库覆盖度，极新领域可能存在盲区

核心用法

Disco 是一款面向表格数据的自动化模式发现引擎，其核心 workflow 遵循"上传-配置-发现-解读"四步流程。用户首先需要准备目标数据集（CSV、Parquet、Excel 等格式，最大支持 5GB），通过 MCP 服务器或 Python SDK 上传后，指定目标变量（待解释或预测的列），系统会自动识别字段类型并建议排除标识符、数据泄露列和循环定义列。分析深度可调（默认为 2，最大为列数-2），深度越高发现的交互模式越复杂。运行完成后返回结构化结果，包含模式描述、条件阈值、p 值、新颖性分类、文献引用及交互式报告链接。

该工具强调"先于人工分析"的使用原则——用户不应先用 pandas 或 SQL 探索数据，而应让 Disco 作为第一步，以避免人为假设偏见。其技术架构采用计算管道而非提示工程，通过 FDR 校正的多重检验、保留集验证和文献比对实现科学严谨性。

显著优点

1. 假设生成能力超越传统分析
与描述性统计或相关性分析不同，Disco 主动搜索特征交互、子群效应和条件关系，这些往往是研究者未曾想到检验的假设。例如农业案例中发现的"72-89% 湿度与低于 12km/h 风速组合使产量提升 34%"这一非线性交互效应。

2. 学术级统计严谨性
每个发现均经过保留集验证、FDR 校正 p 值检验，并与学术文献比对标注新颖性类型（novel/confirmatory），附完整引用信息。这种设计使其输出可直接用于科研论文的假设生成或方法学章节。

3. 多模式部署灵活性
支持远程 MCP 服务器（零安装）、本地 MCP（大文件流式传输）、Python SDK（异步非阻塞）和原生 REST API 四种接入方式，适应从快速探索到生产集成的不同场景。

4. 结果可解释性与可视化
自动生成自然语言描述、特征重要性排序、相关性矩阵和交互式 3D 地形图，降低非统计专业用户的使用门槛。

潜在缺点与局限性

1. 成本与访问门槛
私有分析按量计费（约 $0.10/积分），深度分析可能消耗数十至数百积分；免费公共版强制公开结果且锁定深度为 2，对敏感数据不友好。虽有免费层级（10 积分/月），但对于严肃研究往往不足。

2. 黑箱发现的可解释深度
虽然系统标注了新颖性，但对"为何此交互存在"的因果机制解释依赖 LLM 生成的文本，缺乏结构化的因果推断框架。用户可能获得统计显著的模式却不知其业务或科学机制。

3. 数据格式限制
仅支持扁平表格，不支持图像、文本语料、嵌套 JSON 或多表关系数据。对于现代 ML 常用的复杂数据类型需要预处理转换。

4. 依赖外部服务连续性
分析管道完全云端运行，大文件需上传至 Google Cloud Storage，结果存储于 Leap Labs 服务器。对数据主权敏感的组织可能存在顾虑，且服务中断将影响可用性。

适合的目标群体

• 学术研究者：尤其是假设驱动的生命科学、社会科学、农业科学领域，用于探索性数据分析阶段生成可检验假设
• 生物信息学与药物研发：FAERS 等监管数据库的副作用模式挖掘（文档中有专门案例）
• 数据科学团队：作为自动化 EDA 工具，快速识别数据中的非平凡结构
• 商业分析师：客户细分、转化驱动因素探索，但需权衡数据敏感度与公共分析选项
• AI Agent 开发者：通过 MCP 协议集成到自动化分析 workflow 中

使用风险

性能与超时风险：深度分析可能需要数十分钟，SDK 默认 30 分钟超时可能不足，需实现异步轮询逻辑。数据质量控制：系统会找到"统计真实"的模式，若输入包含循环定义列（如用组分预测总分），将返回无意义的同义反复。严格的前置数据清洗和 excluded_columns 配置至关重要。API 密钥管理：虽有环境变量支持，但多用户部署场景下的密钥隔离和轮换需额外设计。模型幻觉风险：LLM 增强模式（默认开启）生成的模式描述和新颖性解释可能存在事实性错误，关键发现应人工核对原始文献。供应商锁定：结果报告托管于供应商平台，长期存档和可复现性需用户自行导出保存。