Which LLM? Deterministic model selection for agents

核心功能

Decision Economic Optimizer 是一款面向AI模型选择的确定性决策优化工具，通过HTTP 402支付网关实现"付费-决策-反馈-折扣"的闭环经济模型。

主要用法

用户以自然语言描述任务目标（如"将客户反馈邮件总结为5条要点"），附加成本上限与质量门槛约束，系统返回经过多维度评估的单一推荐模型及有序备选方案。核心流程包含三步：

1. 决策优化 (POST /decision/optimize)：提交目标与约束，获取推荐模型、预期成本/质量评分及备选计划
2. 链上支付：收到402响应后，通过专用EVM钱包自主完成USDC转账（Base等5条链支持，每请求$0.01）
3. 结果反馈 (POST /decision/outcome)：报告实际执行结果（成本、延迟、质量、成功率），获得50%返现信用代币用于下次抵扣

显著优点

• 经济闭环设计：结果反馈机制形成"用得越多、省得越多"的正向激励，实际单次成本可降至$0.005
• 确定性决策：同一输入始终输出相同推荐，便于审计与复现
• 多链低费支持：Base链优先推荐，Gas费仅约$0.01-0.05/笔
• 完备约束系统：支持成本、质量、任务类型（摘要/提取/分类/编程）等多维约束
• 安全隔离模型：强制要求独立专用钱包，余额上限即花费上限

潜在局限

• 前置安全成本：必须通过至少2个独立来源验证收款地址（ENS、.well-known端点、API文档），首次使用门槛较高
• 无预请求确认：自主支付模式下$0.01/请求虽低，但需用户完全信任代理的支付行为
• 信用代币时效：50%折扣30天后衰减、90天过期，高频用户需持续反馈才能维持优惠
• EVM钱包依赖：不支持非EVM链或法币支付，Web2用户迁移成本高

适合人群

• AI应用开发者：需要为不同任务场景（摘要、分类、代码）自动匹配性价比最优模型
• 成本敏感型企业：月均数百至数千次LLM调用，希望通过反馈机制降低30-50%决策成本
• 多模型策略团队：需要标准化、可审计的模型选择流程，避免人工评估的主观性
• Web3原生用户：已有EVM钱包使用经验，接受链上小额支付模式

常规风险

| 风险类型 | 描述 | 缓解措施 |

|---------|------|---------|

| 资金风险 | 代理自主花费专用钱包余额 | 严格隔离钱包（$2-10 USDC上限）、定期轮换地址、监控链上交易 |

| 地址伪造 | 支付地址被篡改 | 强制多源验证（ENS+.well-known+API）、 discrepancy举报机制 |

| 私钥泄露 | 环境变量或文件存储不当 | 使用Keystore+密码加密、chmod 600权限、禁止版本控制 |

|  Gas 耗尽 | 仅充USDC未充ETH/AVAX | 同步充值$3-5 Gas代币、Base链优先降本 |

| 信用失效 | 代币过期或重复使用 | 及时使用、单链绑定、90天有效期管理 |

安全等级说明

本技能采用S级安全架构：强制专用钱包隔离、多源地址验证、无硬编码敏感信息、交易完全可链上审计。风险主要集中于用户侧的私钥管理实践，而非协议设计本身。

核心用法

Decision Economic Optimizer 是一款面向开发者的智能决策 API 工具，核心功能是帮助用户在明确的成本与质量约束下，为特定任务选择最优的 LLM 模型。使用时，用户通过 POST /decision/optimize 提交自然语言目标（如"将客户反馈邮件总结为 5 点执行摘要"）及约束条件（最低质量分数 0.8、最高成本 $0.01），API 返回推荐的模型（如 openai/gpt-4o-mini）、预期成本、质量评分以及备选方案（fallback plan）。

该技能采用 HTTP 402 支付模式，每次请求需支付 $0.01 USDC。支付流程为：初始请求返回 402 状态码及支付信息 → Agent 使用提供的钱包私钥自主完成链上 USDC 转账 → 携带交易哈希重试请求获取结果。支持 Base、Ethereum、Arbitrum、Optimism、Avalanche 五条链，推荐 Base 以降低 Gas 费用。

独特之处在于"结果返利"机制：用户执行推荐模型后，通过 POST /decision/outcome 报告实际成本、延迟、质量评分及成功状态，可获得 50% 的 Credits 返利（约 $0.005），用于抵扣后续请求费用，形成"使用-反馈-省钱"的正向循环。

显著优点

确定性决策引擎：与传统试错法不同，该技能基于内置的模型性能数据库和价格数据，提供可复现的推荐结果，避免盲目尝试多个模型带来的时间与资金浪费。

经济激励机制设计：结果返利机制将用户反馈转化为经济激励，既降低了长期使用成本（单次请求可降至 $0.005），又为服务方提供了真实的模型性能数据，实现双赢。

多链支付灵活性：支持五条主流 EVM 链支付，用户可根据 Gas 费用灵活选择，Base 网络单笔交易 Gas 仅约 $0.01-0.05，大幅降低小额支付门槛。

完善的验证机制：针对区块链支付的安全风险，设计了多源地址验证流程（.well-known 端点、ENS 域名、官方文档），确保支付地址可信，防止中间人攻击。

无需 API Key：采用链上支付证明而非传统 API Key 认证，降低了密钥管理复杂度，同时利用区块链的透明性实现支付审计。

潜在缺点与局限性

钱包安全风险：技能需要 WALLET_PRIVATE_KEY 等敏感凭证，赋予 Agent 自主转账权限。尽管文档强调使用专用小额钱包（$2-10 USDC），但凭证泄露或 Agent 被恶意利用仍可能导致资金损失。

外部服务依赖性：完全依赖 which-llm.com 的 API 可用性，存在服务中断、API 变更或商业实体运营风险。无本地模型或离线能力，网络中断即无法使用。

学习曲线陡峭：区块链支付、多源地址验证、Credits 机制等概念对非 Web3 用户有一定门槛，错误配置可能导致支付失败或资金损失。

成本累积风险：单次 $0.01 看似低廉，但高频调用下成本可快速累积。若未正确使用 Credits 机制或忘记报告 outcome，实际成本将高于预期。

有限的模型覆盖：当前仅支持主流商业 LLM 提供商（OpenAI、Anthropic 等），对开源模型或私有化部署模型的支持有限。

适合的目标群体

AI 应用开发者：需要在多个 LLM 间做选型决策、优化推理成本的工程团队，尤其是构建多模型路由系统的开发者。

成本敏感型初创企业：预算有限但需保证输出质量的产品团队，可通过该工具在质量与成本间找到最优平衡点。

Web3/区块链开发者：熟悉加密钱包操作、链上支付流程的开发者，能快速上手并受益于其经济激励机制。

自动化工作流构建者：需要无人值守、自动化的 LLM 选型与调用流程，可接受预存资金换取自主决策能力的场景。

使用风险

资金耗尽风险：自主支付模式下，Agent 可连续执行交易直至钱包余额耗尽（含 Gas Token）。若代码逻辑异常或遭遇攻击，可能导致资金损失。

Gas 费用波动：尽管 Base 网络费用较低，但在网络拥堵时 Gas 费用可能飙升，增加实际支付成本。

地址验证遗漏：用户可能跳过多源验证步骤，直接信任 Skill 文件中的地址，存在被篡改或钓鱼攻击风险。

Credits 过期损失：返利 Credits 30 天后衰减 50%、90 天后完全失效，未及时使用将导致经济损失。

智能合约风险：尽管 USDC 转账为标准 ERC-20 操作，但智能合约漏洞或重入攻击理论上仍存在（尽管概率极低）。