Agent Lens

📊 AI调用成本可视化管控专家

专为AI开发者设计的LLM API调用追踪与成本优化工具,支持OpenAI/Anthropic/Google/DeepSeek等主流模型,实时监控token消耗与API支出,提供装饰器、上下文管理器、直接记录三种集成方式,本地化SQLite存储保障数据隐私,帮助团队精准把控AI预算、识别高成本模型、优化prompt效率,降低30%-90%运营成本。

收藏
8.9k
安装
2.1k
版本
2.15.0
CLS 安全扫描中
预计需要 3 分钟...

使用说明

核心用法

Agent Lens 是面向AI应用开发者的全链路LLM调用观测工具,通过Python装饰器、上下文管理器或直接API调用三种方式,无侵入式追踪OpenAI、Anthropic、Google、DeepSeek等主流平台的API请求。开发者只需初始化AgentLens实例,选择@track装饰器自动提取OpenAI兼容格式的token用量,或使用with trace()上下文手动注入非标准响应数据,即可完成埋点。CLI工具集提供statscostrecenttop等命令,支持按模型、智能体、状态码多维度分析,并可导出JSON/CSV格式报表。

显著优点

成本透明度极高:内置GPT-4o、Claude 3.5、Gemini 2.x等十余种模型的官方定价数据,自动计算单次调用成本,配合百分比条形图直观展示支出分布。集成灵活性:三种埋点方式覆盖从快速原型到生产系统的全场景,全局快捷函数record/trace/track支持极简调用。本地化隐私保障:数据存储于~/.agent-lens/traces.db的SQLite文件,零云端依赖,满足企业数据合规要求。优化建议 actionable:工具主动识别高成本模型迁移路径(如GPT-4o→GPT-4o-mini可降本10倍),并提示检查重复prompt缓存与错误率损耗。

潜在缺点与局限性

Token提取兼容性受限:自动解析仅支持OpenAI标准响应格式,Anthropic、Google等非兼容API需手动注入input_tokens/output_tokens字段,增加接入成本。成本估算非实时:依赖静态list price,企业折扣、批量计费、动态调价场景下与实际账单存在偏差。长期运维负担:SQLite数据库持续增长需定期clean维护,无自动归档或云同步机制。生态封闭性:与Hermes框架深度绑定示例,但未提供Prometheus、Grafana等主流可观测性平台的标准导出接口。

适合人群

  • 个人开发者与初创团队:快速搭建LLM成本仪表盘,避免API账单失控
  • AI Agent平台运维:多智能体架构下的精细化成本分摊与模型选型决策
  • 企业FinOps团队:需要本地化部署、满足数据不出域要求的合规场景
  • Prompt工程师:量化评估不同prompt版本的token效率与成本影响

常规风险

数据持久化风险:本地SQLite单点存储,无备份机制时磁盘故障导致历史数据丢失。敏感信息泄露:若prompt包含PII或商业机密,本地数据库文件权限配置不当可能造成泄露。成本误判风险:静态定价未覆盖rate limit超额计费、retry重试成本、流式输出token估算误差等复杂场景。观测盲区:网络层超时、DNS故障等未到达应用层的失败调用无法被记录,导致"幽灵成本"。

Agent Lens 内容

手动下载zip · 3.7 kB
skill-card.mdtext/markdown
请选择文件