核心用法
Azure AI Evaluation SDK 是微软官方推出的 Python 评估框架，专为生成式 AI 应用设计。核心能力包括：
1. 多维度评估器：内置三大类评估器——AI 辅助质量评估（Groundedness、Relevance、Coherence 等，1-5分制）、NLP 传统指标（F1、ROUGE、BLEU 等）、安全评估（暴力、色情、自残、仇恨等，0-7分制）
2. 灵活评估模式：支持单行评估、批量评估（evaluate() 函数）、复合评估器（QAEvaluator、ContentSafetyEvaluator）及自定义评估器（代码装饰器或 Prompt 方式）
3. 应用目标评估：可直接传入可调用对象（target），SDK 自动运行应用并评估输出
4. Azure 生态集成：支持 Azure OpenAI 配置、Azure AI Foundry 项目日志记录与结果追踪
显著优点
- 权威性保障：微软官方维护，与 Azure AI Foundry 深度集成，企业级 SLA 支持
- 评估维度全面：覆盖质量、安全、自定义业务指标，满足合规审计需求
- 开发体验友好：声明式 API、装饰器支持自定义评估器、完善的列映射机制
- 生产就绪：支持批量并行评估、结果持久化到云端、可视化对比追踪
潜在缺点与局限性
- 供应商锁定：深度依赖 Azure OpenAI 和 Azure AI Foundry，迁移成本较高
- 安全评估限制：Content Safety 评估器需 Azure AI 项目 scope，无法纯离线运行
- 模型依赖：AI 辅助评估质量受底层 LLM（如 GPT-4o-mini）能力制约
- 调试门槛：列映射错误会导致静默失败，需仔细核对数据格式
适合人群
- Azure 云生态内的 AI 应用开发团队
- 需要满足内容安全合规要求的企业
- 构建 RAG 系统并需系统性评估的工程师
- MLOps 团队进行 CI/CD 中的模型性能监控
常规风险
1. 数据隐私：评估数据需传输至 Azure OpenAI 端点，敏感数据需脱敏或启用私有部署
2. 成本累积：AI 辅助评估消耗 LLM Token，大规模批量评估需预算规划
3. 评估偏差：LLM-as-a-Judge 模式存在主观性，建议结合人工抽样校验
4. 配置泄露：环境变量管理不当（API Key、连接字符串）可能导致凭证暴露