智能体的回答是否正确、是否产生幻觉、工具调用参数是否准确——这些过去依赖人工判断的问题，如今可以通过自动化评估体系量化打分。华为云AgentArts的评估体系包含40余种预置评估器，覆盖正确性、幻觉、工具参数正确性、指令遵从度、有害性等维度，支持离线评估（上线前验证）和在线评估（生产监控）双轨并行。本文深度解析AI应用评估体系的架构与实战方法。
为什么智能体需要专门的评估体系
非确定性输出的质量量化难题
传统软件测试有明确的输入输出规格和预期结果，但智能体的输出是非确定性的——同样的输入在不同时间、不同上下文中可能产生不同的回复。传统“断言式”测试失效，需要一套能够量化“回答质量”的评估体系。
评估体系的三大要素
评测集（测试数据）、评估对象（被测试的智能体或数据集）、评估器（评分标准）。评估器本质上是一个带有评分Prompt的大模型裁判，输出分数和评分理由。
40+预置评估器详解
模型判定与代码判定双引擎
模型判定型评估器利用大模型进行语义级评分，适用于正确性、幻觉、创意性、指令遵从度等主观维度。代码判定型评估器通过确定性逻辑（正则匹配、JSON校验）进行二元判断，适用于格式检查、文本包含、数值计算等场景。
典型评估器示例
正确性评估器：比对实际输出与参考答案，1.0分/0.0分。幻觉现象评估器：判断输出是否基于参考上下文，1.0分/0.0分。工具参数正确性：检查从问题中提取的参数是否完全正确。指令遵从度：判断AI是否严格遵循用户指令。安全风险漏放：检测政治敏感、色情、违法等内容。
离线与在线双轨评估
离线评估——上线前验证
开发者构建评测集（包含输入和预期输出），让智能体逐条回答，评估器比对实际输出与预期输出。适合修改Prompt、更换模型、调整知识库后的回归测试。
在线评估——生产监控
应用上线后自动采样真实调用链数据，在后台进行自动化评分。打破离线评测需要人工准备数据的局限，实现“上线即监控”。仅由API调用产生的Trace数据触发，确保结果反映真实体验。
评测集的数据回流机制
三种评测集构建方式
人工创建（手动录入或批量导入）、AI合成（基于种子数据泛化生成）、Trace数据回流（将线上调用链数据一键添加）。Trace数据回流允许开发者将生产中的BadCase沉淀为评测集，使评估数据与真实用户行为保持同步。
数据飞轮的形成
观测产生数据→数据回流至评测集→评测集驱动评估→评估结果指导优化→优化后的智能体产生新的观测数据。这一飞轮使智能体的进化基于真实反馈的持续迭代。
