在线评测

英文:Online Evaluation 分类:eval

基本释义

在真实线上环境用真实用户流量评测系统效果的方法(A/B 测试、灰度对比),衡量"真实使用效果",与离线评测互补。

技术要点

方法:A/B 分流(随机实验)、灰度发布(渐进放量)、用户行为指标(点击/留存/完成率)、在线人工抽样;保障:统计显著性(样本量)、防干扰(网络效应);与离线评测差异:真实分布、真实反馈。

应用场景

用于产品功能上线决策(A/B)、模型升级验证(线上胜率)、推荐/搜索效果评估与 LLM 助手线上评测;在线评测是"真实世界效果"的最终裁判。

返回AI百科目录 · AI最前沿首页

相关词条:大模型评审 · 聊天机器人竞技场 · 数据治理 · 端到端评测 · 迭代偏好优化