英文:Online Evaluation 分类:eval
在真实线上环境用真实用户流量评测系统效果的方法(A/B 测试、灰度对比),衡量"真实使用效果",与离线评测互补。
方法:A/B 分流(随机实验)、灰度发布(渐进放量)、用户行为指标(点击/留存/完成率)、在线人工抽样;保障:统计显著性(样本量)、防干扰(网络效应);与离线评测差异:真实分布、真实反馈。
用于产品功能上线决策(A/B)、模型升级验证(线上胜率)、推荐/搜索效果评估与 LLM 助手线上评测;在线评测是"真实世界效果"的最终裁判。