英文：Preference Data 分类：alignment
人类对模型输出的偏好标注数据（成对比较/排名/评分），用于训练奖励模型与对齐算法（RLHF、DPO），是大模型"符合人类期望"的关键燃料。
采集：同提示多输出→人工排序（成对/榜单）、评分量表；质量要素：提示多样性、标注者一致性（Kappa）、偏差控制（长度/位置/品牌偏好）；规模：数万至百万对；用途：奖励模型训练、DPO 直接优化、偏好评测。
用于 RLHF/DPO 对齐训练、模型发布评测（胜率）、个性化偏好建模与内容生成调优；偏好数据是"对齐工程"的原材料。