数据治理

英文:Data Curation 分类:eval

基本释义

对训练语料做去重、去毒、质量筛选、配比与课程排序的系统工程。在模型架构趋同的当下,数据质量往往比数据规模更能决定最终效果。

技术要点

评测需注意:避免数据污染(训练集混入测试集)、采用多维度指标(准确率+鲁棒性+安全性)、小样本多次测试取平均。大模型评测通常采用LLM-as-Judge方法,但需校准判官偏差。

发展脉络

NLP评测从早期的SQuAD、GLUE,发展到大模型时代的MMLU、GSM8K、HumanEval;中文评测有C-Eval、CMMLU、SuperCLUE。排行榜则以HuggingFace Open LLM Leaderboard为代表。

应用场景

企业内部评测通常包含:通用能力基准、业务专项集(如客服准确率)、红队安全测试与人工抽样。评测报告需附数据版本、模型版本与置信区间。

返回AI百科目录 · AI最前沿首页

相关词条:大模型评审 · 聊天机器人竞技场 · 数据飞轮 · 聊天机器人竞技场 · 合成数据