英文:GPT-4 as Judge 分类:eval
用GPT-4给其他模型输出打分的方法。
评测需注意:避免数据污染(训练集混入测试集)、采用多维度指标(准确率+鲁棒性+安全性)、小样本多次测试取平均。大模型评测通常采用LLM-as-Judge方法,但需校准判官偏差。
NLP评测从早期的SQuAD、GLUE,发展到大模型时代的MMLU、GSM8K、HumanEval;中文评测有C-Eval、CMMLU、SuperCLUE。排行榜则以HuggingFace Open LLM Leaderboard为代表。
企业内部评测通常包含:通用能力基准、业务专项集(如客服准确率)、红队安全测试与人工抽样。评测报告需附数据版本、模型版本与置信区间。