自然语言处理领域中，大型语言模型在复杂任务上表现出色，但模型评估高度依赖昂贵且耗时的人类注释数据，且随着模型进步，原有数据的效用下降，需持续收集新数据以维持评估的规模化与可持续性。Meta FAIR 研究团队针对这一问题提出“Self-Taught Evaluator”（自学评估器），这一创新方法通过合成数据进行训练，无需依赖人类注释。通过生成对比的合成偏好对，模型自我评估与迭代改进，显著提高了模型在 RewardBench 基准上的准确率，从75.4提升至88.7，甚至超越了使用人类注释训练的模型。经过多次迭代，最终模型在单次推理中达到88.3的准确率，多数投票下达到88.7，展现出强大的稳定性和可靠性。此方法为 NLP 模型评估提供了可扩展且高效的解决方案，通过利用合成数据和迭代自我改进，有效应对了依赖人类注释的挑战，推动了语言模型的发展。