WARM é uma solução para alinhar modelos de linguagem grandes (LLMs) com preferências humanas usando um modelo de recompensa de média ponderada (WARM). Primeiro, o WARM ajusta finamente vários modelos de recompensa e, em seguida, os média no espaço de pesos. Por meio da média ponderada, o WARM melhora a eficiência em relação aos métodos tradicionais de agregação de previsões, ao mesmo tempo em que melhora a confiabilidade em situações de mudança de distribuição e inconsistência de preferências. Nossos experimentos mostram que o WARM supera os métodos tradicionais em tarefas de sumarização; usando os melhores métodos N e RL, o WARM melhora a qualidade geral e o alinhamento das previsões do LLM.