WARM es una solución para alinear los modelos lingüísticos grandes (LLM) con las preferencias humanas mediante un modelo de recompensa ponderado promedio (WARM). Primero, WARM ajusta finamente varios modelos de recompensa, luego los promedia en el espacio de pesos. A través del promedio ponderado, WARM mejora la eficiencia en comparación con los métodos tradicionales de agregación predictiva, al mismo tiempo que mejora la fiabilidad ante la transferencia de distribución e inconsistencias de preferencias. Nuestros experimentos muestran que WARM supera a los métodos tradicionales en tareas de resumen; utilizando los mejores métodos N y RL, WARM mejora la calidad y alineación general de las predicciones del LLM.