WARM ist eine Lösung zur Ausrichtung großer Sprachmodelle (LLMs) an menschlichen Präferenzen mittels eines gewichteten Durchschnittsbelohnungsmodells (WARM). Zunächst werden mehrere Belohnungsmodelle feinabgestimmt und anschließend im Gewichtsraum gemittelt. Durch die gewichtete Mittelung steigert WARM im Vergleich zu herkömmlichen Ensemble-Methoden die Effizienz und verbessert gleichzeitig die Zuverlässigkeit bei Verteilungsschwankungen und inkonsistenten Präferenzen. Unsere Experimente zeigen, dass WARM bei Zusammenfassungsaufgaben herkömmliche Methoden, beste N-Methoden und RL-Methoden übertrifft und die Gesamtqualität und Ausrichtung der LLM-Vorhersagen verbessert.