WARM बड़े भाषा मॉडल (LLMs) को मानवीय प्राथमिकताओं के साथ संरेखित करने का एक समाधान है जो वज़नदार औसत पुरस्कार मॉडल (WARM) का उपयोग करता है। सबसे पहले, WARM कई पुरस्कार मॉडल को सूक्ष्म-समायोजित करता है, और फिर वज़न स्थान में उनका औसत लेता है। वज़नदार औसतन के माध्यम से, WARM पारंपरिक पूर्वानुमान संकलन विधियों की तुलना में दक्षता में सुधार करता है, साथ ही वितरण स्थानांतरण और प्राथमिकता असंगति के तहत विश्वसनीयता में भी सुधार करता है। हमारे प्रयोगों से पता चलता है कि WARM सारांश कार्यों में पारंपरिक विधियों, सर्वश्रेष्ठ N और RL विधियों से बेहतर प्रदर्शन करता है, WARM LLM पूर्वानुमानों की समग्र गुणवत्ता और संरेखण में सुधार करता है।