ALMA-R मॉडल, जिसे Contrastive Preference Optimization (CPO) के माध्यम से और अधिक LoRA ट्यूनिंग की गई है, GPT-4 और WMT विजेताओं को पार कर गया है। उपयोगकर्ता GitHub रिपॉजिटरी में ALMA(-R) मॉडल और डेटासेट डाउनलोड कर सकते हैं। ALMA-R, ALMA मॉडल पर आधारित है, जिसे सुपरवाइज्ड फ़ाइन-ट्यूनिंग के बजाय, हमारे द्वारा प्रस्तावित Contrastive Preference Optimization (CPO) के माध्यम से फ़ाइन-ट्यून किया गया है। CPO फ़ाइन-ट्यूनिंग के लिए हमारे ट्रिपल-लेट प्रेफ़रेंस डेटा को प्रेफ़रेंस लर्निंग की आवश्यकता होती है। ALMA-R अब GPT-4 या WMT विजेताओं से मेल खा सकता है या उनसे भी आगे निकल सकता है!