O modelo ALMA-R, refinado com otimização de preferência contrastiva (CPO) por meio de ajuste fino LoRA, supera o GPT-4 e os vencedores do WMT. Usuários podem baixar o modelo ALMA(-R) e o conjunto de dados no repositório GitHub. O ALMA-R, baseado no modelo ALMA, utiliza a otimização de preferência contrastiva (CPO) proposta por nós para ajuste fino, ao contrário do ajuste fino supervisionado usado no ALMA. O ajuste fino CPO requer nossos dados de preferência em triplos para aprendizado de preferência. O ALMA-R agora pode igualar ou mesmo superar o GPT-4 ou os vencedores do WMT!