Meta publie le modèle Llama 2-Long, réduisant les besoins de calcul pour les longs textes de 40%

Meta vient de publier Llama 2-Long, un modèle capable de traiter de longs textes sans augmenter les besoins en calcul, tout en maintenant des performances exceptionnelles. Grâce à un entraînement continu, des améliorations de l'encodage de position et une stratégie de mélange de données, la réduction des coûts de calcul peut atteindre 40%. Il offre des performances supérieures, aussi bien sur les tâches longues que courtes, surpassant même GPT-3.5 dans certains cas. Cette publication apporte un souffle nouveau au domaine du traitement du langage naturel.