Llama 3.1 a fuité ! Vous avez bien entendu, ce modèle open source doté de 405 milliards de paramètres a fait grand bruit sur Reddit. Il s'agit probablement du modèle open source le plus proche de GPT-4o à ce jour, voire le surpassant même sur certains points.
Llama 3.1 est un grand modèle linguistique développé par Meta (anciennement Facebook). Bien qu'il n'ait pas encore été officiellement lancé, la version divulguée a créé une véritable sensation au sein de la communauté. Ce modèle comprend non seulement le modèle de base, mais également les résultats des tests de référence pour les versions 8B, 70B et la version la plus importante avec 405B de paramètres.
Comparaison des performances : Llama 3.1 contre GPT-4o
D'après les résultats comparatifs divulgués, même la version 70B de Llama 3.1 surpasse GPT-4o sur plusieurs tests de référence. C'est la première fois qu'un modèle open source atteint un niveau SOTA (State of the Art, c'est-à-dire la pointe de la technologie) sur plusieurs benchmarks, ce qui nous fait réaliser la puissance incroyable de l'open source !
Points forts du modèle : prise en charge multilingue, données d'entraînement plus riches
Le modèle Llama 3.1 a été entraîné à l'aide de plus de 15 T de jetons provenant de sources publiques, les données de pré-entraînement étant arrêtées en décembre 2023. Il prend non seulement en charge l'anglais, mais aussi plusieurs autres langues, telles que le français, l'allemand, l'hindi, l'italien, le portugais, l'espagnol et le thaï. Cela lui permet d'offrir d'excellentes performances dans les cas d'utilisation de conversations multilingues.
L'équipe de recherche Llama 3.1 accorde une grande importance à la sécurité du modèle. Elle a utilisé plusieurs méthodes de collecte de données, combinant des données générées par l'homme et des données synthétiques, afin de réduire les risques de sécurité potentiels. De plus, le modèle intègre des invites de limites et des invites antagonistes pour améliorer le contrôle de la qualité des données.
Source de la fiche modèle : https://pastebin.com/9jGkYbXY#google_vignette