Mozilla a récemment lancé un outil appelé LocalScore via son programme Mozilla Builders. Cet outil vise à simplifier les tests de référence pour les grands modèles linguistiques (LLM) locaux. Compatible avec Windows et Linux, il présente un potentiel énorme et constitue un élément important pour un framework LLM facile à distribuer. Bien qu'en phase de développement précoce, LocalScore affiche déjà de bonnes performances.
LocalScore est basé sur la version Llamafile 0.9.2 sortie la semaine dernière. Cette mise à jour fait de LocalScore un outil de référence pratique permettant d'évaluer les performances des grands modèles linguistiques sur CPU et GPU. Cet outil permet aux utilisateurs de mesurer facilement les performances des systèmes LLM et d'obtenir des résultats rapides et fiables.
Les utilisateurs peuvent appeler LocalScore directement depuis le package Llamafile ou utiliser les fichiers binaires LocalScore autonomes disponibles pour Windows et Linux, facilitant ainsi les tests de référence de l'IA. Il est important de noter que LocalScore.ai, un dépôt optionnel, est dédié au stockage des résultats des tests de référence CPU et GPU, calculés sur la base du modèle officiel Meta Llama 3.1. LocalScore.ai permet aux utilisateurs d'exécuter facilement les tests de référence de manière simple et intuitive.
Le lancement de LocalScore renforce non seulement l'influence de Mozilla dans le domaine de l'IA et des LLM, mais fournit également aux développeurs et aux chercheurs un outil de référence open source et pratique. Le programme Mozilla Builders attend avec impatience l'émergence d'autres outils de référence IA open source, faciles à utiliser et à déployer rapidement sur plusieurs plateformes, afin de favoriser le développement de la technologie de l'IA.
