L'Institut de Recherche sur l'Intelligence Artificielle (智源研究院) a récemment publié trois nouveaux modèles vectoriels qui excellent dans les tâches de recherche vectorielle et ont établi de nouveaux records sur plusieurs benchmarks.

  1. BGE-EN-ICL : un modèle vectoriel anglais qui améliore ses capacités d'expression sémantique grâce à l'introduction d'exemples requête-document liés à la tâche comme exemples de faible volume.

  2. BGE-Multilingual-Gemma2 : un modèle vectoriel multilingue qui offre d'excellentes performances, notamment en améliorant les capacités en chinois et en anglais.

  3. BGE-Reranker-v2.5-Gemma2-Lightweight : un modèle de réordonnancement multilingue optimisé pour permettre une sortie anticipée par couche et une compression des jetons, réduisant ainsi les ressources de calcul.

Ces modèles, entraînés sur des grands modèles de langage, possèdent une remarquable capacité d'adaptation au domaine et une large capacité de généralisation. Ils utilisent également l'apprentissage contextuel et des techniques de distillation pour améliorer leurs performances globales et leurs capacités dans les tâches de recherche. Le modèle BGE-Reranker-v2.5-Gemma2-Lightweight est particulièrement axé sur la légèreté, lui permettant d'être plus efficace tout en conservant des performances exceptionnelles.

Les résultats expérimentaux montrent que ces modèles excellent sur plusieurs benchmarks, tels que MTEB, BEIR et AIR-Bench. BGE-Multilingual-Gemma2 se distingue par ses capacités multilingues, notamment en chinois et en anglais. BGE-EN-ICL se démarque particulièrement dans les scénarios « few-shot ». BGE-Reranker-v2.5-Gemma2-Lightweight obtient également de meilleurs résultats dans les tâches de réordonnancement, garantissant une efficacité supérieure tout en économisant des ressources de calcul.

Liens des modèles

(1) BGE-EN-ICL :

https://huggingface.co/BAAI/bge-en-icl

(2) BGE-Multilingual-Gemma2 :

https://huggingface.co/BAAI/bge-multilingual-gemma2

(3) BGE-Reranker-v2.5-Gemma2-Lightweight :

https://huggingface.co/BAAI/bge-reranker-v2.5-gemma2-lightweight