El Instituto de Investigación de Inteligencia Artificial (BAAI) ha lanzado recientemente tres nuevos modelos vectoriales que destacan en tareas de recuperación vectorial y han establecido nuevos estándares en varios conjuntos de evaluación.

  1. BGE-EN-ICL: Un modelo vectorial en inglés que mejora su capacidad de expresión semántica mediante la introducción de ejemplos de consulta-documento relacionados con la tarea como pocos ejemplos.

  2. BGE-Multilingual-Gemma2: Un modelo vectorial multilingüe que ofrece un rendimiento excepcional, especialmente en la mejora de las capacidades en inglés y chino.

  3. BGE-Reranker-v2.5-Gemma2-Lightweight: Un modelo de reordenamiento multilingüe que, gracias a un diseño optimizado, admite la salida anticipada por capas y la compresión de tokens, lo que ahorra recursos computacionales.

Estos modelos, entrenados con modelos de lenguaje extenso, presentan una excelente capacidad de adaptación a diferentes dominios y un amplio rendimiento de generalización. También emplean el aprendizaje contextual y técnicas de destilación para mejorar el rendimiento general y la capacidad en tareas de recuperación. El modelo BGE-Reranker-v2.5-Gemma2-Lightweight se centra especialmente en un diseño ligero, lo que lo hace más eficiente sin sacrificar el rendimiento.

En los resultados experimentales, estos modelos han demostrado un excelente rendimiento en varios conjuntos de evaluación como MTEB, BEIR y AIR-Bench. BGE-Multilingual-Gemma2 destaca por su capacidad multilingüe, especialmente en la mejora del inglés y el chino. BGE-EN-ICL destaca especialmente en el rendimiento con pocos ejemplos (few-shot). BGE-Reranker-v2.5-Gemma2-Lightweight también ha logrado mejores resultados en tareas de reordenamiento, manteniendo una eficiencia superior a la vez que ahorra recursos computacionales.

Enlaces de los modelos

(1) BGE-EN-ICL:

https://huggingface.co/BAAI/bge-en-icl

(2) BGE-Multilingual-Gemma2:

https://huggingface.co/BAAI/bge-multilingual-gemma2

(3) BGE-Reranker-v2.5-Gemma2-Lightweight:

https://huggingface.co/BAAI/bge-reranker-v2.5-gemma2-lightweight