Según informes recientes, Amazon está desarrollando un modelo de lenguaje multimodal de gran tamaño llamado "Olympus", que se espera que se presente oficialmente en la conferencia AWS re:Invent de la próxima semana. Según theinformation, el nombre en código interno de este algoritmo es "Olympus". En noviembre del año pasado, Reuters informó que Amazon había invertido millones de dólares en el entrenamiento de un modelo de lenguaje de gran tamaño llamado "Olympus", con una cantidad de parámetros de hasta 2 billones. En cuanto a esta...

El Laboratorio Tencent Youtu y otras instituciones han lanzado VITA, el primer modelo de lenguaje multimodal de código abierto, con el objetivo de cubrir la brecha que existe en los modelos de lenguaje de gran tamaño en el procesamiento de dialectos chinos. VITA, basado en el modelo Mixtral8×7B, ha ampliado su vocabulario chino y ha recibido un ajuste fino de instrucciones bilingües, dominando tanto el inglés como el chino. Sus características clave incluyen: 1. **Comprensión multimodal:** VITA puede procesar vídeo, imágenes, texto y audio, algo sin precedentes en los modelos de código abierto. 2. **Interacción natural:** No necesita palabras clave de activación específicas, responde al instante y mantiene una actitud cortés y no intrusiva.

Lingyi Wanwu lanza el modelo de lenguaje multimodal Yi-VL, disponible en dos versiones: Yi-VL-34B y Yi-VL-6B. El modelo Yi-VL demuestra una capacidad excepcional en la comprensión de imágenes y texto, así como en la generación de diálogos. Ha obtenido resultados líderes en conjuntos de datos en inglés y chino. Yi-VL-34B supera a otros modelos multimodales con una precisión del 41.6%. Yi-VL se basa en la arquitectura LLaVA y cuenta con una potente capacidad de comprensión y generación de lenguaje.

NExT-GPT es un modelo de lenguaje multimodal de código abierto desarrollado por la Universidad Nacional de Singapur, capaz de procesar texto, imágenes, video y audio, ofreciendo un potente soporte para aplicaciones de inteligencia artificial multimedia. Adopta una arquitectura de tres capas, incluyendo proyección lineal, el núcleo Vicuna LLM y capas de transformación específicas del modo, mediante la tecnología MosIT para el entrenamiento de la capa intermedia. Su contribución de código abierto permite a investigadores y desarrolladores crear aplicaciones que integran múltiples entradas modales, con un amplio abanico de aplicaciones potenciales. La singularidad de NExT-GPT radica en su capacidad para adaptarse a...

Investigadores de Apple y la Universidad de Columbia han desarrollado conjuntamente el modelo de lenguaje multimodal Ferret, diseñado para lograr una comprensión y descripción de imágenes de alto nivel. El modelo Ferret presenta una potente capacidad de comprensión global, capaz de procesar texto libre y regiones citadas, superando el rendimiento de los modelos tradicionales. Los investigadores crearon el conjunto de datos GRIT, que incluye 1,1 millones de muestras, para guiar al modelo en tareas de citación y localización. La evaluación de Ferret-Bench muestra que Ferret supera en promedio al mejor modelo MLLM en un 20,4%.