Recientemente, Google anunció el lanzamiento de su nuevo modelo de IA de código abierto, DataGemma, diseñado para abordar el problema de las "alucinaciones" que a menudo presentan los modelos lingüísticos grandes (LLM) al procesar datos estadísticos.
Este fenómeno de las alucinaciones hace que los modelos puedan proporcionar respuestas inexactas a preguntas sobre números y estadísticas. El lanzamiento del modelo DataGemma marca un avance importante para Google en el campo de la IA.
Nota de la imagen: Imagen generada por IA, proveedor de servicios de licencias de imágenes Midjourney
Reducción de las alucinaciones en consultas estadísticas
DataGemma se compone de dos métodos diferentes, diseñados para mejorar la precisión de las respuestas a las preguntas de los usuarios. Estos modelos se basan en la gran cantidad de datos del mundo real de la plataforma de intercambio de datos de Google, Data Commons, que cuenta con más de 240 mil millones de puntos de datos que abarcan información de los ámbitos económico, científico, sanitario y otros. Esto proporciona a los modelos una base fáctica sólida.
Ambos modelos nuevos están disponibles en Hugging Face para uso académico y de investigación. Se basan en los modelos abiertos de la serie Gemma existentes y utilizan una gran cantidad de datos del mundo real de la plataforma Data Commons creada por Google para fundamentar sus respuestas. Esta plataforma pública proporciona un grafo de conocimiento abierto que contiene más de 240 mil millones de puntos de datos de organizaciones de confianza en los ámbitos económico, científico, sanitario y otros.
Acceso al modelo: https://huggingface.co/collections/google/datagemma-release-66df7636084d2b150a4e6643
Los investigadores de Google afirman que han explorado diversos aspectos del fenómeno de las alucinaciones de los modelos, intentando determinar las causas de este problema. Los modelos tradicionales a veces funcionan mal al procesar problemas lógicos y aritméticos, y los datos estadísticos públicos suelen tener formatos diversos e información de contexto compleja, lo que dificulta su comprensión.
Para solucionar estos problemas, los investigadores de Google han combinado dos métodos nuevos. El primero se denomina "Generación cruzada de recuperación" (RIG), que mejora la precisión comparando las respuestas generadas por el modelo con la información estadística relevante de Data Commons. Para ello, un LLM ajustado genera consultas en lenguaje natural que describen el valor generado inicialmente por el LLM. Una vez preparada la consulta, un pipeline de posprocesamiento de múltiples modelos la convierte en una consulta de datos estructurados y la ejecuta para recuperar respuestas estadísticas relevantes de Data Commons, y devuelve o corrige la generación del LLM con las citas correspondientes.
El segundo se denomina "Generación mejorada por recuperación" (RAG), que permite al modelo extraer variables relevantes de la pregunta estadística original y construir una consulta en lenguaje natural, para luego obtener los datos relevantes de Data Commons. En este caso, el modelo Gemma ajustado utiliza la pregunta estadística original para extraer las variables relevantes y generar una consulta en lenguaje natural para Data Commons. A continuación, se ejecuta la consulta en la base de datos para obtener la información/tabla estadística relevante. Una vez extraídos los valores, se utilizan junto con la consulta del usuario original para indicar a un LLM de contexto largo (en este caso, Gemini1.5Pro) que genere la respuesta final con alta precisión.
Mejora significativa de la precisión
En las pruebas preliminares, el modelo DataGemma que utiliza el método RIG logró aumentar la precisión fáctica del modelo de referencia del 5-17% a aproximadamente el 58%. Aunque el método RAG obtuvo resultados ligeramente inferiores, sigue siendo superior al modelo de referencia.
Los datos indican que DataGemma puede responder correctamente al 24-29% de las preguntas estadísticas, con una precisión numérica del 99%, pero aún presenta una tasa de error del 6 al 20% al extraer conclusiones correctas.
Google espera que el lanzamiento de DataGemma impulse la investigación en este campo y siente las bases para futuros modelos Gemma y Gemini. La investigación de Google continuará, y se espera que, tras las pruebas rigurosas, estas mejoras se integren en más modelos.
Puntos clave:
🌟 Google lanza el modelo DataGemma para reducir los errores de la IA en las consultas estadísticas.
📊 DataGemma utiliza la plataforma de intercambio de datos de Google para mejorar la precisión de las respuestas del modelo.
🔍 Las pruebas preliminares muestran una mejora significativa en la precisión de las consultas estadísticas de DataGemma.