Recientemente, el equipo de aprendizaje automático de Vectara realizó pruebas exhaustivas de alucinaciones en dos modelos de la serie DeepSeek. Los resultados muestran que la tasa de alucinaciones de DeepSeek-R1 alcanza un 14.3%, significativamente superior al 3.9% de su predecesor, DeepSeek-V3. Esto indica que, durante el proceso de mejora de la inferencia, DeepSeek-R1 genera más contenido inexacto o inconsistente con la información original. Este resultado ha generado un amplio debate sobre la tasa de alucinaciones en los modelos lingüísticos de gran tamaño (LLM) con inferencia mejorada. Fuente de la imagen

En los últimos años, los modelos visuales de gran tamaño (Large Vision Language Models, LVLMs) han demostrado una capacidad excepcional en la comprensión de imágenes y tareas multimodales. Sin embargo, el problema de las "alucinaciones" se ha vuelto cada vez más destacado. Para abordar este desafío, el equipo del laboratorio de vida futura del grupo Taobao ha propuesto un nuevo método llamado "Optimización de preferencia de tokens" (Token Preference Optimization, TPO), e introduce un método de autocalibración.

A medida que las empresas utilizan cada vez más modelos de lenguaje grandes (LLM), mejorar la precisión del conocimiento del modelo y reducir las alucinaciones se ha convertido en un desafío importante. Los investigadores de Meta AI presentan en un nuevo artículo una "capa de memoria escalable" que podría ofrecer una solución a este problema. La idea central de la capa de memoria escalable es agregar más parámetros a los LLM para mejorar su capacidad de aprendizaje sin aumentar los recursos computacionales durante la inferencia. Esta arquitectura es adecuada para almacenar una gran cantidad de conocimientos fácticos mientras se mantiene la eficiencia computacional.

En la Conferencia Mundial de Baidu 2024, el fundador de Baidu, Li Yanhong, presentó una serie de avances notables en el campo de la IA. Señaló que el avance más significativo de la tecnología de grandes modelos en los últimos dos años radica en la solución básica del problema de las 'alucinaciones', lo que marca un salto cualitativo en la precisión de las respuestas de la IA, pasando de 'decir tonterías con toda seriedad' a convertirse en un asistente inteligente confiable. En la conferencia, Li Yanhong presentó especialmente la nueva tecnología de generación de imágenes a partir de texto mejorada con búsqueda, iRAG, de Baidu. Esta tecnología integra de forma innovadora los vastos recursos de imágenes acumulados por la plataforma de búsqueda de Baidu y las tecnologías avanzadas...

El 12 de noviembre de 2024, la conferencia Baidu World se inauguró con gran éxito en el Centro de Exposiciones de Shanghai. La conferencia incluyó un foro principal, cuatro foros secundarios y más de treinta clases magistrales de inteligencia artificial. El fundador de Baidu, Robin Li, pronunció un discurso titulado "Las aplicaciones han llegado" en el foro principal, presentando los últimos avances tecnológicos y logros de aplicación de Baidu en el campo de la inteligencia artificial, y realizando un profundo análisis de las tendencias futuras de la industria.

Recientemente, Microsoft presentó una solicitud de patente para reducir o eliminar la información falsa generada por la inteligencia artificial mediante un método técnico. La patente, titulada "Interacción con modelos de lenguaje utilizando conocimiento externo y retroalimentación", se presentó a la Oficina de Patentes y Marcas de los Estados Unidos (USPTO) el año pasado y se publicó el 31 de octubre. El núcleo de esta propuesta es proporcionar a los modelos de IA un "Sistema de Mejora de Respuestas" (RAS) que les permita extraer automáticamente más información según las consultas del usuario y verificar la "validez" de sus respuestas. Específicamente, el sistema de mejora de respuestas...

En el rápido desarrollo de la inteligencia artificial, el fenómeno de las "alucinaciones" de IA es cada vez más frecuente, causando problemas significativos a muchas empresas. Los chatbots de atención al cliente describen con confianza productos inexistentes, la IA financiera inventa datos de mercado, y los robots médicos ofrecen consejos médicos peligrosos. Estos problemas ya no son simples anécdotas, sino graves riesgos que afectan la reputación y los beneficios de las empresas. Para abordar este desafío, la empresa emergente Patronus AI, con sede en San Francisco, anuncia el lanzamiento de la primera plataforma de autoservicio a nivel mundial, diseñada para detectar y prevenir en tiempo real

El equipo de investigación de Disney ha presentado recientemente un nuevo método de compresión de imágenes que utiliza el modelo de código abierto Stable Diffusion V1.2. Este método permite generar imágenes más realistas a una tasa de bits más baja que la de sus competidores. Este nuevo método se denomina 'códec' y, aunque es mucho más complejo que los códecs JPEG y AV1 tradicionales, su rendimiento es asombroso. El estudio muestra que el nuevo método es superior en la recuperación de detalles de la imagen, al tiempo que reduce considerablemente los costes de entrenamiento. Investigador

Recientemente, una herramienta de transcripción de IA impulsada por la tecnología Whisper de OpenAI se ha vuelto muy popular en el sector médico. Muchos médicos y centros médicos utilizan esta herramienta para registrar y resumir las citas con los pacientes. Según un informe de ABC News, los investigadores han descubierto que la herramienta experimenta 'alucinaciones' en algunas situaciones, a veces incluso inventando contenido completamente. Esta herramienta de transcripción, desarrollada por una empresa llamada Nabla, ha transcrito con éxito más de 7 millones de conversaciones médicas y actualmente cuenta con más de 30.000 usuarios.

El auge de los grandes modelos lingüísticos (LLM), especialmente la popularización de aplicaciones como ChatGPT, ha transformado radicalmente la forma en que interactuamos con las máquinas. Estos modelos pueden generar textos coherentes y completos, lo que resulta impresionante. Sin embargo, a pesar de su potencia, los LLM son propensos a las "alucinaciones", es decir, a generar contenido que parece real pero que en realidad es ficticio, sin sentido o inconsistente con la indicación. Investigadores de la Universidad de Harvard han realizado un estudio profundo sobre el fenómeno de las "alucinaciones" en los LLM, descubriendo que su origen radica en el principio de funcionamiento de los LLM. Los LLM funcionan procesando enormes cantidades de datos textuales...

El desarrollo de Microsoft en el campo de la inteligencia artificial está experimentando un cambio significativo. Tras una ambiciosa apuesta por el desarrollo interno de modelos grandes de lenguaje, ahora centra su atención en la colaboración con OpenAI y lanza una nueva función de "corrección", destinada a resolver el problema de las 'alucinaciones' en el contenido generado por IA. De la investigación propia a la colaboración: la evolución de la estrategia de IA de Microsoft. Inicialmente, Microsoft invirtió abundantes recursos en el campo de la IA generativa (GenAI), con la esperanza de crear modelos de IA que rivalizaran o incluso superaran a la serie de modelos GPT de OpenAI. Sin embargo, durante el largo proceso de investigación...

Recientemente, Google anunció el lanzamiento de su nuevo modelo de IA de código abierto, DataGemma, diseñado para abordar el problema de las 'alucinaciones' que a menudo presentan los modelos de lenguaje extenso (LLM) al procesar datos estadísticos. Este fenómeno de las alucinaciones hace que los modelos proporcionen respuestas inexactas al responder preguntas sobre números y estadísticas. El lanzamiento del modelo DataGemma marca un avance significativo en el campo de la IA para Google. Nota sobre la imagen: Imagen generada por IA, proveída por el servicio de imágenes Midjourney. Reducción de las alucinaciones en las consultas estadísticas.

Un estudio de Cornell y otras instituciones realizó una prueba de referencia de alucinaciones en modelos de IA generativa como GPT-4o, Claude y Gemini. Descubrió que estos modelos solo generan texto sin alucinaciones en aproximadamente un 35% de los casos, lo que indica que la fiabilidad de la IA aún necesita mejorar. La investigación utilizó fuentes autorizadas en temas como derecho, salud e historia para verificar los hechos, diseñando un conjunto de preguntas que no estaban cubiertas en Wikipedia. Los resultados mostraron que los modelos de OpenAI tuvieron el mejor rendimiento general, pero con una mejora limitada en comparación con GPT-3.5. El estudio señala que el tamaño del modelo no está relacionado con la frecuencia de las alucinaciones, y...

El asistente de inteligencia artificial de Meta informó erróneamente sobre un intento de asesinato fallido del expresidente Trump que nunca sucedió, provocando una amplia controversia. Los ejecutivos de Meta lamentaron el error. Las limitaciones de la programación de la IA llevaron a esta respuesta engañosa; inicialmente se configuró para no responder a preguntas sobre el asesinato de Trump, pero después de que se eliminara la restricción, la IA aún proporcionó información incorrecta en casos aislados. Este fenómeno se conoce como "alucinaciones", un desafío común para la inteligencia artificial generativa. Problemas similares también han afectado a Google, cuyo autocompletado de búsqueda ha sido acusado de censurar a Trump.

En esta era de explosión de información, los creadores de contenido están increíblemente ocupados. Según las encuestas, la mayoría de los creadores dedican más de 20 horas semanales a producir contenido nuevo para sus plataformas. Esto deja poco tiempo para interactuar con sus fans. Sin embargo, Mark Zuckerberg, CEO de Meta, cree que la Inteligencia Artificial (IA) podría ser el 'salvavidas' para resolver este problema.

Si bien los grandes modelos de lenguaje como ChatGPT, Claude y Gemini son impresionantes, comparten un gran problema: a menudo alucinan. Este es un problema grave en el campo de la IA, e incluso Apple ha expresado su preocupación sobre cómo Apple Intelligence manejará las alucinaciones en el futuro. Afortunadamente, un grupo de investigadores ha desarrollado ahora un detector de alucinaciones de IA que puede determinar si la IA está inventando contenido.

El usuario de bilibili "不自由摄影师winga" ha creado un impresionante vídeo con IA que simula los efectos visuales de las alucinaciones causadas por el consumo de hongos venenosos. El vídeo ha superado los 1,5 millones de reproducciones en bilibili, con más de 200.000 "me gusta", llegando incluso al puesto número 13 de la lista general de bilibili. El usuario ha utilizado la ciudad de Yunnan como escenario real y la tecnología de IA para crear efectos visuales innovadores, con comentarios de los usuarios como "Tiene una extraña belleza". En la producción del vídeo se ha utilizado hábilmente Stab...

Galileo Lab presenta un nuevo indicador para ayudar a mejorar la precisión de la IA generativa. OpenAI GPT-4 tiene una tendencia a las alucinaciones del 23% en tareas básicas de preguntas y respuestas. El nuevo indicador de Galileo Labs incluye la exactitud y la coherencia contextual. Estas nuevas herramientas pueden ayudar a las empresas a probar y mitigar los problemas de alucinaciones en sus implementaciones de IA.

OpenAI GPT-4 se destaca en el ranking de Vectara con una tasa de alucinaciones de solo el 3% en resúmenes de documentos, alcanzando una precisión del 97%. Los resultados de Vectara muestran que GPT-4 Turbo y GPT-4 son los mejores, seguidos de GPT-3.5 Turbo. Entre los modelos que no son de OpenAI, Meta Llama ocupa el puesto más alto. Vectara ha publicado un modelo de código abierto para verificar la tasa de alucinaciones de los modelos de lenguaje y mejorar la fiabilidad de los sistemas de IA generativa. Los modelos de Google también se incluyen en el ranking.