xAI ha anunciado recientemente una noticia emocionante: su último modelo de IA, Grok-3, ha destacado en la clasificación de Chatbot Arena. Este modelo, denominado "grok-3preview-02-24", ha demostrado un rendimiento excepcional en varias áreas clave. xAI's Grok-3-Preview-02-24 superó a GPT4.5-Preview por un estrecho margen de 1 punto. Grok-3 recibió más de 3000 votos y, en general,

En el campo de la inteligencia artificial, el entrenamiento de modelos de lenguaje grandes (LLM) se ha convertido en un motor clave del progreso tecnológico. Sin embargo, a medida que aumentan el tamaño de los modelos y los conjuntos de datos, los métodos de optimización tradicionales, especialmente AdamW, muestran sus limitaciones. Los investigadores se enfrentan a una serie de desafíos, como altos costes computacionales, inestabilidad en el entrenamiento, incluyendo la desaparición o explosión de gradientes, actualizaciones inconsistentes de la matriz de parámetros y altas demandas de recursos en entornos distribuidos. Por lo tanto, se necesitan urgentemente técnicas de optimización más eficientes y estables para abordar estas complejidades. Para...

Recientemente, el exitoso lanzamiento del proyecto VLM-R1 ha traído una nueva esperanza a este campo. Este proyecto representa la exitosa transferencia del método R1 del equipo DeepSeek a los modelos de lenguaje visual, lo que significa que la comprensión de la IA del contenido visual entrará en una nueva fase. La inspiración de VLM-R1 proviene del método R1 de DeepSeek, publicado el año pasado, que utiliza la optimización del procesamiento de recompensas generativas (GRPO, por sus siglas en inglés).

Una investigación reciente realizada conjuntamente por la Universidad de Múnich, el Centro de Aprendizaje Automático de Múnich y Adobe Research muestra que 12 modelos de lenguaje de IA de vanguardia, incluyendo GPT-4o, Gemini1.5Pro y Llama-3.3-70B, enfrentan una disminución significativa del rendimiento en tareas de inferencia conceptual de textos largos. A pesar de que estos modelos admiten el procesamiento de contexto de al menos 128.000 tokens, su capacidad de asociación lógica profunda presenta limitaciones fundamentales. El equipo de investigación desarrolló NOLIMA (sin coincidencia de texto...

Recientemente, Huggingface, la comunidad de código abierto de inteligencia artificial más grande del mundo, publicó la última clasificación de modelos de lenguaje abierto (Open LLM Leaderboard). Los resultados muestran que los diez principales modelos de lenguaje abierto de código abierto son modelos derivados basados en el modelo de código abierto Alibaba Tongyi Qianwen (Qwen) entrenados dos veces. Este logro marca la posición de liderazgo de Qwen en el campo de la IA de código abierto y promueve aún más su influencia global. Open LLM Leaderboard es ampliamente...

La aplicación Tianyancha muestra que Tencent Technology (Shenzhen) Co., Ltd. solicitó recientemente una patente denominada "Método de entrenamiento de modelos de lenguaje extenso, dispositivo, equipo informático y medio de almacenamiento". El resumen de esta patente revela que el método proporciona más información aprendible para el modelo durante el entrenamiento introduciendo un primer texto de resumen y un segundo texto de resumen. Según la descripción de la patente, la cantidad de información contenida en el primer y segundo texto de resumen es diferente, y el primer texto de resumen también incluye oraciones correctas e incorrectas. Mediante el uso de estos dos textos para el mismo texto

Recientemente, Tencent Technology (Shenzhen) Co., Ltd. publicó en la aplicación Tianyancha una patente sobre un método de entrenamiento y dispositivos relacionados para modelos de lenguaje extenso. Esta patente, titulada "Método de entrenamiento, dispositivo, equipo informático y medio de almacenamiento para modelos de lenguaje extenso", tiene como objetivo mejorar la capacidad de aprendizaje y la precisión de los modelos de lenguaje extenso mediante un método de entrenamiento innovador. En el entrenamiento de modelos de lenguaje extenso, los métodos tradicionales a menudo dependen de un solo resumen de texto, lo que puede provocar un sobreajuste del modelo y afectar la precisión y la diversidad del contenido generado. Sin embargo, la nueva patente de Tencent...

En el campo de la investigación académica, la búsqueda de literatura es una tarea compleja e importante de obtención de información. Los investigadores necesitan la capacidad de manejar consultas complejas en áreas de conocimiento especializadas para satisfacer las necesidades de investigación detalladas. Sin embargo, las plataformas de búsqueda académica existentes, como Google Académico, a menudo tienen dificultades para manejar estas consultas de investigación complejas. Por ejemplo, una consulta especializada sobre el aprendizaje por refuerzo no estacionario que utiliza el método UCB requiere una capacidad de cálculo y análisis más potente. Además, los investigadores suelen dedicar mucho tiempo y esfuerzo a revisar manualmente una gran cantidad de trabajos académicos cuando realizan revisiones de la literatura.

En tareas multimodales, los modelos de lenguaje visual (VLMs) juegan un papel crucial, como en la recuperación de imágenes, la generación de descripciones de imágenes y el diagnóstico médico. El objetivo de estos modelos es alinear los datos visuales con los datos lingüísticos para lograr un procesamiento de la información más eficiente. Sin embargo, los VLMs actuales aún enfrentan importantes desafíos en la comprensión de la negación. La negación es crucial en muchas aplicaciones, como distinguir entre "una habitación sin ventanas" y "una habitación con ventanas". A pesar de los notables avances de los VLMs, los modelos existentes muestran limitaciones en el manejo de enunciados negativos.

El 20 de enero de 2025, Jieyue Xingchen Intelligent Technology Co., Ltd. de Shanghai anunció el lanzamiento de dos nuevos miembros de su serie de modelos de lenguaje Step: Step-2mini y Step-2 Maestro de Literatura. Esta iniciativa tiene como objetivo satisfacer las diferentes necesidades de los desarrolladores de modelos de lenguaje en diversos escenarios creativos, ampliando aún más sus capacidades de aplicación en el campo de la inteligencia artificial.

En el campo de la inteligencia artificial, el 'problema de alucinación' de los modelos de lenguaje grandes ha sido un desafío clave para la industria. Recientemente, los resultados de una prueba basada en el sistema de evaluación HHEM-2.1-Open muestran que el modelo GLM-4-9B de Zhihu AI ha presentado resultados notables. Los datos de la prueba muestran que, de los 85 modelos de lenguaje grandes que participaron en la evaluación, GLM-4-9B obtuvo el primer lugar con una tasa de consistencia de hechos del 98.7% y una tasa de respuesta del 100%. Cabe destacar que la tasa de alucinación de este modelo es de solo el 1.3%, un logro significativo.

A medida que las empresas utilizan cada vez más modelos de lenguaje grandes (LLM), mejorar la precisión del conocimiento del modelo y reducir las alucinaciones se ha convertido en un desafío importante. Los investigadores de Meta AI presentan en un nuevo artículo una "capa de memoria escalable" que podría ofrecer una solución a este problema. La idea central de la capa de memoria escalable es agregar más parámetros a los LLM para mejorar su capacidad de aprendizaje sin aumentar los recursos computacionales durante la inferencia. Esta arquitectura es adecuada para almacenar una gran cantidad de conocimientos fácticos mientras se mantiene la eficiencia computacional.

Con la proliferación de los modelos de lenguaje grandes (LLM) en las aplicaciones modernas de inteligencia artificial, herramientas como los chatbots y los generadores de código dependen de las capacidades de estos modelos. Sin embargo, los problemas de eficiencia en el proceso de inferencia se están volviendo cada vez más pronunciados. Especialmente en el manejo de mecanismos de atención, como FlashAttention y SparseAttention, a menudo se enfrentan a desafíos con cargas de trabajo diversas, patrones de entrada dinámicos y limitaciones de recursos de GPU. Estos desafíos, junto con la alta latencia y los cuellos de botella de memoria

TypingMind es una herramienta de terceros diseñada para ofrecer a los usuarios una experiencia mejorada con ChatGPT. Creada por el desarrollador independiente Tony Dinh, admite varios modelos de lenguaje grandes, incluyendo GPT de OpenAI y Claude de Anthropic. Ofrece funciones básicas como chats, listas de múltiples conversaciones y plantillas de indicaciones, sin necesidad de descarga ni instalación, lo que facilita su uso. Esta herramienta también admite la implementación privada, ofreciendo protección de la privacidad de los datos; su modelo de negocio...

Los modelos de lenguaje generativos enfrentan muchos desafíos desde su entrenamiento hasta su aplicación práctica. Un problema principal es cómo lograr el mejor rendimiento del modelo en la etapa de inferencia. Las soluciones actuales, como el aprendizaje por refuerzo con retroalimentación humana (RLHF), se centran principalmente en mejorar la tasa de éxito del modelo, pero a menudo ignoran las estrategias de decodificación durante la inferencia, como el muestreo Best-of-N y la decodificación controlada. Esta brecha entre el objetivo de entrenamiento y el uso real puede provocar ineficiencias, afectando la calidad y confiabilidad de la salida. Para abordar estos problemas, Google D...

Recientemente, los científicos de Sakana AI han logrado un avance innovador en el campo de la inteligencia artificial. Por primera vez, han utilizado con éxito modelos de lenguaje y visión (vision-language foundation models, FMs) para realizar una búsqueda automática de simulaciones de vida artificial (Artificial Life, ALife). Esta iniciativa, llamada ASAL (Automated Search for Artificial Life, Búsqueda Automatizada de Vida Artificial),...

Según información de Intelligent Emergence, StepStar, unicornio chino de modelos de lenguaje grandes, ha completado recientemente una ronda de financiación Serie B de cientos de millones de dólares. Entre los inversores principales se encuentran Shanghai State-owned Capital Investment Co., Ltd. y sus fondos afiliados, así como Tencent Investment, Wuyuan Capital, Qiming Venture Partners y otros inversores estratégicos y financieros. Estos fondos se destinarán principalmente a la investigación y desarrollo de modelos básicos, para mejorar aún más las capacidades multimodales y de razonamiento complejo, y para expandir las aplicaciones para el usuario final. Como uno de los 'seis pequeños tigres' de los modelos de lenguaje grandes de China, StepStar se caracteriza por su sólida tecnología y su alta eficiencia de producción. Sus modelos de la serie Step de desarrollo propio abarcan el lenguaje y las imágenes

En la conferencia Volcano Engine FORCE impulsada por la innovación del 18 de diciembre de 2024, Volcano Engine anunció una actualización completa de la familia de modelos de lenguaje grande Doubao, y lanzó un nuevo modelo de comprensión visual. El presidente de Volcano Engine, Tan Dai, declaró que el uso diario de tokens del modelo de lenguaje grande Doubao ha aumentado rápidamente en los últimos meses, alcanzando más de 4 billones, un aumento de 33 veces en comparación con su lanzamiento en mayo. Esta tendencia de crecimiento muestra el amplio uso del modelo de lenguaje grande Doubao en múltiples escenarios de aplicación. En esta ocasión, Volcano Engine, mediante el lanzamiento del modelo de comprensión visual,