La aplicación Tianyancha muestra que Tencent Technology (Shenzhen) Co., Ltd. solicitó recientemente una patente denominada "Método de entrenamiento de modelos de lenguaje extenso, dispositivo, equipo informático y medio de almacenamiento". El resumen de esta patente revela que el método proporciona más información aprendible para el modelo durante el entrenamiento introduciendo un primer texto de resumen y un segundo texto de resumen. Según la descripción de la patente, la cantidad de información contenida en el primer y segundo texto de resumen es diferente, y el primer texto de resumen también incluye oraciones correctas e incorrectas. Mediante el uso de estos dos textos para el mismo texto

Recientemente, equipos de investigación de la Universidad de Stanford y la Universidad de Washington publicaron conjuntamente un método innovador para el entrenamiento de IA llamado S1. Su concepto central radica en el uso de una técnica de escalado en tiempo de prueba extremadamente simple para mejorar significativamente la capacidad de razonamiento de los modelos de lenguaje. A diferencia de los métodos anteriores que dependían de una gran potencia de cálculo o algoritmos complejos, S1 logra un salto en el rendimiento mediante el control inteligente de la asignación de recursos computacionales del modelo durante la prueba. S1 comienza construyendo un pequeño conjunto de datos llamado s1K, que contiene 1000 problemas de razonamiento de alta calidad. La selección de este conjunto de datos...

Siempre hemos soñado con tener robots tan inteligentes como los humanos, que nos ayuden con las tareas del hogar, que nos hagan compañía, e incluso que sean como J.A.R.V.I.S., el asistente de Iron Man. Sin embargo, la realidad es muy diferente a la fantasía. Enseñar a un robot a realizar tareas no es algo sencillo, es tan difícil como intentar que tu novia entienda la razón, requiere mucho esfuerzo y no siempre se obtienen resultados. ¿Por qué? Porque el mundo real es muy complejo y está lleno de imprevistos y cambios. Piensa en lo difícil que es convencer a tu novia de algo sencillo, imagínate entonces enseñarle a un robot sin pensamiento humano...

Un equipo de la Universidad de Pekín y la Universidad de Ciencia y Tecnología de Hong Kong ha logrado un gran avance: han presentado un método de entrenamiento que permite a un modelo médico experto de 8B parámetros alcanzar el rendimiento de GPT-4. Este logro no es trivial; además, introducen un nuevo concepto, la «brecha de estabilidad», para explicar ciertos fenómenos observados en el entrenamiento continuo de grandes modelos de lenguaje.

Un equipo de investigación presenta un nuevo método de entrenamiento para mejorar la capacidad de generación de imágenes de DALL-E3. El método combina títulos sintéticos y reales, solucionando problemas de percepción espacial y representación de texto. Los modelos de lenguaje avanzados como GPT-4 juegan un papel clave en la mejora de la calidad y profundidad del texto. La investigación muestra mejoras significativas en la calidad y precisión de la generación de imágenes de DALL-E3. Esta estrategia sienta las bases para el desarrollo continuo de la tecnología de generación de imágenes a partir de texto en el futuro.