La aplicación Tianyancha muestra que Tencent Technology (Shenzhen) Co., Ltd. ha solicitado recientemente una patente llamada "Método de entrenamiento, dispositivo, equipo informático y medio de almacenamiento para modelos de lenguaje extenso". El resumen de esta patente revela que el método proporciona más información para el aprendizaje del modelo al introducir un primer texto de resumen y un segundo texto de resumen durante el proceso de entrenamiento del modelo de lenguaje extenso.
Según la descripción de la patente, la cantidad de información contenida en el primer texto de resumen y el segundo texto de resumen es diferente, y el primer texto de resumen también contiene oraciones correctas e incorrectas. Mediante el aprendizaje comparativo de estos dos resúmenes diferentes del mismo texto y la distinción entre las oraciones correctas e incorrectas, se puede evitar eficazmente el sobreajuste del modelo y la generación de resultados inexactos que pueden ser causados por la simplicidad de un solo texto de resumen.
La innovación de este método radica en la mejora del rendimiento de generalización del modelo y en la mejora efectiva de la precisión del modelo. Al introducir contenido de texto de resumen diversificado, este método de entrenamiento de Tencent aporta una mejora más eficiente y precisa al proceso de entrenamiento del modelo de lenguaje extenso.
