Récemment, Tencent Technology (Shenzhen) Co., Ltd. a publié sur l'application Tianyancha un brevet concernant une méthode d'entraînement de modèles linguistiques de grande taille et les équipements associés. Ce brevet, intitulé « Méthode d'entraînement de modèles linguistiques de grande taille, dispositif, équipement informatique et support de stockage », vise à améliorer les capacités d'apprentissage et la précision des modèles linguistiques de grande taille grâce à une méthode d'entraînement innovante.
Dans le processus d'entraînement des modèles linguistiques de grande taille, les méthodes traditionnelles reposent souvent sur un seul résumé de texte, ce qui peut entraîner un surajustement du modèle et affecter la précision et la diversité du contenu généré. Cependant, la nouvelle méthode de Tencent introduit deux sources d'information différentes : un premier résumé de texte et un second résumé de texte. Ces deux résumés contiennent des quantités d'informations différentes, et le premier résumé contient des phrases correctes et incorrectes, formant ainsi la base de l'apprentissage par contraste.
Ce type d'apprentissage par contraste permet au modèle d'apprendre à partir de différents résumés du même texte. En distinguant les phrases correctes et incorrectes du premier résumé, il évite efficacement les erreurs d'apprentissage dues à la simplicité du résumé. Cette méthode innovante améliore non seulement les capacités de généralisation du modèle, lui permettant de mieux performer face à des données inconnues, mais elle augmente également sa précision et réduit la probabilité de générer un contenu erroné.
Avec les progrès constants de l'intelligence artificielle, le champ d'application des modèles linguistiques de grande taille s'élargit de plus en plus. Du traitement du langage naturel au service client intelligent, en passant par la création de contenu, leur potentiel est immense. La publication de ce brevet par Tencent marque une nouvelle avancée technologique dans le domaine de l'entraînement des modèles linguistiques de grande taille et devrait ouvrir de nouvelles perspectives pour les recherches et les applications futures.
On peut prévoir que le développement futur de cette technologie stimulera le progrès continu des applications intelligentes et aidera les différents secteurs à mieux exploiter les avantages de l'intelligence artificielle dans leur transformation numérique.