L'application Tianyancha indique que Tencent Technology (Shenzhen) Co., Ltd. a récemment déposé un brevet intitulé « Méthode d'entraînement de modèle linguistique de grande taille, dispositif, équipement informatique et support de stockage ». Le résumé de ce brevet révèle que cette méthode introduit un premier texte de résumé et un second texte de résumé afin de fournir au modèle davantage d'informations exploitables lors de son entraînement.
Selon la description du brevet, le premier et le second texte de résumé contiennent des quantités d'informations différentes. Le premier texte de résumé inclut des phrases correctes et des phrases incorrectes. En comparant et en apprenant à distinguer les phrases correctes des phrases incorrectes dans ces deux résumés du même texte, il est possible d'éviter efficacement les problèmes de sur-apprentissage et de génération imprécise du modèle, problèmes qui peuvent survenir avec un seul texte de résumé.
L'innovation de cette méthode réside dans l'amélioration des performances de généralisation du modèle et une augmentation significative de sa précision. Grâce à l'introduction de contenus de résumé diversifiés, cette méthode d'entraînement de Tencent permet une amélioration plus efficace et plus précise de l'entraînement des modèles linguistiques de grande taille.