Le rapport d'avancement technologique 2024 de Doubao, le grand modèle linguistique de ByteDance, a été publié aujourd'hui. Il révèle que sa dernière version, Doubao-pro-1215, a atteint des performances globales comparables à celles de GPT-4, et même surpassé ce dernier dans certains domaines spécialisés. Cette avancée marque l'entrée officielle des technologies chinoises de grands modèles linguistiques dans le premier rang mondial.
Depuis ses débuts en mai dernier, Doubao a amélioré ses capacités de 32% en seulement 7 mois. Selon les informations officielles, grâce à l'optimisation du traitement de données massives et à une architecture de modèle innovante, incluant l'amélioration de la parcimonie du modèle et l'intégration de l'apprentissage par renforcement, Doubao a réalisé des progrès significatifs en termes de précision de compréhension et de qualité de génération. Notamment, dans des scénarios complexes comme les mathématiques et les connaissances spécialisées, ses performances dépassent même celles de GPT-4, pour un prix huit fois inférieur.
Il est important de noter que Doubao a dévoilé pour la première fois sa capacité à traiter des textes extrêmement longs, jusqu'à 3 millions de caractères. Cela signifie qu'il peut traiter simultanément un volume de données équivalent à « des centaines » de rapports académiques. Grâce à l'utilisation d'algorithmes de corrélation de données contextuelles tels que STRING, ainsi qu'à des solutions optimisées de sparsification et de distribution, Doubao maîtrise le traitement de millions de jetons en moins de 15 secondes, améliorant considérablement l'efficacité du traitement des connaissances externes massives.
Cette percée technologique non seulement démontre le développement rapide de l'IA chinoise, mais laisse également présager une accélération de l'adoption des grands modèles linguistiques grâce à un meilleur rapport qualité-prix.
