Récemment, un doctorant européen a suscité un vif intérêt dans le monde de l'apprentissage automatique. Il s'est étonné de la productivité de ses homologues américains, qui publient en moyenne dix articles dans des conférences de premier plan, dont cinq en tant que premier auteur.
Lui-même, après quatre années de doctorat en Europe, a passé sa première année à comprendre les bases de la recherche, a publié un article à la conférence CVPR la deuxième année, et a finalement maîtrisé la gestion de projet et les demandes de financement la troisième année.
Son curriculum vitae ne compte que deux publications supplémentaires, un article de revue et un article de conférence, tous deux en tant que premier auteur. Bien que respectable, cela paraît dérisoire comparé aux réalisations de ses collègues américains.
« Comment font-ils ? Ne dorment-ils jamais ? » se demande-t-il, perplexe face à leur efficacité. Il ne se considère pas moins intelligent, mais chaque fois qu'il a une nouvelle idée, il découvre qu'un doctorant de Stanford ou de DeepMind a déjà publié une recherche similaire. Comprendre pleinement ces articles exige beaucoup de temps et d'efforts, ce qui rend difficile la réalisation de plusieurs publications en quelques mois.
Source : Image générée par IA, Midjourney
Le doctorant est confronté à une énigme : quels facteurs expliquent cette productivité exceptionnelle ? Il ne cherche pas à rivaliser, car les contextes sont différents. Cependant, il trouve incroyable qu'une personne avec seulement trois ans d'expérience de recherche puisse produire des résultats de haute qualité de manière aussi constante.
Des internautes ont partagé leurs points de vue, soulignant la forte compétition au sein du monde académique américain. La culture du travail y est extrêmement exigeante. Un ancien étudiant d'un programme d'informatique de pointe aux États-Unis a révélé que les étudiants travaillaient plus de 10 heures par jour, presque toute l'année. Il a un jour trouvé ses camarades travaillant jusqu'à 1 h du matin, alors qu'il arrivait au laboratoire à 19 h.
Bien que ce ne soit pas une exigence formelle, la pression est immense. Les laboratoires américains attirent les meilleurs talents mondiaux. Un programme d'élite de Tsinghua, par exemple, a un taux d'admission de seulement 0,1 %. Attirer des étudiants aussi brillants, qui travaillent dix heures par jour, garantit presque des résultats.
Ce phénomène ne se limite pas à l'IA, il est observé dans tous les domaines STEM (sciences, technologie, ingénierie et mathématiques). Un doctorant en physique a vécu la même situation, sans aucun autre engagement.
De plus, les disparités de ressources jouent un rôle crucial. L'accès aux ressources varie considérablement entre les laboratoires. Certains sont équipés de nombreux GPU coûteux, accélérant considérablement la recherche, tandis que d'autres n'ont d'autre choix que de regarder avec envie.
Même aux États-Unis, les différences de ressources entre les universités sont importantes. Un doctorant en apprentissage automatique d'une université de premier plan a déclaré que son laboratoire ne disposait même pas d'une seule carte H100, et que les étudiants se disputaient les ressources de calcul.
Comparés aux « géants du GPU » comme Princeton et Harvard, les doctorants disposant de moins de ressources ont naturellement plus de difficultés à obtenir rapidement des résultats de recherche.
Enfin, l'appui d'institutions prestigieuses est un atout considérable. Les liens étroits entre les grandes universités et les entreprises technologiques stimulent l'innovation et fournissent un soutien supplémentaire. Les raisons de ces différences de productivité méritent une réflexion approfondie.
