Récemment, Jeffrey Wang, chercheur chinois de l'Université Harvard, a officiellement rejoint OpenAI en tant que chercheur au sein de l'équipe fondamentale, se concentrant sur le pré-entraînement et l'inférence des modèles. Cette nouvelle a suscité un large intérêt, et Greg Brockman, co-fondateur et président d'OpenAI, a rapidement souhaité la bienvenue à Jeffrey. Le parcours académique de Jeffrey Wang est particulièrement remarquable. Diplômé d'un lycée californien, il a déjà...

Ilya Sutskever, cofondateur d'OpenAI, a récemment déclaré que les chercheurs en intelligence artificielle devaient trouver de nouvelles méthodes pour étendre l'intelligence des machines afin de surmonter les limites actuelles. Lors d'une conférence à NeurIPS 2024 à Vancouver, au Canada, Sutskever a affirmé que l'ère du pré-entraînement de l'IA touchait à sa fin et a prédit l'émergence d'une superintelligence artificielle. Selon Sutskever, de meilleurs matériels, logiciels et mécanismes...

Les grands modèles de langage suscitent un intérêt considérable au sein de la communauté de l'IA, démontrant des capacités impressionnantes. L'équipe de recherche d'Apple dévoile la technologie WRAP pour le pré-entraînement de grands modèles avec des données synthétiques. WRAP améliore les performances du modèle, réécrit les documents Web et améliore l'efficacité du pré-entraînement. L'utilisation de données synthétiques de haute qualité accélère l'entraînement, améliore les performances globales et ouvre de nouvelles voies.

Le laboratoire IA de Shanghai et la ligue des données de corpus ont publié en open source le corpus de pré-entraînement multi-modal « Shusheng · Wanjuan » 1.0, comprenant des ensembles de données textuelles, textuelles et visuelles et vidéo, pour un total de plus de 2 To. Ce corpus a été nettoyé et dédoublé de manière granulaire ; il se caractérise par sa fusion multiforme, son traitement précis et son efficacité. La publication de ce corpus open source contribuera à promouvoir les applications et l'innovation en matière de grands modèles, et à réduire le seuil d'accès à cette technologie.