Les grands modèles linguistiques (LLM) connaissent un développement fulgurant ces derniers temps, et les modèles Transformer y jouent un rôle essentiel. Au cœur des Transformer se trouve le mécanisme d'attention, qui agit comme un filtre d'information, permettant au modèle de se concentrer sur les parties les plus importantes d'une phrase. Mais même les puissants Transformer peuvent être perturbés par des informations non pertinentes, comme si vous cherchiez un livre à la bibliothèque et étiez submergé par une pile de livres inutiles, ce qui réduit naturellement l'efficacité. Ces informations non pertinentes générées par le mécanisme d'attention sont appelées "bruit d'attention" dans les publications scientifiques. Imaginez que vous vouliez...

La société française d'IA Mistral a reçu un investissement de Microsoft et a lancé Le Chat, un chatbot qui rivalise avec ChatGPT. Le Chat est disponible en version bêta ouverte. Mistral propose des versions gratuites et payantes. Un accord de partenariat a été conclu entre Microsoft et Mistral. Mistral est devenu le deuxième fournisseur à proposer des modèles linguistiques commerciaux sur la plateforme cloud Microsoft Azure. Mistral est évalué à environ 2 milliards d'euros. Microsoft a investi dans...