Dans le domaine de l'apprentissage profond, les couches de normalisation sont considérées comme des composants essentiels des réseaux neuronaux modernes. Récemment, les résultats de recherche dirigés par Liu Zhuang, chercheur scientifique chez Meta FAIR - « Transformer sans couche de normalisation » - ont suscité un intérêt considérable. Cette recherche propose non seulement une nouvelle technique appelée tanh dynamique (Dynamic Tanh, DyT), mais montre également que l'architecture Transformer peut rester efficace sans les couches de normalisation traditionnelles.