El equipo de Nous Research ha publicado un nuevo optimizador llamado DisTrO, diseñado para reducir la necesidad de transmisión de información en el entrenamiento distribuido en internet, mejorando significativamente la eficiencia del entrenamiento de modelos de IA. DisTrO permite el entrenamiento con conexiones a internet comunes, permitiendo a individuos e instituciones de todo el mundo participar en el desarrollo de IA usando sus propios ordenadores, rompiendo el monopolio de las grandes empresas en el entrenamiento de IA. En comparación con el algoritmo tradicional All-Reduce, DisTrO ofrece una mejora de eficiencia de hasta 857 veces, por cada paso de entrenamiento.