Recentemente, a área de inteligência artificial foi novamente agitada com o anúncio da Moonshot (月之暗面) do lançamento em código aberto de seu novo otimizador, Muon, que aumentou com sucesso a eficiência computacional em duas vezes em comparação com o AdamW tradicional. O lançamento deste novo otimizador coincide com a iminente publicação em código aberto de vários repositórios de código da DeepSeek, gerando grande atenção e discussão na indústria. O otimizador Muon foi proposto inicialmente em 2024 por pesquisadores da OpenAI, como Keller Jordan, e demonstrou excelente desempenho no treinamento de modelos em pequena escala.

Com o avanço da inteligência artificial, os sistemas multiagentes estão se tornando cada vez mais poderosos na resolução de tarefas complexas em várias áreas. Esses sistemas são compostos por vários agentes especializados que trabalham em conjunto, aproveitando suas respectivas forças para atingir um objetivo comum. Essa colaboração se destaca em tarefas de raciocínio complexo, programação, descoberta de medicamentos e garantia de segurança, pois as interações estruturadas entre os agentes não apenas melhoram a eficiência na resolução de problemas, mas também permitem que eles se corrijam mutuamente, melhorando assim seus respectivos resultados. Estudos demonstram que essa abordagem colaborativa frequentemente supera as abordagens individuais em tarefas que exigem raciocínio rigoroso ou verificação de fatos.

A equipe Nous Research lançou um novo otimizador chamado DisTrO, projetado para reduzir a demanda de transferência de informações no treinamento distribuído na internet, melhorando significativamente a eficiência do treinamento de modelos de IA. O DisTrO permite o treinamento em condições de rede comuns, permitindo que indivíduos e instituições em todo o mundo participem do desenvolvimento de IA usando seus próprios computadores, quebrando o monopólio das grandes empresas no treinamento de IA. Em comparação com o algoritmo tradicional All-Reduce, o DisTrO apresenta uma melhoria de eficiência de até 857 vezes, a cada etapa de treinamento