Pensando como o cérebro humano! O novo modelo Dualformer do Meta combina raciocínio rápido e lento, melhorando significativamente a capacidade de raciocínio

AIbase基地

Publicado emNotícias e Informações de IA · 4 minutos de leitura · Oct 17, 2024

209

A equipe FAIR do Meta lançou recentemente um novo modelo Transformer chamado Dualformer, que imita o sistema cognitivo duplo humano, integrando perfeitamente modos de raciocínio rápido e lento, alcançando avanços significativos na capacidade de raciocínio e eficiência computacional.

O processo de pensamento humano geralmente é considerado controlado por dois sistemas: o sistema 1 é rápido e intuitivo, enquanto o sistema 2 é mais lento, mas mais lógico.

Os modelos Transformer tradicionais geralmente simulam apenas um dos sistemas 1 ou 2, resultando em modelos que são rápidos, mas com pouca capacidade de raciocínio, ou com forte capacidade de raciocínio, mas lentos e com alto custo computacional.

A inovação do Dualformer reside em seu método de treinamento. Os pesquisadores usaram trajetórias de raciocínio aleatórias para treinar o modelo, descartando aleatoriamente diferentes partes das trajetórias durante o treinamento, semelhante à análise do processo de pensamento humano e à criação de atalhos. Esta estratégia de treinamento permite que o Dualformer alterne flexiblmente entre diferentes modos durante o raciocínio:

Modo rápido: O Dualformer apenas fornece a solução final, com velocidade extremamente alta.

Modo lento: O Dualformer fornece a cadeia de raciocínio completa e a solução final, com maior capacidade de raciocínio.

Modo automático: O Dualformer pode selecionar automaticamente o modo apropriado com base na complexidade da tarefa.

Os resultados experimentais mostram que o Dualformer apresenta excelente desempenho em tarefas como navegação em labirintos e resolução de problemas matemáticos. No modo lento, o Dualformer consegue resolver tarefas de navegação em labirintos 30x30 com uma taxa de sucesso de 97,6%, superando o modelo Searchformer treinado apenas com trajetórias de raciocínio completas, enquanto reduz o número de etapas de raciocínio em 45,5%.

No modo rápido, a taxa de sucesso do Dualformer também é alta, atingindo 80%, muito superior ao modelo Solution-Only treinado apenas com soluções finais. No modo automático, o Dualformer consegue manter uma alta taxa de sucesso, reduzindo significativamente o número de etapas de raciocínio.

O sucesso do Dualformer demonstra que a aplicação de teorias da cognição humana ao design de modelos de inteligência artificial pode melhorar eficazmente o desempenho do modelo. Essa fusão de pensamento rápido e lento oferece novas perspectivas para a construção de sistemas de IA mais poderosos e eficientes.

Endereço do artigo: https://arxiv.org/pdf/2410.09918

Moonshot lança novo otimizador Muon, com aumento significativo na eficiência computacional

Recentemente, a área de inteligência artificial foi novamente agitada com o anúncio da Moonshot (月之暗面) do lançamento em código aberto de seu novo otimizador, Muon, que aumentou com sucesso a eficiência computacional em duas vezes em comparação com o AdamW tradicional. O lançamento deste novo otimizador coincide com a iminente publicação em código aberto de vários repositórios de código da DeepSeek, gerando grande atenção e discussão na indústria. O otimizador Muon foi proposto inicialmente em 2024 por pesquisadores da OpenAI, como Keller Jordan, e demonstrou excelente desempenho no treinamento de modelos em pequena escala.

Novo modelo Grok 3 da xAI ganha elogios do fundador da OpenAI por sua capacidade de raciocínio lógico

A xAI, empresa de inteligência artificial de Elon Musk, lançou na segunda-feira seu mais recente modelo de linguagem, o Grok3, marcando um avanço significativo da empresa no campo da IA. Segundo Musk, o novo modelo requer dez vezes mais capacidade computacional que seu antecessor, utilizando um data center localizado em Memphis, equipado com cerca de 200.000 GPUs. A série de modelos Grok3 apresenta várias variantes, incluindo uma versão simplificada, projetada para aumentar a velocidade, mas sacrificando parte da precisão. Além disso, o novo modelo de "raciocínio" foi projetado especificamente para resolver problemas de matemática e ciências.

Google a lançar novo modelo de IA Gemini com capacidade de raciocínio significativamente aprimorada

O Google anunciou recentemente que lançará seu novo modelo de IA aprimorado, o “Gemini2.0Flash Thinking Exp-0123”, em 23 de janeiro de 2025. Este modelo é uma otimização adicional do “Exp-1219” existente, focando principalmente no aprimoramento da capacidade de raciocínio e da transparência do pensamento. Com o rápido desenvolvimento da tecnologia de IA, o Google se compromete, por meio desta atualização, a permitir que as máquinas não apenas gerem respostas, mas também mostrem claramente seu processo de pensamento, melhorando significativamente a experiência do usuário com a IA.

O Lado Escuro da Lua lança o modelo SOTA k1.5 de próxima geração: capacidade de raciocínio multimodal aprimorada

A empresa O Lado Escuro da Lua orgulhosamente apresenta seu novo modelo SOTA (state-of-the-art) — o modelo de raciocínio multimodal k1.5, marcando um grande avanço no raciocínio multimodal e na inferência geral. O modelo não apenas possui excelente capacidade de processamento multimodal, mas também demonstra uma capacidade de raciocínio geral excepcional, capaz de lidar efetivamente com uma variedade de tarefas complexas. O maior destaque do modelo k1.5 reside em sua capacidade de raciocínio multimodal. Ele pode processar simultaneamente informações de diferentes modalidades, como texto, imagens e som, fornecendo assim informações mais completas e precisas.