O Google Research lançou recentemente a revolucionária arquitetura de modelos "Titans", que, por meio de design biomimético, alcançou um comprimento de contexto inovador de 2 milhões de tokens e planeja abrir o código-fonte da tecnologia no futuro.
A inovação central desta arquitetura reside na introdução de um módulo de memória de longo prazo neural profundo, inspirado no sistema de memória humana. Titans combina habilmente a capacidade de resposta rápida da memória de curto prazo com a característica de persistência da memória de longo prazo, utilizando simultaneamente um mecanismo de atenção para processar o contexto imediato, formando um sistema de processamento de informações eficiente.
Segundo o Google, Titans demonstra vantagens significativas em tarefas de processamento de sequências longas. Seja em modelagem de linguagem ou previsão de séries temporais, esta arquitetura alcançou avanços inovadores. Ainda mais notável é que, em alguns cenários de aplicação, Titans superou até mesmo modelos como o GPT-4, que possuem dezenas de vezes mais parâmetros.
Com o compromisso do Google de código aberto para a tecnologia relacionada, o surgimento do Titans pode trazer novas direções para o processamento de textos longos na área de IA. Este design inovador, que integra princípios da inteligência biológica, demonstra a possibilidade de aumentar a eficiência do processamento enquanto reduz a quantidade de parâmetros do modelo.
