Na competição em andamento para o desenvolvimento de grandes modelos de linguagem (LLMs), as empresas de inteligência artificial enfrentam desafios crescentes, levando a uma crescente atenção para arquiteturas alternativas além do “Transformer”. A arquitetura Transformer, apresentada em 2017 por pesquisadores do Google, tornou-se a base da inteligência artificial generativa atual. Para enfrentar esse desafio, a Liquid AI, uma startup incubada pelo MIT, lançou uma estrutura inovadora chamada STAR (Synthesis of Tailored Architectures).
A estrutura STAR utiliza algoritmos evolutivos e um sistema de codificação numérica, com o objetivo de automatizar a geração e otimização de arquiteturas de modelos de inteligência artificial. A equipe de pesquisa da Liquid AI destaca que o método de design do STAR difere do design de arquitetura tradicional, empregando uma técnica de codificação hierárquica, chamada de “genoma STAR”, para explorar um amplo espaço de design de arquiteturas potenciais. Através da combinação e variação do genoma, o STAR pode sintetizar e otimizar arquiteturas que atendem a requisitos específicos de desempenho e hardware.
Em testes com modelagem de linguagem autorregressiva, o STAR demonstrou desempenho superior ao do Transformer++ otimizado tradicional e modelos híbridos. Em termos de otimização de qualidade e tamanho do cache, as arquiteturas evoluídas pelo STAR apresentaram uma redução de até 37% no tamanho do cache em comparação com modelos híbridos e até 90% em comparação com o Transformer tradicional. Essa eficiência não comprometeu o desempenho preditivo do modelo, e em alguns casos, superou os concorrentes.
Pesquisas também indicam que a arquitetura do STAR é altamente escalonável. Um modelo STAR evoluído, expandido de 125 milhões de parâmetros para 1 bilhão de parâmetros, apresentou desempenho comparável ou superior ao do Transformer++ e modelos híbridos existentes em testes de referência padrão, reduzindo significativamente a necessidade de cache de inferência.
A Liquid AI afirma que o design do STAR incorpora princípios de sistemas dinâmicos, processamento de sinais e álgebra linear numérica, construindo um espaço de busca de unidades de cálculo flexível. Uma característica marcante do STAR é seu design modular, permitindo a codificação e otimização de arquiteturas em vários níveis, oferecendo aos pesquisadores insights sobre combinações eficazes de componentes de arquitetura.
A Liquid AI acredita que a capacidade de síntese de arquiteturas eficientes do STAR será aplicada em diversas áreas, especialmente em cenários que exigem o equilíbrio entre qualidade e eficiência computacional. Embora a Liquid AI ainda não tenha divulgado planos comerciais específicos de implantação ou preços, seus resultados de pesquisa representam um avanço significativo na área de design automatizado de arquiteturas. À medida que o campo da IA continua a evoluir, estruturas como o STAR podem desempenhar um papel importante na formação dos sistemas inteligentes de próxima geração.
Blog oficial: https://www.liquid.ai/research/automated-architecture-synthesis-via-targeted-evolution
Destaques:
🌟 A Liquid AI lançou a estrutura STAR, que utiliza algoritmos evolutivos para gerar e otimizar automaticamente arquiteturas de modelos de IA.
📉 Os modelos STAR reduziram o tamanho do cache em até 90% e superaram o desempenho do Transformer tradicional.
🔍 O design modular do STAR pode ser aplicado em várias áreas, impulsionando o desenvolvimento de otimizações para sistemas de IA.
