Recentemente, a equipe de pesquisa da BitEnergy AI desenvolveu um novo algoritmo chamado "Multiplicação de Complexidade Linear" (L-Mul), que pode reduzir significativamente o consumo de energia dos sistemas de inteligência artificial.
Especificamente, este algoritmo substitui a complexa multiplicação de ponto flutuante por uma adição de inteiros mais simples, prevendo uma redução de até 95% no consumo de energia em várias áreas. O título da pesquisa, "Modelos de linguagem econômicos apenas com adição", demonstra o enorme potencial de economia de energia do L-Mul.
Observação da fonte: Imagem gerada por IA, provedor de serviços de licenciamento de imagens Midjourney
A equipe de pesquisa testou o algoritmo em várias tarefas, incluindo compreensão de linguagem, raciocínio estrutural, cálculos matemáticos e perguntas e respostas de conhecimento geral. Os resultados mostraram que o método L-Mul teve um desempenho muito bom em todas essas tarefas. Eles descobriram que o L-Mul pode ser aplicado diretamente à parte central dos modelos de linguagem modernos — o mecanismo de atenção — com um impacto quase insignificante no desempenho do modelo. Como todos sabem, o mecanismo de atenção desempenha um papel crucial em modelos de linguagem modernos como o GPT-4.
A equipe da BitEnergy AI afirma que o L-Mul não apenas ajuda a melhorar a competitividade acadêmica e econômica, mas também aumenta a autonomia da IA. Eles acreditam que esta tecnologia pode ajudar grandes empresas a desenvolver modelos de IA personalizados de forma mais rápida e econômica.
No futuro, eles planejam aplicar o algoritmo L-Mul ao nível de hardware e desenvolver interfaces de programação para design de modelos de alto nível, com o objetivo de otimizar modelos de IA de geração de texto, símbolos e multimodais para hardware nativo L-Mul.
Este algoritmo inovador promete não apenas reduzir drasticamente o consumo de energia, mas também ajudar a impulsionar o desenvolvimento da tecnologia de IA. Com a crescente demanda por sustentabilidade e economia de energia, o surgimento do L-Mul sem dúvida traz novas esperanças para o campo da inteligência artificial.
Destaques:
🌱 O algoritmo L-Mul pode reduzir o consumo de energia dos sistemas de IA em até 95%.
🔍 O algoritmo apresenta excelente desempenho em várias tarefas, especialmente na aplicação ao mecanismo de atenção em modelos de linguagem modernos.
🚀 A BitEnergy AI planeja implementar o algoritmo L-Mul em hardware e desenvolver interfaces de programação correspondentes para otimizar modelos de IA.