Recentemente, pesquisadores de diversas instituições descobriram uma nova tecnologia: as redes neurais físicas (PNNs). Estas não são as redes neurais digitais que conhecemos, que rodam em computadores, mas uma forma completamente nova de computação inteligente baseada em sistemas físicos.
PNNs, como o nome sugere, utilizam as propriedades de sistemas físicos para executar cálculos em redes neurais. Embora ainda seja uma área de nicho em pesquisa, elas podem representar uma oportunidade crucial e subestimada na IA moderna.
Potencial das PNNs: Modelos Grandes, Baixo Consumo de Energia, Computação de Borda
Imagine se pudéssemos treinar modelos de IA 1000 vezes maiores que os atuais e ainda realizar inferências locais e privadas em dispositivos de borda, como smartphones ou sensores. Parece ficção científica, mas pesquisas indicam que isso não é impossível.
Para alcançar o treinamento em larga escala de PNNs, os pesquisadores estão explorando métodos baseados em retropropagação e sem retropropagação. Esses métodos têm vantagens e desvantagens, e atualmente nenhum deles alcança a mesma escala e desempenho do algoritmo de retropropagação amplamente utilizado no aprendizado profundo. No entanto, a situação está mudando rapidamente, e um ecossistema diversificado de técnicas de treinamento oferece pistas para a utilização de PNNs.
A implementação de PNNs envolve diversas áreas, incluindo óptica, eletrônica e computação neuromórfica. Elas podem executar cálculos como a multiplicação matriz-vetor de forma semelhante às redes neurais digitais, ou podem sacrificar essa similaridade estrutural em prol de potenciais vantagens de velocidade/energia, permitindo que o sistema físico execute o cálculo da maneira mais natural.
O Futuro das PNNs: Superando o Desempenho do Hardware Digital
As aplicações futuras das PNNs podem ser vastas, desde grandes modelos generativos até tarefas de classificação em sensores inteligentes. Elas precisarão ser treinadas, mas as restrições de treinamento podem variar dependendo da aplicação. O método de treinamento ideal seria independente do modelo, rápido, energeticamente eficiente e robusto a variações, deriva e ruído do hardware.
Apesar do potencial de desenvolvimento das PNNs, elas também enfrentam desafios. Como garantir a estabilidade das PNNs durante o treinamento e a inferência? Como integrar esses sistemas físicos com a infraestrutura de hardware e software digital existente? Essas são questões que precisam ser resolvidas.
Endereço do artigo: https://arxiv.org/pdf/2406.03372