Ainda está se desesperando com a lentidão no processamento de textos longos por modelos grandes? Não se preocupe! A Universidade Tsinghua apresenta uma tecnologia revolucionária — a estrutura de inferência APB paralela em sequência, que adiciona um motor de turbocompressão aos modelos grandes! Testes mostraram que esta tecnologia de ponta é até 10 vezes mais rápida que o Flash Attention no processamento de textos extremamente longos! Isso mesmo, 10 vezes! Com o sucesso do ChatGPT e outros modelos grandes, a capacidade de 'leitura' da IA também aumentou significativamente, lidando facilmente com textos de centenas de milhares de palavras. No entanto, o desafio...

A startup japonesa de inteligência artificial Sakana AI anunciou o lançamento do "Engenheiro AI CUDA" (AI CUDA Engineer), um sistema inovador de agente de IA projetado para automatizar a produção de kernels CUDA altamente otimizados, melhorando significativamente a eficiência de operação de aprendizado de máquina. De acordo com as últimas notícias no X, o sistema utiliza técnicas de otimização de código impulsionadas por modelos de linguagem grandes (LLMs) evoluídos, aumentando a velocidade de operação de operações PyTorch comuns em 10 a 100 vezes, marcando um avanço significativo na tecnologia de IA em GP