Nvidia lança nova tecnologia de código aberto: treinamento de modelos com economia de 1,8x em poder computacional!

AIbase基地

Publicado emNotícias e Informações de IA · 4 minutos de leitura · Aug 16, 2024

231

A Nvidia, empresa líder global em inteligência artificial, recentemente lançou dois novos modelos grandes de código aberto: Nemotron-4-Minitron-4B e Nemotron-4-Minitron-8B. O lançamento desses modelos representa não apenas um avanço tecnológico, mas também uma revolução de eficiência no campo da IA.

O treinamento tradicional de grandes modelos de IA requer grandes quantidades de dados e poder computacional. No entanto, a Nvidia, usando métodos de treinamento eficientes como poda estruturada e destilação do conhecimento, reduziu significativamente essa necessidade. Especificamente, em comparação com o treinamento do zero, os novos modelos exigem 40 vezes menos dados de tokens de treinamento e 1,8 vezes menos custo computacional. Este sucesso é resultado da otimização profunda do modelo existente Llama-3.18B pela Nvidia.

A poda estruturada é uma técnica de compressão de redes neurais que simplifica a estrutura do modelo removendo pesos insignificantes. Diferentemente da poda aleatória, a poda estruturada preserva a estrutura da matriz de pesos, removendo neurônios inteiros ou cabeças de atenção, tornando o modelo podado mais adequado para execução eficiente em hardware como GPUs e TPUs.

A destilação do conhecimento é um método que melhora o desempenho permitindo que um modelo "estudante" imite um modelo "professor". Na prática da Nvidia, por meio da destilação do conhecimento baseada em logit, o modelo estudante consegue aprender a compreensão profunda do modelo professor, mantendo um desempenho excelente mesmo com uma redução significativa nos dados de treinamento.

Os modelos Minitron-4B e Minitron-8B, treinados com poda estruturada e destilação do conhecimento, apresentaram uma melhoria de 16% na pontuação MMLU, com desempenho comparável a modelos conhecidos como Mistral7B, Gemma7B e Llama-38B. Este resultado demonstra a eficácia do método da Nvidia e oferece novas possibilidades para o treinamento e implantação de grandes modelos de IA.

Esta iniciativa de código aberto da Nvidia não apenas demonstra sua liderança em tecnologia de IA, mas também fornece recursos valiosos para a comunidade de IA. Com o contínuo avanço da tecnologia de IA, esperamos ver mais métodos inovadores que impulsionem a IA em direção a uma direção mais eficiente e inteligente.

Endereço dos modelos:

https://huggingface.co/nvidia/Nemotron-4-Minitron-4B-Base

https://huggingface.co/nvidia/Nemotron-4-Minitron-8B-Base

Tencent solicita patente para 'método de treinamento de modelo de linguagem grande', melhorando a capacidade de generalização e a precisão do modelo

O aplicativo Tianyancha mostra que a Tencent Technology (Shenzhen) Co., Ltd. solicitou recentemente uma patente chamada "Método de treinamento de modelo de linguagem grande, dispositivo, equipamento de computador e mídia de armazenamento". O resumo desta patente revela que o método introduz um primeiro texto de resumo e um segundo texto de resumo, fornecendo ao modelo mais informações para aprendizagem durante o processo de treinamento do modelo de linguagem grande. De acordo com a descrição da patente, a quantidade de informações contidas no primeiro texto de resumo e no segundo texto de resumo é diferente, sendo que o primeiro texto de resumo também contém frases corretas e frases incorretas. Através dessas duas descrições do mesmo texto,

Sensacional! Stanford e outros lançam o S1, um novo método de treinamento de IA que reduz custos e aumenta o desempenho!

Pesquisadores das universidades de Stanford e Washington lançaram recentemente um método inovador de treinamento de IA chamado S1. O conceito central é o uso de uma técnica de dimensionamento em tempo de teste extremamente simples para melhorar significativamente a capacidade de raciocínio de modelos de linguagem. Ao contrário dos métodos anteriores que dependiam de grande poder computacional ou algoritmos complexos, o S1 utiliza uma alocação inteligente de recursos computacionais durante o teste, resultando em um aumento significativo de desempenho. O método S1 começa criando um pequeno conjunto de dados chamado s1K, contendo 1000 problemas de raciocínio de alta qualidade. A seleção dos dados...

Equipe de Fei-Fei Li apresenta novo método de treinamento de máquinas, "Primo Digital", com menor custo e melhor desempenho

Sempre sonhamos com robôs tão inteligentes quanto os humanos, capazes de nos ajudar com as tarefas domésticas, conversar conosco e até mesmo serem oniscientes como o Jarvis do Homem de Ferro. No entanto, a realidade é bem diferente da idealização. Ensinar robôs a executar tarefas não é algo simples, é tão difícil quanto ensinar uma namorada a ser lógica, requer muito esforço e nem sempre se obtém resultados. Por que isso acontece? Porque o mundo real é muito complexo, cheio de imprevistos e mudanças. Pense bem, até mesmo ensinar um conceito simples a uma namorada exige paciência e esforço, quanto mais ensinar algo a um ser sem raciocínio humano.

Pequim e HKUST apresentam método de treinamento de modelo de especialista médico, elevando o desempenho de modelo de 8B para o nível GPT-4

Uma equipe da Universidade de Pequim e da Universidade de Ciência e Tecnologia de Hong Kong fez uma grande descoberta: eles propuseram um método de treinamento que elevou o desempenho de um modelo de especialista médico de 8B para o nível do GPT-4. E não parou por aí; eles introduziram um novo conceito - a "lacuna de estabilidade" - para explicar alguns fenômenos observados em grandes modelos de linguagem durante o pré-treinamento contínuo.