Laboratório de IA de Xangai lança XTuner, uma caixa de ferramentas para treinamento de modelos de linguagem grandes, reduzindo significativamente os custos de treinamento

上海人工智能实验室

Publicado emNotícias e Informações de IA · 2 minutos de leitura · Sep 20, 2023

152

O Laboratório de Inteligência Artificial de Xangai lançou recentemente o XTuner, um kit de ferramentas de baixo custo para treinamento de modelos grandes. Compatível com diversos hardwares, permite que desenvolvedores treinem "modelos grandes exclusivos" para cenários específicos usando apenas 8GB de memória de vídeo de consumo, reduzindo significativamente o custo de treinamento. O XTuner é compatível com vários modelos de código aberto, como o Shusheng·Puyu e o Llama, e pode executar tarefas como pré-treinamento incremental e ajuste fino de instruções. Ao mesmo tempo, ele equilibra facilidade de uso e configurabilidade, com fluxos de trabalho padronizados para pré-treinamento incremental, ajuste fino de instruções de diálogo de uma e várias rodadas e ajuste fino de instruções de ferramentas, permitindo que os desenvolvedores se concentrem nos dados. O XTuner reforça ainda mais o papel prático do sistema de código aberto completo do Laboratório de IA de Xangai para pesquisa e aplicação de modelos grandes, impulsionando o progresso tecnológico em conjunto com outros setores.

Otimizador "Budismo" C-AdamW: Uma linha de código acelera o treinamento de modelos grandes em 1,47 vezes!

No mundo da IA, 'força bruta resolve tudo' parece ser a regra de ouro. Modelos maiores, mais dados, maior poder computacional, tudo isso parece aproximar-nos do santo graal da inteligência. No entanto, por trás desse progresso veloz, escondem-se custos e pressão de consumo de energia significativos. Para tornar o treinamento de IA mais eficiente, os cientistas têm procurado otimizadores mais poderosos, como um treinador que guia os parâmetros do modelo para uma otimização contínua, atingindo finalmente o estado ideal. O AdamW, como otimizador padrão para pré-treinamento Transformer, tem sido um padrão na indústria por anos,

Tülu 3, solução de treinamento de código aberto da AI2, quebra o monopólio da tecnologia de pós-treinamento de modelos grandes

Na área de IA de código aberto, a diferença em relação às grandes empresas de tecnologia não se limita apenas à capacidade de computação. A AI2 (anteriormente Allen Institute for Artificial Intelligence) está reduzindo essa lacuna por meio de uma série de iniciativas inovadoras. Sua solução de pós-treinamento Tülu3, recém-lançada, torna acessível a transformação de modelos de linguagem grandes 'brutos' em sistemas de IA práticos. Ao contrário da crença popular, os modelos de linguagem básicos não estão prontos para uso direto após o pré-treinamento. Na verdade, o processo de pós-treinamento é o elemento crucial que determina o valor final do modelo. É nessa fase que o modelo se transforma de um modelo 'onipresente'...

ByteDance lança HybridFlow, ferramenta open source que aumenta a velocidade de treinamento de modelos grandes em 20 vezes e reduz custos drasticamente!

Modelos de linguagem grandes (LLMs), como GPT e Llama, revolucionaram o campo da inteligência artificial. No entanto, treinar esses modelos imensos de forma eficiente e alinhá-los com os valores humanos continua sendo um desafio. O aprendizado por reforço com feedback humano (RLHF) é um método importante de treinamento de LLM amplamente utilizado, mas os frameworks tradicionais de RLHF têm limitações em flexibilidade, eficiência e escalabilidade. Para resolver esses problemas, a equipe de modelos de linguagem grandes Doubao da ByteDance lançou o framework RLHF chamado HybridFlow, um projeto open source que...

Volcano Engine lança solução de pré-processamento de vídeo para treinamento de modelos grandes, já adotada pela Doubao

Na recente conferência de tecnologia de nuvem de vídeo, a Volcano Engine lançou uma inovação importante: uma solução de pré-processamento de vídeo para treinamento de modelos grandes. Essa tecnologia já foi aplicada com sucesso ao modelo de geração de vídeo Doubao, marcando um grande avanço na tecnologia de geração de vídeo com IA. O presidente da Volcano Engine, Tan Dai, enfatizou que a AIGC e as tecnologias multimodais estão mudando profundamente a experiência do usuário. Com base na experiência prática do Douyin, a Volcano Engine está explorando ativamente a integração de modelos grandes de IA e tecnologia de vídeo, oferecendo soluções abrangentes para empresas. O responsável pela arquitetura de vídeo do grupo Douyin, Wang Yue, apontou que o treinamento de modelos grandes enfrenta muitos desafios.