No campo da inteligência artificial, o treinamento de modelos de linguagem de grande escala (LLMs) tornou-se uma força motriz para o avanço tecnológico. No entanto, com o aumento contínuo do tamanho dos modelos e dos conjuntos de dados, os métodos de otimização tradicionais — especialmente o AdamW — estão mostrando suas limitações. Os pesquisadores enfrentam uma série de desafios, incluindo altos custos computacionais, treinamento instável, como desaparecimento ou explosão de gradiente, atualizações inconsistentes da matriz de parâmetros e altas demandas de recursos em ambientes distribuídos. Portanto, há uma necessidade urgente de técnicas de otimização mais eficientes e estáveis para lidar com essas complexidades. Para

Em 11 de fevereiro de 2025, no World Governments Summit em Dubai, nos Emirados Árabes Unidos, o fundador do Baidu, Li Yanhong, teve uma conversa profunda com o Ministro de IA dos Emirados Árabes Unidos, Omar Sultan Al Olama, discutindo as tendências futuras do desenvolvimento da infraestrutura de IA. Durante a conversa, Al Olama mencionou o recente DeepSeek que chamou a atenção global, levando a grandes flutuações nos preços das ações de várias grandes empresas de chips e bolsas de valores, e perguntou a Li Yanhong sobre sua perspectiva sobre o futuro dos data centers e da infraestrutura de IA.

O aplicativo Tianyancha mostra que a Tencent Technology (Shenzhen) Co., Ltd. solicitou recentemente uma patente chamada "Método de treinamento de modelo de linguagem grande, dispositivo, equipamento de computador e mídia de armazenamento". O resumo desta patente revela que o método introduz um primeiro texto de resumo e um segundo texto de resumo, fornecendo ao modelo mais informações para aprendizagem durante o processo de treinamento do modelo de linguagem grande. De acordo com a descrição da patente, a quantidade de informações contidas no primeiro texto de resumo e no segundo texto de resumo é diferente, sendo que o primeiro texto de resumo também contém frases corretas e frases incorretas. Através dessas duas descrições do mesmo texto,

Recentemente, a Tencent Technology (Shenzhen) Co., Ltd. divulgou no aplicativo Tianyancha uma patente sobre métodos de treinamento e equipamentos relacionados a modelos de linguagem de grande porte. A patente, intitulada “Método de treinamento, dispositivo, equipamento de computador e meio de armazenamento para modelos de linguagem de grande porte”, visa melhorar a capacidade de aprendizado e a precisão dos modelos de linguagem de grande porte por meio de métodos de treinamento inovadores. No treinamento de modelos de linguagem de grande porte, os métodos tradicionais costumam depender de apenas um resumo de texto, o que pode levar a um ajuste excessivo do modelo, afetando a precisão e a diversidade do conteúdo gerado. No entanto, a nova abordagem da Tencent...

Nos últimos anos, o treinamento de modelos de linguagem grandes (LLMs) tornou-se cada vez mais caro e complexo, com apenas algumas grandes empresas de tecnologia possuindo os recursos computacionais necessários. No entanto, o Google lançou recentemente um novo método chamado SALT (Small Model Assisted Large Model Training), uma inovação que pode revolucionar o cenário de treinamento de IA. Nota da imagem: imagem gerada por IA, serviço de licenciamento de imagens Midjourney baseado em pesquisas recentes do Google e DeepMind, o artigo "Um pouco de ajuda percorre um longo caminho: aproveitando modelos de linguagem menores"

Recentemente, o pesquisador chinês da Universidade de Harvard, Jeffrey Wang, juntou-se oficialmente à OpenAI como pesquisador na equipe fundamental, focando em pré-treinamento e inferência de modelos. Essa notícia gerou grande atenção, e o cofundador e presidente da OpenAI, Greg Brockman, também deu as boas-vindas a Jeffrey em primeira mão. A formação acadêmica de Jeffrey Wang é bastante impressionante. Ele se formou em um ensino médio na Califórnia, onde...

Em uma cerimônia de lançamento realizada em Pudong, a Zona de Condução Autônoma de Alto Nível de Xangai recebeu uma frota de 30 veículos Zhiji L6 para coleta de dados. Esta equipe terá a importante missão de fornecer dados de treinamento para modelos de direção autônoma, marcando mais um passo crucial de Xangai no campo dos veículos conectados inteligentes. O vice-diretor da Comissão Municipal de Economia e Informação de Xangai, Tang Wenkan, expôs o ambicioso plano de Xangai para criar uma 'Xangai moldada pela IA'. Ele enfatizou que Xangai adotará a 'inteligência individual do veículo como base e a coordenação entre veículo, estrada e nuvem como suporte fundamental' como rota tecnológica, promovendo integralmente a inteligência

Treinar modelos de IA de grande porte (como Transformadores e modelos de linguagem) tornou-se um componente essencial do campo da IA, mas também enfrenta altos custos computacionais, consumo de memória e demanda de energia. Por exemplo, o GPT-3 da OpenAI possui 175 bilhões de parâmetros e requer semanas de treinamento de GPU. Essa enorme demanda de recursos limita o uso dessa tecnologia a organizações com recursos computacionais em grande escala, além de aumentar as preocupações com a eficiência energética e o impacto ambiental. Resolver esses desafios é crucial para garantir uma acessibilidade mais ampla ao desenvolvimento da IA

Em 16 de dezembro de 2024, a Midjourney anunciou um recurso aguardado: os 'Moodboards' (Mural de Inspiração), um recurso de conjunto de imagens inspirado no Pinterest. Este recurso permite que os usuários carreguem uma série de imagens cuidadosamente selecionadas como inspiração para gerar novas obras de arte. Ao analisar as imagens carregadas, o mais recente modelo de IA da Midjourney (versão 6.1) consegue se adaptar a elementos visuais diversos e complexos, criando imagens únicas.

No início deste ano, o Google lançou sua sexta geração de TPUs, a Trillium, a mais poderosa até hoje. Hoje, a Trillium está oficialmente disponível para clientes do Google Cloud. O Google usou a TPU Trillium para treinar o Gemini2.0, seu modelo de IA mais poderoso até agora. Agora, empresas e startups podem aproveitar a mesma infraestrutura poderosa, eficiente e sustentável. O núcleo do supercomputador de IA: Tri

No mundo da IA, 'força bruta resolve tudo' parece ser a regra de ouro. Modelos maiores, mais dados, maior poder computacional, tudo isso parece aproximar-nos do santo graal da inteligência. No entanto, por trás desse progresso veloz, escondem-se custos e pressão de consumo de energia significativos. Para tornar o treinamento de IA mais eficiente, os cientistas têm procurado otimizadores mais poderosos, como um treinador que guia os parâmetros do modelo para uma otimização contínua, atingindo finalmente o estado ideal. O AdamW, como otimizador padrão para pré-treinamento Transformer, tem sido um padrão na indústria por anos,

Na área de IA de código aberto, a diferença em relação às grandes empresas de tecnologia não se limita apenas à capacidade de computação. A AI2 (anteriormente Allen Institute for Artificial Intelligence) está reduzindo essa lacuna por meio de uma série de iniciativas inovadoras. Sua solução de pós-treinamento Tülu3, recém-lançada, torna acessível a transformação de modelos de linguagem grandes 'brutos' em sistemas de IA práticos. Ao contrário da crença popular, os modelos de linguagem básicos não estão prontos para uso direto após o pré-treinamento. Na verdade, o processo de pós-treinamento é o elemento crucial que determina o valor final do modelo. É nessa fase que o modelo se transforma de um modelo 'onipresente'...

No campo da inteligência artificial, maior geralmente significa melhor. Na busca por modelos de linguagem mais poderosos, grandes empresas de tecnologia têm aumentado exponencialmente os parâmetros do modelo e os dados de treinamento, resultando em custos exorbitantes. Mas não há um método econômico e eficiente para treinar modelos de linguagem? Pesquisadores da Universidade de Harvard e da Universidade de Stanford publicaram recentemente um artigo onde descobriram que a precisão do treinamento do modelo é uma chave escondida que pode desbloquear o 'código de custo' do treinamento de modelos de linguagem. O que é

Modelos de linguagem grandes (LLMs), como GPT e Llama, revolucionaram o campo da inteligência artificial. No entanto, treinar esses modelos imensos de forma eficiente e alinhá-los com os valores humanos continua sendo um desafio. O aprendizado por reforço com feedback humano (RLHF) é um método importante de treinamento de LLM amplamente utilizado, mas os frameworks tradicionais de RLHF têm limitações em flexibilidade, eficiência e escalabilidade. Para resolver esses problemas, a equipe de modelos de linguagem grandes Doubao da ByteDance lançou o framework RLHF chamado HybridFlow, um projeto open source que...

A ByteDance respondeu recentemente aos rumores sobre um 'estagiário que sabotou o treinamento de um modelo de IA'. A empresa confirmou que um estagiário realmente interferiu maliciosamente na tarefa de treinamento de modelo de um projeto de pesquisa da equipe de tecnologia comercial, mas essa ação não afetou os projetos comerciais oficiais e os negócios online da empresa, nem envolveu outros grandes projetos de modelos da ByteDance. Além disso, a ByteDance apontou que as informações divulgadas na internet sobre 'mais de 8.000 GPUs e milhões de dólares em perdas' são um grande exagero. De acordo com relatos públicos, o estagiário estava na equipe de tecnologia comercial da ByteDance.

A plataforma de rede social X (anteriormente Twitter) atualizou sua política de privacidade na quarta-feira, gerando amplo interesse e discussão. A nova política indica que o X permitirá, por padrão, que terceiros 'parceiros' usem dados da plataforma para treinar modelos de IA, a menos que o usuário opte por sair ativamente. Essa medida não apenas destaca os esforços do X em busca de novas fontes de receita, mas também levanta preocupações sobre a proteção da privacidade dos dados do usuário. As principais mudanças da nova política incluem: Uso de dados por terceiros: nova cláusula permite que parceiros terceiros usem dados do usuário X, incluindo o treinamento de modelos de IA. Os usuários podem optar por

Pesquisadores recentemente desenvolveram uma nova técnica chamada REPA, projetada para acelerar a velocidade de treinamento de modelos de geração de imagens de IA. REPA significa REPresentation Alignment, e melhora a velocidade de treinamento e a qualidade da saída integrando representações visuais de alta qualidade de modelos como o DINOv2. Modelos de difusão tradicionais geralmente criam imagens ruidosas e, gradualmente, as refinam em imagens limpas. O REPA adiciona uma etapa para alinhar as representações geradas durante esse processo de remoção de ruído com as de um modelo pré-treinado.

Na recente conferência de tecnologia de nuvem de vídeo, a Volcano Engine lançou uma inovação importante: uma solução de pré-processamento de vídeo para treinamento de modelos grandes. Essa tecnologia já foi aplicada com sucesso ao modelo de geração de vídeo Doubao, marcando um grande avanço na tecnologia de geração de vídeo com IA. O presidente da Volcano Engine, Tan Dai, enfatizou que a AIGC e as tecnologias multimodais estão mudando profundamente a experiência do usuário. Com base na experiência prática do Douyin, a Volcano Engine está explorando ativamente a integração de modelos grandes de IA e tecnologia de vídeo, oferecendo soluções abrangentes para empresas. O responsável pela arquitetura de vídeo do grupo Douyin, Wang Yue, apontou que o treinamento de modelos grandes enfrenta muitos desafios.

De acordo com a CNBC, a startup de inteligência artificial de São Francisco, Writer, lançou na quarta-feira um grande modelo de IA para competir com ofertas corporativas de empresas como OpenAI e Anthropic. O que é notável é que a Writer gastou apenas cerca de US$ 700.000 para treinar seu modelo mais recente, incluindo dados e GPUs, enquanto startups concorrentes gastaram milhões de dólares para construir seus próprios modelos. Nota da imagem: Imagem gerada por IA, fornecedora de licenças de imagens MidjourneyWriter

A equipe Nous Research lançou um novo otimizador chamado DisTrO, projetado para reduzir a demanda de transferência de informações no treinamento distribuído na internet, melhorando significativamente a eficiência do treinamento de modelos de IA. O DisTrO permite o treinamento em condições de rede comuns, permitindo que indivíduos e instituições em todo o mundo participem do desenvolvimento de IA usando seus próprios computadores, quebrando o monopólio das grandes empresas no treinamento de IA. Em comparação com o algoritmo tradicional All-Reduce, o DisTrO apresenta uma melhoria de eficiência de até 857 vezes, a cada etapa de treinamento