Meta lança mecanismo de atenção System2Attention, melhorando a capacidade de raciocínio de modelos de linguagem

DeepSeek e Tsinghua em pesquisa conjunta: método inovador de raciocínio com modelo de recompensa melhora a escalabilidade

Recentemente, pesquisadores da DeepSeek e da Tsinghua publicaram um novo artigo explorando métodos de escalabilidade para raciocínio com modelos de recompensa, aproximando ainda mais o DeepSeek R2. Atualmente, o aprendizado por reforço é amplamente aplicado na fase de treinamento em larga escala de modelos de linguagem grandes, mas enfrenta o desafio de obter sinais de recompensa precisos para esses modelos. Os pesquisadores descobriram que o uso de modelagem de recompensa generativa pontual (GRM) pode melhorar a capacidade de adaptação do modelo e a escalabilidade na fase de raciocínio. Para isso, eles propuseram o aprendizado de Otimização de Avaliação de Princípios Próprios (SPCT).

PaddlePaddle 3.0 Lançado oficialmente: Suporte para modelos de linguagem grandes como o Wenxin 4.5 e redução de 80% nos custos de adaptação entre chips

O PaddlePaddle, plataforma de aprendizado profundo da Baidu, anunciou recentemente o lançamento oficial de sua nova geração de framework, o PaddlePaddle 3.0. Este lançamento introduz cinco inovações tecnológicas principais, incluindo o "Paralelismo Automático Unificado Estático e Dinâmico", visando reduzir efetivamente os custos de desenvolvimento e treinamento de modelos de linguagem grandes e impulsionar a construção de infraestrutura para a era dos modelos de linguagem grandes. Como infraestrutura fundamental para tarefas de treinamento e inferência de modelos de linguagem grandes, o framework PaddlePaddle 3.0 apresenta excelente desempenho em otimização. O framework já suporta vários modelos de linguagem grandes, incluindo Wenxin 4.5 e Wenxin X1, e através de otimizações...

Pesquisadores de IA da Nvidia lançam técnica de fusão FFN: Acelera a inferência de modelos de linguagem grandes

Pesquisa revela: Número de documentos em sistemas RAG afeta o desempenho de modelos de linguagem

Pesquisadores da Universidade Hebraica de Jerusalém descobriram recentemente que, em sistemas de Recuperação Aumentada por Geração (RAG), o número de documentos processados afeta significativamente o desempenho do modelo de linguagem, mesmo quando o comprimento total do texto permanece constante. A equipe de pesquisa utilizou 2.417 perguntas do conjunto de dados de validação MuSiQue para seus experimentos, com cada pergunta vinculada a 20 parágrafos da Wikipédia. Dois a quatro parágrafos continham informações relevantes para a resposta, enquanto os parágrafos restantes serviram como distrações. Para investigar o impacto do número de documentos, a equipe criou várias partições de dados, reduzindo gradualmente o número de documentos de 20 para...

OpenAI busca US$ 40 bilhões em financiamento, mas enfrenta pressão da Microsoft; corte pela metade caso não haja mudança até o final do ano

A OpenAI está buscando uma rodada de financiamento de US$ 40 bilhões, liderada pelo SoftBank japonês, com uma condição rigorosa: a OpenAI precisa se transformar em uma empresa lucrativa até o final de 2025. Se bem-sucedida, a empresa poderá atingir uma avaliação de US$ 300 bilhões, tornando-se o rei dos unicórnios na área de inteligência artificial. No entanto, esse financiamento não é garantido. Se a OpenAI não conseguir atingir essa transformação na data prevista, o financiamento será reduzido para US$ 20 bilhões.

Modelos abertos de código-fonte em ascensão: o ajuste fino do Llama com a tecnologia TAO da Databricks supera o GPT-4o

Recentemente, a Databricks, empresa de inteligência de dados, lançou um novo método de ajuste fino de modelos de linguagem amplos — TAO (Test-time Adaptive Optimization). Essa tecnologia trouxe novas esperanças para o desenvolvimento de modelos abertos de código-fonte. Utilizando dados não rotulados e aprendizado por reforço, o TAO se destaca na redução de custos corporativos e obteve resultados impressionantes em uma série de testes de referência. De acordo com a publicação da mídia tecnológica NeoWin, o TAO

AMD lança projeto open source GAIA para execução eficiente de modelos de linguagem grandes locais

Recentemente, a AMD anunciou o lançamento de um aplicativo open source chamado GAIA, projetado para fornecer aos usuários uma maneira eficiente e local de executar modelos de linguagem grandes (LLM). Atualmente, o aplicativo é compatível com a plataforma Windows e foi otimizado especificamente para processadores da série Ryzen AI 300, aproveitando ao máximo as vantagens desses processadores em tarefas de IA. O GAIA é um aplicativo de IA generativo que permite aos usuários executar LLMs em seus computadores pessoais de forma privada, garantindo a privacidade dos dados. Além disso, o GAIA utiliza...

Controle de Movimento! Modelo de Vídeo a partir de Imagem Step-Video-TI2V de código aberto

A Step-星辰智能科技有限公司 de Xangai anunciou o lançamento de código aberto de seu mais recente modelo de vídeo a partir de imagem - Step-Video-TI2V. Este modelo foi treinado com base no Step-Video-T2V de 30B parâmetros e pode gerar vídeos de 102 quadros, 5 segundos e resolução de 540P, com duas características principais: controle da amplitude de movimento e controle do movimento da câmera. Ele se destaca especialmente na geração de efeitos de animação.

Kai-Fu Lee lança plataforma de modelos de linguagem de grande porte para empresas, enfatizando uma nova direção na competição de modelos de linguagem de grande porte

Equipe da CMU apresenta Meta Reinforcement Fine-Tuning (MRT): um novo paradigma para aprimorar o raciocínio de modelos de linguagem grandes

No campo da inteligência artificial, os modelos de linguagem grandes (LLM) estão em constante evolução. Recentemente, pesquisadores da Universidade Carnegie Mellon (CMU) e HuggingFace apresentaram um novo método chamado "Meta Reinforcement Fine-Tuning" (MRT). Este método visa otimizar a eficiência computacional dos modelos de linguagem grandes durante o teste, especialmente ao resolver problemas complexos de raciocínio, mostrando resultados excepcionais. Estudos demonstram que os modelos de linguagem grandes existentes apresentam dificuldades no processo de raciocínio...