Recentemente, durante a AAAI 2025, uma conferência acadêmica de ponta em inteligência artificial global, uma equipe conjunta da Ant Group, Universidade de Zhejiang, Universidade de Liverpool e Universidade Normal do Leste da China apresentou uma estrutura inovadora de ajuste remoto (offsite-tuning) — ScaleOT. Essa estrutura consegue melhorar a proteção de privacidade em 50% sem perda de desempenho do modelo. Em comparação com a técnica de destilação de conhecimento, o consumo computacional é reduzido significativamente em 90%, fornecendo uma solução eficiente e leve para o ajuste remoto de modelos com bilhões de parâmetros. O artigo foi selecionado para apresentação oral na AAAI devido à sua inovação.

A equipe 360 ZhiNao, em colaboração com a Universidade de Pequim, lançou oficialmente o modelo de raciocínio de tamanho médio Tiny-R1-32B-Preview. Com apenas 5% dos parâmetros, este modelo se aproxima com sucesso do desempenho completo do Deepseek-R1-671B, demonstrando o enorme potencial de modelos menores na área de inferência eficiente. O desempenho do modelo é particularmente notável em várias áreas-chave. Na área da matemática, o Tiny-R1-32B-Preview...

Em 17 de janeiro, no Centro Nacional de Supercomputação de Chengdu, ocorreu um avanço tecnológico significativo na área de monitoramento e análise de terremotos. A terceira versão de teste do 'Di Ting', o primeiro modelo de onda sísmica do mundo com bilhões de parâmetros, foi lançada. Desenvolvido em conjunto pelo Centro Nacional de Supercomputação de Chengdu, pelo Instituto de Pesquisa Geofísica da Administração Sismológica da China e pela Universidade Tsinghua, este modelo representa um grande salto na tecnologia de pesquisa de terremotos na China. O objetivo do desenvolvimento do modelo 'Di Ting' é melhorar a precisão de identificação e a capacidade de monitoramento de sinais sísmicos, especialmente em situações...

A Meta anunciou recentemente uma descoberta inovadora: o desenvolvimento de uma nova tecnologia de camada de memória que melhora significativamente a precisão factual dos modelos de linguagem grandes (LLMs) e permite uma expansão sem precedentes na escala de parâmetros. Essa tecnologia não apenas desafia os métodos tradicionais de expansão de redes neurais, mas também fornece novas direções para o design de arquiteturas de IA futuras. O cerne desta pesquisa reside no uso de um mecanismo de pesquisa chave-valor treinável para adicionar parâmetros extras ao modelo sem aumentar a quantidade de cálculos (FLOPs). Este método central se baseia em...

Em um artigo de pesquisa focado na avaliação de IA médica, a Microsoft parece ter 'sem querer' revelado novamente a escala de parâmetros de vários modelos de linguagem grandes de ponta. Publicado em 26 de dezembro, o artigo não apenas revela dados de parâmetros de modelos de várias empresas, incluindo OpenAI e Anthropic, mas também gerou debates na indústria sobre a arquitetura dos modelos e a força técnica. De acordo com o artigo, o modelo o1-preview da OpenAI tem aproximadamente 300B parâmetros, o GPT-4o cerca de 200B e o GPT-4o-mini apenas...

Na noite de 26 de dezembro, a QuantX lançou o DeepSeek-V3, sua nova geração de modelos de linguagem de grande porte, demonstrando uma impressionante inovação tecnológica. Este modelo, que utiliza a arquitetura MoE (Mixture of Experts - Mistura de Especialistas), não apenas se compara em desempenho aos modelos de código fechado de ponta, mas também desperta a atenção do setor por sua alta eficiência e baixo custo. Em termos de parâmetros principais, o DeepSeek-V3 possui 671 bilhões de parâmetros, dos quais 37 bilhões são parâmetros de ativação, tendo sido pré-treinado em um conjunto de dados de 14,8 trilhões de tokens. Em comparação com a geração anterior, o novo modelo apresenta uma velocidade de geração 3 vezes maior.

Com o rápido desenvolvimento da inteligência artificial, a integração da capacidade visual e linguística levou a avanços inovadores em modelos de linguagem visual (VLMs). Esses modelos são projetados para processar e entender simultaneamente dados visuais e de texto, sendo amplamente aplicados em cenários como descrição de imagens, perguntas e respostas visuais, reconhecimento óptico de caracteres e análise de conteúdo multimodal. Os VLMs desempenham um papel importante no desenvolvimento de sistemas autônomos, na melhoria da interação humano-computador e na criação de ferramentas eficientes de processamento de documentos, fechando com sucesso a lacuna entre esses dois tipos de dados modais. No entanto, o processamento de dados visuais de alta resolução e entradas de texto diversificadas

A Jieyue Xingchen anunciou recentemente o lançamento do Step-1o, um novo membro da matriz de modelos da série Step – um modelo de linguagem de fala ponta a ponta com centenas de bilhões de parâmetros, alegadamente o primeiro na China. Este lançamento representa um grande avanço no campo da tecnologia de voz. Através de uma solução de voz ponta a ponta, o modelo consegue integrar a compreensão e geração de fala, elevando o limite de QI e QE do modelo e permitindo uma experiência de comunicação de alta qualidade e quase natural.

No cenário de rápido desenvolvimento da inteligência artificial, a JD Cloud está demonstrando o poder da inovação tecnológica com ações práticas. Recentemente, a JD Cloud lançou a plataforma de marketing inteligente Yanxi, apresentando dez produtos de marketing com IA para mais de 800.000 comerciantes, oferecendo soluções inteligentes e mostrando o enorme potencial da IA na implementação industrial. Esta solução de marketing inteligente abrange diversos cenários, desde pessoas digitais até guias de compras inteligentes e edição inteligente de vídeos. O que mais chama a atenção são os excelentes resultados práticos. A taxa de utilização de conteúdo AIGC chega a 80%, com aumento médio de 30% na taxa de conversão. Estes números demonstram...

Nos últimos anos, a demanda por modelos de aprendizado de máquina em tarefas de visão e linguagem tem crescido, mas a maioria dos modelos requer recursos computacionais substanciais, impossibilitando sua execução eficiente em dispositivos pessoais. Dispositivos menores, como laptops, GPUs de consumo e dispositivos móveis, enfrentam desafios significativos no processamento de tarefas de linguagem visual. O Qwen2-VL, por exemplo, embora tenha um desempenho excelente, exige altos recursos de hardware, limitando sua usabilidade em aplicações em tempo real. Portanto, o desenvolvimento de modelos leves para operação em recursos limitados tornou-se...

Na corrida da inteligência artificial, a China avança firmemente com inovação independente. Em 26 de novembro, o 'Zidong Taichu' 3.0, o primeiro modelo multimodal de grande escala com centenas de bilhões de parâmetros do mundo, foi oficialmente lançado em Wuhan, adicionando mais uma pincelada vibrante à tecnologia de IA nacional. Isso não é apenas uma iteração tecnológica, mas também um marco importante para o ecossistema de IA da China. Criado em conjunto pelo Instituto de Automação da Academia Chinesa de Ciências, a Huawei e a Zona de Alta Tecnologia de Wuhan Dong Hu, o 'Zidong Taichu' já construiu com sucesso o primeiro modelo de pré-treinamento do mundo que abrange três modalidades: imagens, texto e áudio. Fonte da imagem em anexo

Na Conferência Mundial da Internet de Wuzhen de 2024, realizada hoje, o CEO da Honor, Zhao Ming, apresentou sua visão sobre o futuro desenvolvimento de telefones celulares. Ele disse que espera que, até 2027, os telefones celulares possam incorporar grandes modelos de IA com trilhões de parâmetros. Esse avanço permitirá que os telefones celulares aprendam, entendam e prevejam o comportamento e as intenções do usuário, fornecendo assim arranjos de vida e trabalho mais personalizados para o usuário. Nota da imagem: A imagem foi gerada por IA, fornecedora de serviços de licenciamento de imagens Midjourney. Vários telefones celulares no mercado já possuem modelos de IA em escala de

Recentemente, a Moondream, uma startup de Seattle, lançou o moondream2, um modelo de linguagem visual compacto. Apesar de seu tamanho compacto, o modelo se saiu excepcionalmente bem em vários benchmarks, chamando a atenção. Como um modelo de código aberto, o moondream2 tem o potencial de habilitar o reconhecimento de imagem local em smartphones. Lançado oficialmente em março, o moondream2 pode processar entradas de texto e imagem, com capacidades como responder a perguntas, extração de texto (OCR), contagem de objetos e classificação de itens.

Recentemente, uma equipe de pesquisa de várias instituições de pesquisa chinesas lançou o Infinity-MM, um conjunto de dados multimodais de grande escala, e treinou um modelo de IA de alto desempenho, Aquila-VL-2B, baseado neste conjunto de dados. Este avanço injetou uma nova força motriz no desenvolvimento da IA multimodal. O conjunto de dados Infinity-MM é surpreendentemente grande, contendo quatro grandes categorias de dados: 10 milhões de descrições de imagens, 24,4 milhões de dados de instruções visuais gerais, 6 milhões de dados de instruções de alta qualidade selecionados e 3 milhões de dados gerados por G

Uma equipe de pesquisa da Nvidia alcançou um avanço significativo no campo do controle de robôs. Eles desenvolveram o sistema de rede neural HOVER, que controla robôs humanoides de forma eficiente com uma quantidade extremamente pequena de parâmetros, superando até mesmo sistemas de controle especializados. Com apenas 1,5 milhão de parâmetros, o HOVER consegue lidar com o controle complexo de movimentos de robôs. Em comparação, modelos de linguagem grandes geralmente exigem centenas de bilhões de parâmetros. Essa surpreendente eficiência de parâmetros demonstra o requinte do design do sistema. O treinamento do HOVER foi realizado na simulação Isaac da Nvidia

Em um evento para desenvolvedores realizado em Tóquio, o Google anunciou uma grande novidade: o lançamento oficial do modelo Gemma em japonês. Este modelo de IA compacto, com apenas 2 bilhões de parâmetros, demonstra desempenho comparável ao GPT-3.5, processando com fluência tanto o japonês quanto o inglês. Essa conquista tecnológica é particularmente notável. No campo da IA, modelos menores frequentemente enfrentam o desafio do 'esquecimento catastrófico' ao aprender novos idiomas – ou seja, perdem habilidades previamente adquiridas ao adquirir novos conhecimentos. O Gemma em japonês, no entanto, superou com sucesso esse obstáculo.

Durante o Dia do Desenvolvedor Gemma em Tóquio, o Google lançou oficialmente o novo modelo de IA Gemma em japonês. Este modelo apresenta desempenho comparável ao GPT-3.5, mas com apenas 2 bilhões de parâmetros, tornando-o extremamente compacto e adequado para execução em dispositivos móveis. O modelo Gemma lançado demonstra excelente desempenho no processamento de japonês, mantendo simultaneamente suas capacidades em inglês. Isso é particularmente importante para modelos menores, pois podem enfrentar o 'catastrófico esquecimento' ao serem ajustados para novos idiomas.

A startup de IA Moondream anunciou oficialmente que recebeu US$ 4,5 milhões em financiamento inicial e apresentou um conceito bastante disruptivo: no mundo dos modelos de IA, modelos menores podem ser mais vantajosos. A empresa, apoiada pela Felicis Ventures, M12 (o fundo de capital de risco da Microsoft), GitHub e Ascend, lançou um modelo de linguagem visual com apenas 16 bilhões de parâmetros, que consegue competir em termos de desempenho com modelos quatro vezes maiores. A Moondream está...