Recentemente, a comunidade Modelers lançou oficialmente os modelos multimodais de código aberto Step-Video e Step-Audio, desenvolvidos pela Step-Video. Esses dois modelos são usados, respectivamente, para geração de vídeo e interação de voz, com o objetivo de fornecer ferramentas de IA mais poderosas para desenvolvedores e empresas. O modelo Step-Video, com o nome completo Step-Video-T2V, é um modelo de geração de vídeo de código aberto com 30 bilhões de parâmetros, o maior do mundo. O modelo pode gerar diretamente vídeos de 20...

Modelo de vetor multimodal BGE-VL lançado pela Baidu, inaugurando uma nova era na recuperação de informações.

Em 19 de fevereiro, a Beijing Zhipu Huazhang Technology Co., Ltd. anunciou que sua plataforma de criação multi-modal "Qingying" e a plataforma de criação de personagens de IA "Nie Ta" chegaram a uma parceria estratégica para explorar conjuntamente o caminho completo do design de personagens de IA para a criação de animação e promover a implementação tecnológica da consistência de IP. Esta cooperação visa explorar profundamente as necessidades dos usuários de segunda dimensão e os cenários de aplicação de IA, fornecendo aos usuários efeitos de geração de maior qualidade e velocidade de inferência mais rápida.

A equipe do modelo de linguagem Ernie anunciou duas importantes atualizações, proporcionando aos usuários uma experiência mais conveniente e eficiente. De acordo com a informação divulgada, com a iteração contínua e otimização de custos do modelo de linguagem Ernie, o Ernie Bot será totalmente gratuito a partir de 00h00 do dia 1º de abril. Nesse momento, os usuários poderão experimentar o mais recente modelo da série Ernie sem restrições, tanto no PC quanto no aplicativo. Essa medida certamente aumentará ainda mais a cobertura de usuários e o impacto de mercado do Ernie Bot.

Nos últimos anos, a inteligência artificial (IA) tem apresentado avanços significativos, mas ainda existem desafios na conciliação entre eficiência computacional e multifuncionalidade. Muitos modelos multimodais avançados, como o GPT-4, geralmente exigem recursos computacionais substanciais, o que limita seu uso a servidores de alta capacidade, dificultando a utilização eficaz de tecnologias de inteligência em dispositivos de borda, como smartphones e tablets. Além disso, o processamento em tempo real de tarefas como análise de vídeo ou conversão de voz para texto ainda enfrenta obstáculos tecnológicos, destacando a necessidade de modelos de IA eficientes e flexíveis para permitir uma operação perfeita em condições de hardware limitadas.

Recentemente, uma equipe de pesquisa da Universidade de Illinois Urbana-Champaign, Sony AI e Sony Corporation lançou uma nova tecnologia chamada MMAudio, projetada para gerar áudio de alta qualidade a partir de vídeo por meio de treinamento multi-modal conjunto. A inovação central do MMAudio é sua capacidade de usar entradas de vídeo e texto para gerar áudio sincronizado, expandindo os casos de uso da geração de áudio e permitindo a entrada de vídeo ou texto para gerar efeitos sonoros que correspondem ao conteúdo do vídeo. O design do MMAudio permite que...

Na Samsung Developer Conference deste ano, a Samsung lançou oficialmente o novo modelo Gauss2AI, marcando mais um grande avanço na área de inteligência artificial. O Gauss2 apresenta melhorias significativas em desempenho e eficiência, com aplicações que vão de smartphones a eletrodomésticos, abrangendo uma variedade de dispositivos inteligentes. O Gauss2 possui capacidade multi-modal, podendo processar simultaneamente imagens, texto e código, permitindo que a inteligência artificial se integre melhor a diversos ecossistemas de dispositivos. A Samsung desenvolveu três versões: Compact, Balanced e

Em 31 de outubro, a ByteDance lançou discretamente uma plataforma de comunidade de compartilhamento de modelos de IA chamada 'Lumi'. Segundo informações, a plataforma oferecerá recursos de upload e compartilhamento de modelos, criação de workflows e treinamento LoRA. Atualmente, ainda está em fase de teste beta e disponível apenas para usuários com acesso prévio.

Nos últimos anos, a influência da inteligência artificial (IA) na área médica tem se tornado cada vez mais significativa, especialmente no diagnóstico de doenças e planejamento de tratamentos. O desenvolvimento de modelos de linguagem visual médica de grande porte (Med-LVLMs) oferece novas possibilidades para a criação de ferramentas de diagnóstico médico mais inteligentes. No entanto, esses modelos, em aplicações práticas, frequentemente enfrentam um problema considerável: a alucinação factual. Esse fenômeno pode não apenas levar a diagnósticos incorretos, mas também ter consequências graves para a saúde do paciente. Para solucionar esse problema que afeta a IA médica, a pesquisa...

Uma equipe de pesquisa composta pelo Instituto de Tecnologia de Illinois, Universidade de Zhejiang, Universidade da Flórida Central e Universidade de Illinois em Chicago, recentemente lançou o novo modelo de linguagem grande 3D, Robin3D. Treinado em um conjunto de dados em larga escala contendo um milhão de dados de seguimento de instruções, o modelo alcançou o melhor desempenho em cinco benchmarks comuns de aprendizado multi-modal 3D, representando um avanço significativo na construção de agentes 3D de uso geral. O sucesso do Robin3D se deve ao seu inovador mecanismo de dados RIG (Robu...

No rápido desenvolvimento da inteligência artificial, um modelo de linguagem grande multi-modal chamado ORYX está silenciosamente mudando nossa compreensão da capacidade da IA de entender o mundo visual. Este sistema de IA, desenvolvido em conjunto por pesquisadores da Universidade Tsinghua, Tencent e da Universidade Tecnológica de Nanyang, é considerado o 'Transformers' do processamento visual. ORYX, abreviação de Oryx Multi-Modal Large Language Models, é um modelo de IA projetado especificamente para lidar com a compreensão espaço-temporal de imagens, vídeos e cenas 3D. Sua

Em 26 de setembro, a '蔚蓝科技', empresa de robótica inteligente, lançou seu novo robô quadrúpede BabyAlpha A2, causando um furor no mercado doméstico de casas inteligentes com sua capacidade de interação multi-modal e preço acessível. O BabyAlpha A2 não é apenas um companheiro inteligente com uma aparência adorável, mas também um pioneiro na automação residencial. Como o primeiro robô quadrúpede AI da China com capacidade de interação multi-modal, ele abre as portas para uma vida inteligente para famílias comuns com um preço inferior a 10.000 yuans. Este robô integra várias funções avançadas, incluindo

Modelos de geração multi-modal estão liderando a nova onda da inteligência artificial, focando na fusão de dados visuais e textuais para criar sistemas de IA multifuncionais que executam diversas tarefas, desde geração de imagens até compreensão e raciocínio entre diferentes tipos de dados. Um desafio-chave é melhorar a capacidade dos modelos autorregressivos (AR) para gerar imagens altamente detalhadas com base em descrições de texto. Embora os modelos de difusão se destaquem na geração de imagens de alta qualidade, os modelos AR ficam para trás em termos de qualidade de imagem, flexibilidade de resolução e capacidade de lidar com múltiplas tarefas. Pesquisadores do Laboratório de IA de Xangai e da Universidade Chinesa de Hong Kong lançaram o Lum...

Na Conferência Mundial de Inteligência Artificial de 2024, a SenseTime lançou o "Rixin 5o", o primeiro modelo do tipo "o que você vê é o que você obtém" na China. A experiência de interação deste modelo é comparável à do GPT-4o, alcançando interação multi-modal em tempo real e em fluxo contínuo. Ao integrar informações multimodais como áudio, texto, imagens e vídeos, o modelo consegue compreender e responder em tempo real. Por exemplo, ele consegue identificar o crachá de um funcionário e determinar sua localização no evento, descrever a aparência e os acessórios de um brinquedo de cachorro, e até mesmo avaliar instantaneamente um desenho feito à mão por um funcionário.

Pesquisadores da Apple e da Escola Politécnica Federal de Lausanne (EPFL), na Suíça, desenvolveram em conjunto um único modelo modalidade-a-modalidade arbitrária que pode ser treinado em dezenas de modalidades altamente diversas e treinado de forma colaborativa em um conjunto de dados multimodais em larga escala e um corpus de texto. O modelo, chamado 4M-21, foi treinado em 21 modalidades diferentes, realizando pelo menos três vezes mais tarefas do que os modelos existentes sem perda de desempenho.

Hoje, na Conferência de Desenvolvedores HDC2024 da Huawei, Zhang Pingan, Diretor Executivo e CEO da Huawei Cloud, anunciou oficialmente o lançamento do modelo de IA Huawei Cloud PanGu 5.0. O PanGu 5.0, com seus diferentes tamanhos de parâmetros de bilhões, dezenas de bilhões, centenas de bilhões e trilhões, e suas diversas funcionalidades, incluindo modelos de linguagem natural, modelos multimodais, modelos de visão computacional, modelos preditivos e modelos de computação científica, oferece suporte sem precedentes para aplicativos de IA.

Recentemente, o Meta lançou discretamente seis resultados de pesquisa, trazendo novas aplicações e avanços tecnológicos para o campo da IA. Isso inclui um modelo multi-modal, um modelo de geração de música a partir de texto, uma tecnologia de marca d'água de áudio e conjuntos de dados, entre outros projetos. Vamos dar uma olhada no que esses resultados de pesquisa são exatamente.

O Ant Group lançou o SkySense, um modelo de base de sensoriamento remoto multi-modal com 2 bilhões de parâmetros. O SkySense superou produtos internacionais semelhantes em 17 cenários de teste. O SkySense pode ser usado para observação e interpretação de geomorfologia e culturas. Já foi aplicado em interações em larga escala de IA no Festival Wu Fu do Alipay e em pessoas digitais da Ant Medical, entre outros cenários.