Modelo de raciocínio visual de código aberto QVQ-72B-Preview do Alibaba Qwen

AIbase基地

Publicado emNotícias e Informações de IA · 4 minutos de leitura · Dec 25, 2024

740

A equipe Qwen anunciou recentemente a disponibilização em código aberto de seu mais recente modelo de raciocínio multimodal, o QVQ, marcando um passo importante para a inteligência artificial na compreensão visual e na capacidade de resolução de problemas complexos. Este modelo, baseado no Qwen2-VL-72B, visa melhorar a capacidade de raciocínio da IA combinando informações linguísticas e visuais. No teste MMMU, o QVQ obteve uma alta pontuação de 70,3 e mostrou uma melhoria significativa de desempenho em vários testes de referência relacionados à matemática em comparação com o Qwen2-VL-72B-Instruct.

O modelo QVQ demonstrou vantagens particulares em tarefas de raciocínio visual, especialmente em áreas que exigem pensamento analítico complexo. Embora o QVQ-72B-Preview tenha apresentado um desempenho excelente, a equipe também apontou algumas limitações do modelo, incluindo problemas de mistura de idiomas e troca de código, a possibilidade de cair em padrões de lógica circular, considerações de segurança e ética, e limitações de desempenho e referência. A equipe enfatizou que, apesar das melhorias no raciocínio visual, o modelo não substitui completamente as capacidades do Qwen2-VL-72B; em processos de raciocínio visual de múltiplas etapas, o modelo pode gradualmente perder o foco no conteúdo da imagem, levando a alucinações.

微信截图_20241225075810.png

A equipe Qwen avaliou o QVQ-72B-Preview em quatro conjuntos de dados: MMMU, MathVista, MathVision e OlympiadBench. Esses conjuntos de dados visam testar a capacidade do modelo de compreensão e raciocínio abrangentes relacionados à visão. O QVQ-72B-Preview apresentou um desempenho excelente nesses testes de referência, reduzindo efetivamente a diferença em relação aos modelos líderes.

Para demonstrar ainda mais as aplicações do modelo QVQ em tarefas de raciocínio visual, a equipe Qwen forneceu vários exemplos e compartilhou um link para o blog técnico. Além disso, a equipe forneceu exemplos de código de raciocínio do modelo e como usar a API-Inference do MoDeL para chamar diretamente o modelo QVQ-72B-Preview. A API-Inference da plataforma MoDeL oferece suporte ao modelo QVQ-72B-Preview, permitindo que os usuários o utilizem diretamente por meio de chamadas de API.

Link do modelo:

https://modelscope.cn/models/Qwen/QVQ-72B-Preview

Link de experiência:

https://modelscope.cn/studios/Qwen/QVQ-72B-preview

Blog (em chinês):

https://qwenlm.github.io/zh/blog/qvq-72b-preview

O Lado Escuro da Lua lança o modelo SOTA k1.5 de próxima geração: capacidade de raciocínio multimodal aprimorada

A empresa O Lado Escuro da Lua orgulhosamente apresenta seu novo modelo SOTA (state-of-the-art) — o modelo de raciocínio multimodal k1.5, marcando um grande avanço no raciocínio multimodal e na inferência geral. O modelo não apenas possui excelente capacidade de processamento multimodal, mas também demonstra uma capacidade de raciocínio geral excepcional, capaz de lidar efetivamente com uma variedade de tarefas complexas. O maior destaque do modelo k1.5 reside em sua capacidade de raciocínio multimodal. Ele pode processar simultaneamente informações de diferentes modalidades, como texto, imagens e som, fornecendo assim informações mais completas e precisas.

Alibaba lança o modelo de raciocínio multimodal QVQ-72B! Aprimoramento de habilidades visuais e de linguagem, resolvendo problemas complexos com facilidade

A Alibaba lançou recentemente um novo modelo de raciocínio multimodal chamado QVQ-72B, baseado no Qwen2-VL-72B. Ele combina poderosas habilidades de linguagem e visão, permitindo o processamento de tarefas de raciocínio e análise mais complexas, marcando um novo avanço da Alibaba na área de IA multimodal. O QVQ-72B demonstrou melhorias significativas em raciocínio visual, problemas de matemática e ciência, especialmente em tarefas de raciocínio de múltiplas etapas. Isso significa que o modelo não apenas compreende informações de texto, mas também informações de imagem, e pode processá-las em múltiplas etapas.

ByteDance lança o modelo de raciocínio visual Doubao: preços a partir de R$ 0,003/mil tokens

Em 18 de dezembro, na conferência Volcano Engine FORCE, o presidente da Volcano Engine, Tan Dai, lançou o novo modelo de compreensão visual Doubao. O modelo processa simultaneamente informações de texto e imagem, fornecendo respostas mais precisas. O novo modelo apresenta excelente desempenho em reconhecimento, compreensão e raciocínio de conteúdo, além de uma capacidade de descrição visual mais detalhada, oferecendo aos usuários corporativos uma capacidade de processamento inteligente aprimorada. Tan Dai revelou na conferência que o modelo de compreensão visual Doubao não apenas alcançou avanços tecnológicos significativos, mas também reduziu drasticamente os preços.

Modelos de aprendizado por reforço da série k1 chegam! Modelo de raciocínio visual Kimi do lado oculto da lua online

A Lua Escura anunciou hoje o lançamento do novo modelo de raciocínio visual k1. Este modelo, baseado em tecnologia de aprendizado por reforço, não apenas suporta a compreensão de imagem de ponta a ponta, mas também integra a tecnologia de cadeia de pensamento, expandindo suas capacidades para além da matemática para mais áreas da ciência básica, incluindo física e química. Em testes de capacidade de referência, o modelo k1 superou modelos de referência líderes globais, como o o1 da OpenAI, o GPT-4o e o Claude3.5Sonnet.