Na área de visualização de dados de hoje, gerar gráficos que reflitam com precisão dados complexos continua sendo um desafio sutil. Os gráficos precisam não apenas capturar o layout, as cores e o posicionamento de texto precisos, mas também traduzir esses detalhes visuais em código para reproduzir o design pretendido. No entanto, os métodos tradicionais geralmente dependem de prompts diretos para modelos de linguagem visual (VLM), como o GPT-4V, que frequentemente enfrentam dificuldades na tradução de elementos visuais complexos em código Python sintaticamente correto. Mesmo erros mínimos podem resultar em gráficos que não atingem o design pretendido.

Nos últimos anos, com o rápido desenvolvimento de Modelos de Linguagem Grandes (LLMs), o campo do Processamento de Linguagem Natural passou por transformações sem precedentes. Essas tecnologias são agora amplamente usadas em cenários como assistentes de código, mecanismos de busca e assistentes de IA pessoais, demonstrando capacidades poderosas. No entanto, o paradigma tradicional de 'previsão do próximo token' apresenta algumas limitações, especialmente ao lidar com raciocínio complexo e tarefas de longo prazo, onde os modelos precisam de muito treinamento para dominar a compreensão conceitual profunda. Para resolver esse problema, pesquisadores de instituições como a Meta propuseram...

A Meta lançou recentemente um novo framework de política de risco projetado para avaliar e mitigar os riscos apresentados por modelos de IA de ponta, interrompendo o desenvolvimento ou restringindo o lançamento desses sistemas quando necessário. O framework, chamado de "Framework de IA de ponta", detalha como a Meta classificará os modelos de IA em duas categorias: alto risco e risco crítico, e tomará medidas de acordo para reduzir os riscos a um "nível aceitável". Neste framework, o risco crítico é definido como algo que pode exclusivamente facilitar a realização de cenários de ameaças específicos. Alto risco, por sua vez, significa...

Na área de desenvolvimento de jogos, a diversidade e a inovação de cenários sempre foram um desafio. Recentemente, a Universidade de Hong Kong e a Kuaishou Technology uniram forças para desenvolver um framework inovador chamado GameFactory, com o objetivo de resolver o problema da generalização de cenas na geração de vídeos de jogos. Este framework utiliza modelos de difusão de vídeo pré-treinados, capazes de treinar em dados de vídeo de domínio aberto, gerando assim cenas de jogos novas e diversificadas. Os modelos de difusão de vídeo, como uma tecnologia de geração avançada, têm demonstrado um enorme potencial nos últimos anos nas áreas de geração de vídeo e simulação física. Estes modelos

Modelos de linguagem generativos enfrentam muitos desafios na transição do treinamento para o uso no mundo real. Um problema principal é como otimizar o desempenho do modelo durante a inferência. As abordagens atuais, como o aprendizado por reforço a partir de feedback humano (RLHF), se concentram principalmente em melhorar a taxa de acertos do modelo, mas muitas vezes ignoram as estratégias de decodificação durante a inferência, como amostragem Best-of-N e decodificação controlada. Essa lacuna entre o objetivo do treinamento e o uso real pode levar à ineficiência, afetando a qualidade e a confiabilidade da saída. Para resolver esses problemas, o Google D

O Encontro do Framework de Inteligência Artificial MindSpore foi realizado com sucesso, e neste encontro, representantes de 18 unidades anunciaram vários resultados de modelos grandes de desenvolvimento nativo baseados no framework MindSpore. Esses novos desenvolvimentos marcam o rápido desenvolvimento e a crescente influência do MindSpore no campo da inteligência artificial. Prevê-se que a participação de mercado de novos frameworks de IA da China em 2024 para o MindSpore chegará a 30%. Desde sua abertura em 2020, a tecnologia MindSpore tem inovado continuamente, e seu ecossistema também está se tornando cada vez mais próspero. Atualmente, o MindSpore já incubou e suporta com sucesso mais de 50 grandes modelos nacionais e estrangeiros.

Na área da visão de IA, a localização de objetos sempre foi um grande desafio. Algoritmos tradicionais são como "miopes", apenas circulando grosseiramente os objetos com "caixas", sem enxergar os detalhes internos. É como descrever uma pessoa para um amigo apenas com altura e tipo físico aproximado; seu amigo dificilmente a encontraria! Para resolver esse problema, um grupo de especialistas da Universidade Tecnológica de Illinois, Cisco Research e Universidade Central da Flórida desenvolveram um novo framework de localização visual chamado SegVG, que promete libertar a IA da "miopia"! O SegVG

Na Inclusion·Bund Conference de 2024, a Ant Group compartilhou seus mais recentes avanços na construção de agentes de inteligência profissional aprimorados por conhecimento e lançou o KAG, um resultado de pesquisa que combina gráficos de conhecimento com modelos de linguagem grandes. Apresentado por Liang Lei, chefe de gráficos de conhecimento da Ant Group, o framework visa melhorar significativamente a precisão e o rigor lógico das decisões em setores verticais por meio da orientação de decisões e recuperação por símbolos lógicos de gráficos.

A Baichuan Intelligence, em colaboração com a Universidade de Tianjin, lançou o framework de agente 'Sibyl System', alcançando o primeiro lugar no GAIA Leader Board. O GAIA é um novo esquema de avaliação proposto pela Meta, Huggingface e AutoGPT em novembro de 2023, que avalia principalmente a capacidade e o esquema dos agentes na execução de tarefas complexas. Este esquema de avaliação revela as deficiências de capacidade dos modelos existentes e fornece direções de melhoria para o desenvolvimento de modelos e agentes.

Pesquisadores da Microsoft Research, em colaboração com uma equipe da Universidade de Aeronáutica e Astronáutica de Pequim, lançaram o E5-V, um framework de embedding multimodal eficiente, projetado para resolver os desafios no desenvolvimento de modelos de linguagem grandes multimodais (MLMs). Este framework inovador simplifica o processo de aprendizado multimodal por meio de treinamento unimodal, superando o problema de modelos anteriores que dependiam de codificadores independentes, resultando em uma integração ineficiente de entradas. O E5-V unifica informações de texto e imagem, reduzindo os custos de treinamento e exibindo desempenho superior em várias tarefas complexas, como recuperação de texto-imagem e recuperação de imagem, especialmente em cenários de zero-shot.

No campo da IA, os modelos de linguagem grandes (LLMs) demonstraram capacidades excepcionais de compreensão e geração de linguagem, como GPT-3 e Llama-2. No entanto, a enorme quantidade de parâmetros desses modelos apresenta desafios de alta demanda de recursos para treinamento e implantação. A solução tradicional é treinar várias versões do modelo para se adaptar a diferentes ambientes computacionais, mas esse método é ineficiente. Para isso, a NVIDIA e a Universidade do Texas em Austin propuseram o framework Flextron, uma arquitetura de modelo flexível e um método de otimização que suporta implantação sem ajuste fino adicional. Flextr

O Alibaba lançou o framework de geração de vídeo de retrato EMO. O EMO (Emote Portrait Alive) pode gerar vídeos de retrato falados com expressões faciais e movimentos da cabeça realistas. A tecnologia EMO supera os métodos avançados existentes, como DreamTalk, Wav2Lip e SadTalker. O modelo EMO pode ser usado como ferramenta criminosa.

“Será que existe um modelo de grafo universal – que consiga prever a toxicidade com base na estrutura molecular e também fornecer recomendações de amigos em redes sociais?” Ou que consiga prever citações de artigos de diferentes autores e descobrir mecanismos de envelhecimento humano em redes genéticas? Você realmente não precisa “Ele foi proposto por pesquisadores da equipe do Professor Yi-Xin Chen da Universidade de Washington em St. Louis, Zhang Muhan da Universidade de Pequim e Tao Dacheng do Instituto de Pesquisa JD.”

A equipe da Universidade Tecnológica de Nanyang apresenta o framework InsActor, que utiliza um modelo de movimento corporal difusivo para gerar animações físicas realistas a partir de instruções. O InsActor implementa uma estratégia de difusão para o planejamento de movimento condicional, capturando a complexa relação entre instruções de alto nível e ações de personagens. Os experimentos demonstram que o InsActor alcança resultados de ponta na geração de movimento direcionada por instruções e em tarefas de orientação por waypoint. A flexibilidade do framework permite a personalização de animações, demonstrando ampla aplicabilidade, mantendo o apelo visual enquanto garante a viabilidade física. O estudo destaca o InsActor

A OPPO lançou o AndesGPT, seu novo modelo de linguagem grande treinado internamente. O AndesGPT utiliza uma arquitetura de 'colaboração entre nuvem e dispositivo', criando um parceiro de IA personalizado para os usuários. A OPPO também anunciou que irá lançar o framework de agentes de IA AndesGPT como código aberto, permitindo que as pessoas definam e compartilhem aplicativos de IA nativos.

O novo framework RAPIDS cuDF da NVIDIA pode acelerar o Pandas em GPUs em até 150 vezes. O Pandas é um framework de dados Python amplamente utilizado para processamento e análise de dados. O novo modo de aceleração do Pandas permite que o código Pandas inalterado seja executado em um ambiente unificado de CPU/GPU.

O 'Grupo Taobao e Ai Cheng Technology lançam framework de treinamento de modelo de linguagem grande Megatron-LLaMA de código aberto' melhora o desempenho do treinamento de modelos de linguagem grandes, reduz os custos de treinamento e mantém a compatibilidade com a comunidade LLaMA. Em treinamento com 32 placas de vídeo, consegue-se uma aceleração de 176%.