Empresas de modelos grandes focam em "textos longos": o verdadeiro desafio do comprimento do contexto está na estrutura do Transformer

光锥智能

Publicado emNotícias e Informações de IA · 1 minutos de leitura · Oct 12, 2023

Empresas de modelos grandes estão intensificando o desenvolvimento de capacidades de processamento de "textos longos", mas o verdadeiro desafio reside em como superar as limitações da arquitetura Transformer. Essa tendência trará aplicações mais profundas para os setores financeiro, jurídico e de pesquisa.

Sistema de escrita de IA de código aberto da Universidade de Stanford: geração de textos longos de alta qualidade com um único clique, um novo avanço na escrita de pesquisas

A Universidade de Stanford alcançou mais um grande avanço na área de inteligência artificial. Seu mais recente sistema desenvolvido, STORM&Co-STORM, já está disponível em código aberto. Esse sistema consegue gerar artigos longos de alta qualidade a partir de uma simples entrada de tema, integrando completamente informações de múltiplas fontes. Essa inovação não apenas evita pontos cegos de informação, como também aumenta significativamente a eficiência e a qualidade da escrita de pesquisas. As tecnologias principais do sistema STORM&Co-STORM incluem o suporte do mecanismo de busca Bing e do GPT-4o mini. A parte STORM usa "especialistas LLM" e "LL"

Modelo de linguagem grande Doubao afirma ter alcançado o GPT-4, revelando pela primeira vez sua capacidade de processar 3 milhões de textos longos

O modelo de linguagem grande Doubao, da ByteDance, publicou hoje seu relatório de progresso tecnológico de 2024, revelando que sua versão mais recente, Doubao-pro-1215, alcançou o alinhamento total com o GPT-4 em termos de desempenho geral e apresentou capacidades ainda mais fortes em algumas áreas especializadas. Esse avanço marca a entrada oficial da tecnologia de modelos de linguagem grandes chineses no primeiro escalão global. Desde sua estreia em maio deste ano, o modelo de linguagem grande Doubao levou apenas 7 meses para alcançar uma melhoria de 32% em suas capacidades. De acordo com a empresa, isso foi conseguido por meio da otimização do processamento de grandes quantidades de dados e de uma arquitetura de modelo inovadora, incluindo melhorias em...

Quark lança o assistente de conversação inteligente CueMe, com suporte para criação de textos longos de até 20.000 caracteres

Recentemente, o assistente de conversação inteligente CueMe, desenvolvido pela Quark, foi lançado oficialmente. O CueMe é um assistente inteligente multifuncional que integra criação literária, aquisição de conhecimento e companhia emocional, com o objetivo de fornecer aos usuários serviços de informação abrangentes. Com base em tecnologia de inteligência artificial avançada, o CueMe pode atender às diversas necessidades dos usuários em seus estudos e trabalho, fornecendo suporte eficiente, seja para escrever artigos, relatórios ou criar romances e textos publicitários.

Universidade de Pequim/Instituto de Pesquisa de Comunicação lança LooGLE, teste de benchmark superdifícil para compreensão de textos longos; modelos de linguagem amplos falham!

A compreensão de contextos longos é um desafio crucial no campo do processamento de linguagem natural, especialmente quando modelos de linguagem amplos (LLMs) processam textos que excedem o tamanho de sua janela de contexto. Para solucionar esse problema, pesquisadores desenvolveram o teste de benchmark LooGLE, projetado para avaliar a capacidade de compreensão de contexto longo dos LLMs ao lidar com documentos extremamente longos (média de 19,3 mil palavras, totalizando 776 documentos, abrangendo diversas áreas). O LooGLE contém sete tarefas, que incluem dependências curtas e longas, avaliando a compreensão do modelo para textos de diferentes comprimentos. Os dados de teste são provenientes de publicações de 2022 em diante.