Nos últimos anos, com o rápido desenvolvimento de Modelos de Linguagem Grandes (LLMs), o campo do Processamento de Linguagem Natural passou por transformações sem precedentes. Essas tecnologias são agora amplamente usadas em cenários como assistentes de código, mecanismos de busca e assistentes de IA pessoais, demonstrando capacidades poderosas. No entanto, o paradigma tradicional de 'previsão do próximo token' apresenta algumas limitações, especialmente ao lidar com raciocínio complexo e tarefas de longo prazo, onde os modelos precisam de muito treinamento para dominar a compreensão conceitual profunda. Para resolver esse problema, pesquisadores de instituições como a Meta propuseram...

Recentemente, o pesquisador chinês da Universidade de Harvard, Jeffrey Wang, juntou-se oficialmente à OpenAI como pesquisador na equipe fundamental, focando em pré-treinamento e inferência de modelos. Essa notícia gerou grande atenção, e o cofundador e presidente da OpenAI, Greg Brockman, também deu as boas-vindas a Jeffrey em primeira mão. A formação acadêmica de Jeffrey Wang é bastante impressionante. Ele se formou em um ensino médio na Califórnia, onde...

Ilya Sutskever, cofundador da OpenAI, afirmou recentemente que os pesquisadores de inteligência artificial precisam encontrar novas maneiras de expandir a inteligência das máquinas para superar as limitações existentes. Em um discurso na conferência NeurIPS 2024, em Vancouver, Canadá, Sutskever argumentou que a era do pré-treinamento de IA está chegando ao fim e previu o surgimento da superinteligência artificial. Sutskever acredita que, por meio de melhor hardware, software e métodos...

Uma equipe de pesquisa da Universidade Chinesa de Hong Kong e da Academia Chinesa de Ciências propôs um paradigma de pré-treinamento multimodal chamado MiCo (Multimodal Context). Este método alcançou resultados significativos na área de aprendizado multimodal, quebrando 37 recordes de desempenho de ponta (SOTA).

O modelo Qwen-72B do Tongyi Qianwen ocupa o primeiro lugar no ranking de modelos de pré-treinamento de código aberto do Hugging Face. O modelo Qwen-72B do Tongyi Qianwen possui 72 bilhões de parâmetros e uma pontuação composta de 73,6. O ranking de modelos de código aberto do Hugging Face avalia os principais modelos de código aberto do mundo. O modelo Qwen-72B do Tongyi Qianwen se destaca em compreensão de leitura, raciocínio lógico, cálculo matemático e perguntas e respostas factuais.

O Laboratório de IA de Xangai e a Aliança de Dados de Corpus lançaram em conjunto o conjunto de dados de pré-treinamento multimodal "Shusheng · Wànjuǎn" 1.0 de código aberto, incluindo conjuntos de dados de texto, texto e imagem e vídeo, com um total de mais de 2 TB. Este corpus foi cuidadosamente limpo e desduplicado, apresentando as características de fusão multifacetada, processamento refinado e alta eficiência e facilidade de uso. O lançamento do corpus de código aberto ajudará a promover a aplicação e inovação de grandes modelos e reduzirá a barreira de entrada para a tecnologia de grandes modelos.