Infini-attention

Expande modelos de linguagem grandes baseados em Transformer para lidar com entradas infinitamente longas

Produto ComumOutrosTransformerModelo de linguagem grande

A tecnologia "Infini-attention", desenvolvida pelo Google, visa expandir modelos de linguagem grandes baseados em Transformer para lidar com entradas infinitamente longas. Isso é alcançado por meio de um mecanismo de memória comprimida, permitindo o processamento de entradas infinitamente longas e obtendo desempenho superior em várias tarefas de sequências longas. Os métodos técnicos incluem um mecanismo de memória comprimida, a combinação de atenção local e de longo prazo e capacidade de processamento em fluxo. Os resultados experimentais demonstram vantagens de desempenho em modelagem de linguagem de contexto longo, recuperação de blocos de contexto de chave e tarefas de resumo de livros.

Best AI Websites & Tools

Infini-attention

Infini-attention Situação do Tráfego Mais Recente

Infini-attention Tendência de Visitas

Infini-attention Distribuição Geográfica das Visitas

Infini-attention Fontes de Tráfego

Infini-attention Alternativas

Infini-attention — Expande modelos de linguagem grandes baseados em Transformer para lidar com entradas infinitamente longas

Llama-3.3-70B-Instruct — Modelo de linguagem grande multilíngue com 70 bilhões de parâmetros

MindSearch — Framework de mecanismo de busca AI de código aberto, com desempenho comparável ao Perplexity.ai Pro.

Argo — Construa facilmente seu próprio modelo de linguagem grande; inteligência exclusiva, tudo localmente.

NotaGen — NotaGen é um modelo para geração de música simbólica, que adota o paradigma de treinamento de modelos de linguagem grande e se concentra na geração de partituras clássicas de alta qualidade.

QwQ-32B — QwQ-32B é um poderoso modelo de raciocínio, projetado para resolução de problemas complexos e geração de texto, com desempenho excepcional.

ART — Uma técnica de transformador de região anônima para geração de imagens transparentes multicamadas variáveis.

MoBA — MoBA é um mecanismo de atenção em blocos híbrido para contextos de texto longo, projetado para melhorar a eficiência de modelos de linguagem de grande porte.

DMXAPI — DMXAPI é uma plataforma que agrega APIs de modelos de linguagem global, oferecendo acesso a mais de 300 modelos.

Mistral-Small-24B-Instruct-2501 — Mistral Small 24B é um modelo de linguagem grande, multilíngue e de alto desempenho, ajustado para instruções, adequado para diversas aplicações.

Janus-Pro-1B — Janus-Pro-1B é uma estrutura auto-regressiva unificada de compreensão e geração multimodal.

Doubao-1.5-pro — Doubao-1.5-pro é um modelo de linguagem grande (LLM) esparso MoE de alto desempenho, focado no equilíbrio extremo entre desempenho de inferência e capacidade do modelo.

InternVL2_5-78B-MPO — Esta é uma série de modelos de linguagem grandes multimodais avançados, apresentando desempenho geral excepcional.

MinMo — MinMo é um modelo de linguagem grande multimodário para interação de voz perfeita.

Dria-Agent-a-3B — Modelo de linguagem grande baseado na série Qwen2.5-Coder, focado em aplicações de agente.

Dria-Agent-a-7B — Modelo de linguagem grande baseado na série Qwen2.5-Coder, focado em aplicações de agente.

Dria-Agent-α — Dria-Agent-α é uma estrutura de interação de ferramentas de modelo de linguagem grande (LLM) baseada em Python.

ViTPose — Conjunto de modelos ViTPose baseados em Transformer

Llama-3-Patronus-Lynx-8B-Instruct-Q4_K_M-GGUF — Modelo de linguagem grande quantizado baseado em um modelo específico, adequado para tarefas de processamento de linguagem natural.

InternVL2_5-38B-MPO — Modelo da série InternVL2.5-MPO, baseado no InternVL2.5 e otimização de preferência mista, apresentando desempenho excepcional.

InternVL2_5-26B-MPO-AWQ — Modelo de linguagem grande multimodais avançado, com capacidade excepcional de raciocínio multimodais.

ModernBERT-large — Modelo Transformer de codificador bidirecional de alto desempenho

InternVL2_5-26B-MPO — Modelo de linguagem grande multimodal que aprimora a interação entre visão e linguagem.

InternVL2_5-8B-MPO — Modelo de linguagem grande multimodais, demonstrando desempenho geral excepcional.

HuatuoGPT-o1-8B — Modelo de linguagem grande avançado para a área médica

HuatuoGPT-o1 — Modelo de linguagem grande para raciocínio complexo na área médica

ModernBERT — O ModernBERT é um modelo de codificador de nova geração com desempenho excepcional.

InternVL2_5-4B-MPO-AWQ — Modelo de linguagem grande multimodal, otimizado para interação imagem-texto.

InternVL2_5-4B-MPO — Modelo de linguagem grande multi-modal, demonstrando desempenho geral excelente.

Valley 2.0 — Modelo de linguagem grande multi-modal, aprimora a capacidade de processamento de dados de texto, imagem e vídeo.