ModernBERT-large

Modelo Transformer de codificador bidirecional de alto desempenho

Produto ComumProgramaçãoBERTTransformer

ModernBERT-large é um modelo Transformer de codificador bidirecional moderno (estilo BERT), pré-treinado em 2 trilhões de dados de inglês e código, com comprimento de contexto nativo de até 8192 tokens. O modelo emprega as mais recentes melhorias de arquitetura, como incorporação de posição rotacional (RoPE) para suporte a contextos longos, atenção alternada local-global para melhorar a eficiência de entradas longas e atenção sem preenchimento e Flash Attention para melhorar a eficiência de inferência. O ModernBERT-large é adequado para tarefas que exigem o processamento de documentos longos, como recuperação, classificação e busca semântica em grandes corpora. Os dados de treinamento do modelo são principalmente inglês e código, portanto, seu desempenho pode ser menor em outros idiomas.

• Incorporação de Posição Rotacional (RoPE): Suporta o processamento de contextos longos.
• Atenção Alternada Local-Global: Melhora a eficiência do processamento de entradas longas.
• Atenção sem preenchimento e Flash Attention: Melhora a eficiência de inferência do modelo.
• Comprimento de Contexto Longo: Suporte nativo a contextos de até 8192 tokens.
• Aplicável a Múltiplas Tarefas: Adequado para recuperação
classificação e busca semântica de texto e código.
• Alto Desempenho: Supera outros modelos de codificador de tamanho semelhante em várias tarefas.
• Dados de Pré-treinamento Abundantes: Pré-treinado em 2 trilhões de dados de inglês e código.

O público-alvo são pesquisadores e desenvolvedores na área de processamento de linguagem natural (PNL)
especialmente aqueles que precisam lidar com dados de texto e código longos. A capacidade de processamento de contexto longo e a alta eficiência do ModernBERT-large o tornam uma escolha ideal para grandes corpora e tarefas complexas de PNL.

Busca semântica de texto e código em corpora em larga escala.
Tarefas de recuperação e classificação de documentos longos.
Alcança novos melhores resultados em tarefas de recuperação de código
como busca de código e StackQA.

1. Instale a biblioteca transformers: Use o pip para instalar a versão mais recente da biblioteca transformers.
2. Carregue o modelo e o tokenizador: Use AutoTokenizer e AutoModelForMaskedLM para carregar o tokenizador e o modelo do modelo pré-treinado.
3. Pré-processamento do texto de entrada: Pré-processe o texto de entrada usando o tokenizador para obter o formato de entrada necessário para o modelo.
4. Inferência do modelo: Passe o texto de entrada pré-processado para o modelo para realizar a inferência.
5. Obtenha os resultados da previsão: Obtenha os resultados da previsão da saída do modelo

Abrir Site

ModernBERT-large Situação do Tráfego Mais Recente

Total de Visitas Mensais

29742941

Taxa de Rejeição

44.20%

Média de Páginas por Visita

5.9

Duração Média da Visita

00:04:44

ModernBERT-large Tendência de Visitas

ModernBERT-large Distribuição Geográfica das Visitas

Best AI Websites & Tools

ModernBERT-large

ModernBERT-large Situação do Tráfego Mais Recente

ModernBERT-large Tendência de Visitas

ModernBERT-large Distribuição Geográfica das Visitas

ModernBERT-large Fontes de Tráfego

ModernBERT-large Alternativas

ModernBERT-large — Modelo Transformer de codificador bidirecional de alto desempenho

ModernBERT — O ModernBERT é um modelo de codificador de nova geração com desempenho excepcional.

QwQ-32B — QwQ-32B é um poderoso modelo de raciocínio, projetado para resolução de problemas complexos e geração de texto, com desempenho excepcional.

ART — Uma técnica de transformador de região anônima para geração de imagens transparentes multicamadas variáveis.

MoBA — MoBA é um mecanismo de atenção em blocos híbrido para contextos de texto longo, projetado para melhorar a eficiência de modelos de linguagem de grande porte.

Kimi Latest — O mais recente modelo de IA lançado pela Lua Escura, com suporte a atualizações automáticas e contexto longo, ideal para bate-papo com IA e construção de assistentes inteligentes.

Janus-Pro-1B — Janus-Pro-1B é uma estrutura auto-regressiva unificada de compreensão e geração multimodal.

ViTPose — Conjunto de modelos ViTPose baseados em Transformer

ModernBERT-base — Modelo de codificador bidirecional eficiente para processamento de textos longos

Llama-3.3-70B-Instruct — Modelo de linguagem grande multilíngue com 70 bilhões de parâmetros

OLMo 2 13B — Modelo de linguagem de referência acadêmica em inglês de alto desempenho

Star-Attention — Técnica de inferência eficiente para modelos de linguagem grandes e sequências longas

Qwen2.5-Coder-1.5B-Instruct-GPTQ-Int8 — Modelo de geração de código de 1,5B de parâmetros da série Qwen2.5-Coder

Qwen2.5-Coder-3B-Instruct-GPTQ-Int8 — Modelo de instruções com 3 bilhões de parâmetros da série Qwen2.5-Coder

MobileLLM-1B — Modelo de linguagem de um bilhão de parâmetros desenvolvido pelo Meta, adequado para aplicações em dispositivos.

MobileLLM-600M — Modelo de linguagem de 600M de parâmetros, eficiente e otimizado, projetado para aplicações em dispositivos.

MobileLLM-350M — Modelo de linguagem eficiente e otimizado com menos de um bilhão de parâmetros, projetado para aplicações em dispositivos.

kelindar/search — Biblioteca Go para busca vetorial embutida e embeddings semânticos

Oasis — Modelo AI de mundo aberto em tempo real baseado em Transformer

SLM_Survey — Pesquisa, medição e insights sobre modelos de linguagem de pequeno porte

ACE: Criador e Editor Multifuncional Seguindo Instruções via Transformador de Difusão — Criador e editor multifuncional que segue instruções por meio de transformação de difusão.

Llama-3.2-1B — Modelo de linguagem grande multilíngue

OpenCity — Modelo de base espaço-temporal de código aberto para previsão de tráfego

AI21-Jamba-1.5-Large — Modelo de base avançado de instrução híbrido SSM-Transformer

Bailing-TTS — Modelo de texto para fala (TTS) em larga escala que gera áudio em diversos dialetos chineses de alta qualidade.

Gemini Pro — Modelo de IA multimodal de alto desempenho

MindSearch — Framework de mecanismo de busca AI de código aberto, com desempenho comparável ao Perplexity.ai Pro.

Tele-FLM-1T — Modelo de linguagem grande multilíngue de código aberto de 1T

DCLM-7B — Modelo de linguagem com 700 milhões de parâmetros, demonstrando a eficácia das técnicas de organização de dados.

Mamba-Codestral-7B-v0.1 — Modelo de código aberto de alto desempenho