ModernBERT-base

Modelo de codificador bidirecional eficiente para processamento de textos longos

Produto ComumProgramaçãoBERTProcessamento de Textos Longos

ModernBERT-base é um modelo Transformer de codificador bidirecional moderno, pré-treinado com 2 trilhões de dados de inglês e código, com suporte nativo para contextos de até 8192 tokens. O modelo emprega as mais recentes melhorias de arquitetura, como Rotary Positional Embeddings (RoPE), Local-Global Alternating Attention e Unpadding, o que lhe confere excelente desempenho em tarefas de processamento de textos longos. O ModernBERT-base é adequado para tarefas que exigem o processamento de documentos longos, como recuperação de informações, classificação e busca semântica em grandes corpora. Os dados de treinamento do modelo são principalmente inglês e código, portanto, seu desempenho em outros idiomas pode ser reduzido.

Capacidade de processamento de textos longos com até 8192 tokens
Rotary Positional Embeddings (RoPE) para suporte a contextos longos
Local-Global Alternating Attention para melhorar a eficiência com entradas longas
Unpadding e Flash Attention para otimizar a eficiência de inferência
Pré-treinamento em dados de texto e código em larga escala
Não requer IDs de tipo de token
simplificando o uso em tarefas downstream
Suporta o uso do Flash Attention 2 para maior eficiência

O público-alvo são desenvolvedores
cientistas de dados e pesquisadores que precisam processar dados de textos longos. Devido à sua capacidade de processamento de textos longos e otimização para dados de inglês e código
o ModernBERT-base é especialmente adequado para cenários como processamento de linguagem natural
recuperação de código e busca semântica mista (texto + código).

Recuperação de informações em documentos em larga escala
Busca semântica em bancos de código para encontrar funções ou módulos relevantes
Classificação de texto e busca semântica em grandes corpora

1. Instale a biblioteca transformers: use o pip para instalar git+https://github.com/huggingface/transformers.git.
2. Carregue o modelo e o tokenizador: use AutoTokenizer e AutoModelForMaskedLM para carregar o tokenizador e o modelo do modelo pré-treinado.
3. Prepare o texto de entrada: insira o texto a ser processado no tokenizador para obter o formato de entrada necessário para o modelo.
4. Inferência do modelo: passe os dados de entrada processados para o modelo para realizar a inferência.
5. Obtenha os resultados da previsão: para a tarefa Masked Language Model

Abrir Site

ModernBERT-base Situação do Tráfego Mais Recente

Total de Visitas Mensais

29742941

Taxa de Rejeição

44.20%

Média de Páginas por Visita

5.9

Duração Média da Visita

00:04:44

ModernBERT-base Tendência de Visitas

ModernBERT-base Distribuição Geográfica das Visitas

Best AI Websites & Tools

ModernBERT-base

ModernBERT-base Situação do Tráfego Mais Recente

ModernBERT-base Tendência de Visitas

ModernBERT-base Distribuição Geográfica das Visitas

ModernBERT-base Fontes de Tráfego

ModernBERT-base Alternativas

ModernBERT-base — Modelo de codificador bidirecional eficiente para processamento de textos longos

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4 — Modelo de linguagem de código aberto com 3,2 bilhões de parâmetros para geração de código.

Magma — Magma é um modelo básico capaz de entender e executar entradas multimodais, podendo ser usado em tarefas e ambientes complexos.

timesfm-2.0-500m-pytorch — Modelo de previsão de séries temporais pré-treinado desenvolvido pelo Google Research.

ModernBERT-large — Modelo Transformer de codificador bidirecional de alto desempenho

ModernBERT — O ModernBERT é um modelo de codificador de nova geração com desempenho excepcional.

OpenEMMA — Modelo multimodal de direção autônoma de ponta a ponta de código aberto

SynCamMaster — Tecnologia de geração de vídeo sincronizada em múltiplas perspectivas

EXAONE 3.5 — Modelo de IA de ponta, oferecendo obediência a instruções de nível superior e capacidade de processamento de textos longos.

InternVL2_5-26B — Modelo de linguagem grande multimodal, integrando compreensão visual e linguística.

Meta Llama 3.3 — Modelo de linguagem grande pré-treinado multilíngue com 70 bilhões de parâmetros

Aria-Base-64K — Modelo multi-modal nativo Mixture-of-Experts

ViTLP — Modelo pré-treinado de layout de texto gerado por guia visual para inteligência de documentos

LUAR — Modelo de aprendizado de representação de autor baseado em Transformer

Qwen2.5-Turbo — Modelo de linguagem avançado para processamento eficiente de textos longos

Qwen2.5-Coder-32B-Instruct-GPTQ-Int8 — Modelo de linguagem de código aberto para geração de código

Qwen2.5-Coder-0.5B-Instruct — Modelo de geração de código de 0,5B de parâmetros com ajuste de instruções da série Qwen2.5-Coder

Qwen2.5-Coder-3B — Modelo de 3B parâmetros da série Qwen2.5-Coder, focado em geração e compreensão de código.

Relatório Técnico do Qwen2.5-Coder — Série de Relatórios Técnicos do Qwen2.5-Coder

Qwen2.5-Coder-32B — Modelo de geração de código de código aberto com o maior número de parâmetros da série Qwen2.5-Coder.

kelindar/search — Biblioteca Go para busca vetorial embutida e embeddings semânticos

Aya Expanse-8b — Modelo de linguagem grande multilíngue, suporta 23 idiomas

DTLR — Modelo de detecção e reconhecimento de texto manuscrito

Mistral-Small-Instruct-2409 — Modelo de IA de ajuste fino instrutivo de alto desempenho

OLMoE — Modelo de linguagem de mistura de especialistas de código aberto com 130 milhões de parâmetros ativos.

OpenCity — Modelo de base espaço-temporal de código aberto para previsão de tráfego

AI21-Jamba-1.5-Mini — Modelo de IA de alta performance para processamento de textos longos

Família de Modelos Abertos Jamba 1.5 — Modelo de IA de alta performance para processamento de textos longos

IPAdapter-Instruct — Modelo de geração de imagens.

EXAONE-3.0-7.8B-Instruct — Modelo de geração de texto bilíngue com 780 milhões de parâmetros