BitNet

Uma estrutura de inferência para modelos de linguagem grandes de 1-bit

Produto ComumProgramaçãoModelos de Linguagem GrandesEstrutura de Inferência

O BitNet é uma estrutura de inferência oficial desenvolvida pela Microsoft, projetada especificamente para modelos de linguagem grandes (LLMs) de 1-bit. Ele fornece um núcleo otimizado que suporta inferência de modelos de 1,58 bits rápida e sem perdas em CPUs (suporte a NPUs e GPUs em breve). O BitNet alcançou melhorias de velocidade de 1,37x a 5,07x em CPUs ARM e melhorias na eficiência energética de 55,4% a 70,0%. Em CPUs x86, as melhorias de velocidade variaram de 2,37x a 6,17x, com melhorias na eficiência energética de 71,9% a 82,2%. Além disso, o BitNet consegue executar o modelo BitNet b1.58 de 100B de parâmetros em uma única CPU, atingindo velocidades de inferência próximas à velocidade de leitura humana, expandindo as possibilidades de execução de LLMs em dispositivos locais.

Estrutura de inferência criada especificamente para modelos de linguagem grandes de 1-bit
Inferência de modelos rápida e sem perdas em CPUs
Suporte para CPUs com arquiteturas ARM e x86
com suporte futuro para NPUs e GPUs
Melhora significativa na velocidade de inferência e na eficiência energética
Capacidade de executar modelos grandes
como o BitNet b1.58 de 100B de parâmetros
em uma única CPU
Fornece um guia de instalação e uso detalhado para facilitar a adoção rápida pelos desenvolvedores
Baseado em contribuições da comunidade open source

O público-alvo são desenvolvedores
cientistas de dados e engenheiros de aprendizado de máquina
especialmente aqueles com altas demandas de desempenho de inferência de modelos de linguagem grandes. O BitNet
ao fornecer uma estrutura de inferência otimizada
permite que esses profissionais executem e testem modelos de linguagem grandes de forma eficiente em ambientes com recursos limitados

Pesquisadores usaram o BitNet para executar o modelo BitNet b1.58 de 100B de parâmetros em um computador pessoal para tarefas de compreensão da linguagem natural.
Desenvolvedores usaram a estrutura BitNet para implantar modelos de linguagem em dispositivos móveis com arquitetura ARM
implementando recursos de reconhecimento de voz em tempo real.
Empresas utilizaram o BitNet para otimizar seus aplicativos de processamento de linguagem
melhorando a velocidade de resposta dos serviços e reduzindo os custos operacionais.

1. Clone o repositório BitNet para o seu ambiente local.
2. Instale as dependências necessárias
incluindo Python
CMake e Clang.
3. Baixe o modelo de acordo com o guia e converta-o para o formato gguf quantizado.

Abrir Site

BitNet Situação do Tráfego Mais Recente

Total de Visitas Mensais

474564576

Taxa de Rejeição

36.20%

Média de Páginas por Visita

6.1

Duração Média da Visita

00:06:34

BitNet Tendência de Visitas

BitNet Distribuição Geográfica das Visitas

Best AI Websites & Tools

BitNet

BitNet Situação do Tráfego Mais Recente

BitNet Tendência de Visitas

BitNet Distribuição Geográfica das Visitas

BitNet Fontes de Tráfego

BitNet Alternativas

BitNet — Uma estrutura de inferência para modelos de linguagem grandes de 1-bit

fastc — Ferramenta leve de classificação de texto, usando embeddings de modelos de linguagem grandes.

AoT — Atom of Thoughts (AoT) é um framework usado para melhorar o desempenho de inferência de modelos de linguagem grandes.

Spark-TTS — Spark-TTS é um modelo de síntese de voz de fluxo único desacoplado eficiente baseado em modelos de linguagem grandes.

Agente de Busca Level-Navi — O Agente Level-Navi é uma estrutura pronta para uso, sem necessidade de treinamento, que utiliza modelos de linguagem grandes para compreensão profunda de consultas e busca precisa.

OmniParser-v2.0 — OmniParser é uma ferramenta universal de análise de tela que converte capturas de tela da interface do usuário (UI) em formatos estruturados, melhorando o desempenho de agentes de UI baseados em LLMs.

PaSa — PaSa é um agente de busca de artigos acadêmicos avançado, impulsionado por modelos de linguagem grandes, capaz de tomar decisões autônomas e obter resultados precisos.

modelos-de-linguagem-grandes-autoadaptativos — Uma estrutura de modelo de linguagem grande que se adapta em tempo real a tarefas desconhecidas.

MLPerf Client — Benchmark de desempenho de IA para computadores pessoais

Sandbox Fusion — Caixa de areia de código multifuncional para modelos de linguagem grandes.

Star-Attention — Técnica de inferência eficiente para modelos de linguagem grandes e sequências longas

Servidores de Protocolo de Contexto de Modelo — Coleção de servidores de referência e contribuições da comunidade para o Protocolo de Contexto de Modelo.

Agora — Protocolo de comunicação multiplataforma que permite a comunicação eficiente entre diferentes modelos de linguagem grandes (LLMs).

5ire — Simples e fácil de usar, liberando o poder da IA.

O1-Journey — O1 Jornada de Replicação: Relatório de Progresso Estratégico - Parte 1

LongVU — Modelo de Compressão Adaptativa Espaço-Temporal para Compreensão de Linguagem em Vídeos Longos

Comunidade de IA da Mishi — Comunidade de conhecimento na área de IA e gerenciamento de produto

NVLM — Modelo de linguagem grande multimodal de ponta, que oferece desempenho avançado em tarefas de visão-linguagem.

OneGen — Estrutura de geração e recuperação unificada e eficiente de passagem única, adequada para modelos de linguagem grandes.

Ferramentas de LLMs de Código Aberto — Conjunto de ferramentas de modelos de linguagem grandes (LLMs) de código aberto.

Shire — Linguagem de agente de programação AI, que permite a comunicação entre modelos de linguagem grandes (LLMs) e IDEs para automatizar a programação.

PromptChainer — Gerador de Cadeias de Prompt gratuito e rápido

LongCite — Permite que modelos de linguagem grandes gerem citações granulares em perguntas e respostas de textos longos.

iText2KG — Constrói grafos de conhecimento incrementalmente usando modelos de linguagem grandes

EAGLE — Exploração do espaço de design de modelos de linguagem grandes multimodais

百度GBI — Assistente de análise de dados em toda a cadeia, baseado em diálogo.

Parsera — Biblioteca Python leve para extração de dados de websites usando modelos de linguagem grandes.

llm-graph-builder — Aplicativo Neo4j para construir grafos de conhecimento

OmAgent — Framework de agente inteligente multimodal para resolver tarefas complexas

Jockey — Agente de vídeo conversacional que combina modelos de linguagem grandes com APIs de processamento de vídeo.