Mini-Omni

Modelo de linguagem de grande porte multimodal de código aberto, com suporte para entrada de voz em tempo real e saída de áudio em streaming.

Produto ComumProdutividadeMultimodalReconhecimento de Voz

Abrir Site

O Mini-Omni é um modelo de linguagem de grande porte multimodal de código aberto, capaz de realizar conversas com entrada de voz em tempo real e saída de áudio em streaming. Ele possui a funcionalidade de conversação de voz para voz em tempo real, sem necessidade de modelos ASR ou TTS adicionais. Além disso, ele pode gerar saída de voz enquanto pensa, suportando a geração simultânea de texto e áudio. O Mini-Omni aprimora ainda mais seu desempenho por meio de inferência em lote 'Audio-to-Text' e 'Audio-to-Audio'.

Funcionalidade de conversação de voz para voz em tempo real
sem modelos ASR ou TTS adicionais.
Capacidade de 'pensar alto'
gerando texto e áudio simultaneamente.
Suporte para saída de áudio em streaming.
Inferência em lote 'Audio-to-Text' e 'Audio-to-Audio' para melhor desempenho.
Suporte para criação de um novo ambiente conda e instalação dos pacotes necessários.
Início rápido da demonstração interativa via linha de comando.
Suporte para testes locais
executando amostras de áudio e perguntas predefinidas.

O Mini-Omni é adequado para desenvolvedores
pesquisadores e usuários interessados em tecnologias de interação multimodal de inteligência artificial. Ele fornece aos desenvolvedores uma ferramenta poderosa para construir e testar aplicativos com capacidade de interação de voz.

Os desenvolvedores podem usar o Mini-Omni para criar um chatbot capaz de realizar conversas em tempo real por voz.
Pesquisadores podem usar o Mini-Omni para experimentos e pesquisas em tecnologias de reconhecimento e síntese de voz.
Instituições de ensino podem usar o Mini-Omni para desenvolver aplicativos de aprendizagem de idiomas
fornecendo feedback em tempo real por voz.

Crie um novo ambiente conda e ative-o.
Clone o repositório de código do Mini-Omni para sua máquina local via git.
Instale os pacotes Python necessários.
Inicie o servidor e execute a demonstração streamlit ou gradio.
Realize testes locais

Abrir Site

Mini-Omni Situação do Tráfego Mais Recente

Total de Visitas Mensais

474564576

Taxa de Rejeição

36.20%

Média de Páginas por Visita

6.1

Duração Média da Visita

00:06:34

Mini-Omni Tendência de Visitas

Mini-Omni Distribuição Geográfica das Visitas

Best AI Websites & Tools

Mini-Omni

Mini-Omni Situação do Tráfego Mais Recente

Mini-Omni Tendência de Visitas

Mini-Omni Distribuição Geográfica das Visitas

Mini-Omni Fontes de Tráfego

Mini-Omni Alternativas

Mini-Omni — Modelo de linguagem de grande porte multimodal de código aberto, com suporte para entrada de voz em tempo real e saída de áudio em streaming.

conversão_voz_para_voz — Módulo de conversão de voz para voz de código aberto

Any GPT — Modelo de linguagem grande multi-modal

Migician — Migician é um modelo de linguagem grande multimodal focado na localização de imagens múltiplas, capaz de realizar localização precisa de imagens múltiplas de forma livre.

IndexTTS — Sistema de texto para voz (TTS) de amostra zero, eficiente e controlável em nível industrial

Phi-4-multimodal-instruct — Phi-4-multimodal-instruct é um modelo básico multimodal leve desenvolvido pela Microsoft, que suporta entrada de texto, imagem e áudio.

DeepSeek Japonês — DeepSeek é um modelo de linguagem IA avançado, especializado em raciocínio lógico, matemática e tarefas de programação, com uso gratuito.

Janus-Pro-1B — Janus-Pro-1B é uma estrutura auto-regressiva unificada de compreensão e geração multimodal.

RealtimeSTT — Uma biblioteca robusta, eficiente e de baixa latência para conversão de voz em texto, com detecção avançada de atividade de voz, ativação por palavra-chave e transcrição em tempo real.

Moondream AI — Modelo de linguagem visual de código aberto, executável em diversos dispositivos.

xiaozhi-esp32 — Projeto de chatbot de IA baseado em ESP32, capaz de realizar conversas multilíngues e reconhecimento de voz.

VITA-1.5 — VITA-1.5: Modelo de linguagem multimodal de grande porte, nível GPT-4o, com interação visual e de voz em tempo real.

OpenEMMA — Modelo multimodal de direção autônoma de ponta a ponta de código aberto

Sistema de Avatar Digital IA de Código Aberto AIGCPanel — Sistema de avatar digital IA completo, que suporta síntese de vídeo, síntese de voz e clonagem de voz.

Valley 2.0 — Modelo de linguagem grande multi-modal, aprimora a capacidade de processamento de dados de texto, imagem e vídeo.

InternVL 2.5 — Série de modelos de linguagem grandes multimodais de código aberto

ultravox-v0_4_1-llama-3_1-70b — Modelo de linguagem grande multimodal de voz

Transcribro — Teclado e serviço de texto por voz privado e local para Android.

GLM-4-Voice — Modelo de diálogo de voz em inglês e chinês de ponta a ponta

Llama 3.2 — Modelo de IA de código aberto, ajustável, destilável e implantável.

Deepgram Voice Agent API — IA conversacional em tempo real, integração com API com um único clique.

IFlytek Avatar Virtual — Serviço de aplicação de avatar virtual multi-cenário completo

OpenVoiceChat — Converse naturalmente por voz com modelos de linguagem grandes.

Azure Cognitive Services - Voz — Permita que seus aplicativos interajam de forma inteligente por meio da conversão de fala em texto e vice-versa.

GPT4o.so — Tecnologia de IA revolucionária, interação inteligente multi-modal

sherpa-onnx — Projeto de código aberto que suporta múltiplas funções de reconhecimento e síntese de voz.

StreamSpeech — Tradução de voz em tempo real, uma ponte para comunicação interlinguística.

ChatTTS.com — Modelo de texto para fala para cenários de conversa natural

Falcon 2 — Falcon 2 é um modelo de linguagem grande (LLM),开源、 multilíngue e multimodal, com capacidade de conversão de imagem para texto.

Gemini 1.5 Flash — Modelo de IA leve e eficiente do Google, projetado para tarefas de alta frequência e grande escala.