StreamVoice

Modelado lingüístico contextual en tiempo real para conversión de voz sin labios

Producto ComúnMúsicaConversión de vozConocimiento contextual
StreamVoice es un modelo de conversión de voz sin labios basado en modelos lingüísticos, capaz de realizar conversiones en tiempo real sin necesidad de la señal de voz fuente completa. Emplea un modelo lingüístico completamente causal y con conocimiento contextual, combinado con un predictor acústico independiente del tiempo. Esto permite procesar alternativamente las características semánticas y acústicas en cada paso de tiempo, eliminando la dependencia de la señal de voz fuente completa. Para mitigar el posible descenso del rendimiento debido a la incompletitud del contexto en el procesamiento en streaming, StreamVoice mejora la capacidad de percepción contextual del modelo lingüístico mediante dos estrategias: 1) Predicción contextual guiada por un profesor, donde durante el entrenamiento se utiliza un modelo profesor para resumir el contexto semántico actual y futuro, guiando al modelo para predecir el contexto faltante; 2) Una estrategia de enmascaramiento semántico, que fomenta la predicción acústica a partir de entradas semánticas y acústicas previamente dañadas, mejorando así la capacidad de aprendizaje contextual. Cabe destacar que StreamVoice es el primer modelo de conversión de voz sin labios en streaming basado en modelos lingüísticos que no requiere ninguna predicción futura. Los resultados experimentales demuestran que StreamVoice tiene capacidad de conversión en streaming, manteniendo al mismo tiempo un rendimiento en la conversión de voz sin labios comparable al de los sistemas de conversión de voz no en streaming.
Abrir sitio web

StreamVoice Situación del tráfico más reciente

Total de visitas mensuales

29742941

Tasa de rebote

44.20%

Páginas promedio por visita

5.9

Duración promedio de la visita

00:04:44

StreamVoice Tendencia de visitas

StreamVoice Distribución geográfica de las visitas

StreamVoice Fuentes de tráfico

StreamVoice Alternativas