speech-to-speech

开源的语音到语音转换模块

普通产品编程语音识别自然语言处理

speech-to-speech 是一个开源的模块化GPT4-o项目，通过语音活动检测、语音转文本、语言模型和文本转语音等连续部分实现语音到语音的转换。它利用了Transformers库和Hugging Face hub上可用的模型，提供了高度的模块化和灵活性。

语音活动检测（VAD）：使用silero VAD v5。
语音转文本（STT）：使用Whisper模型，包括蒸馏版本。
语言模型（LM）：可以在Hugging Face Hub上选择任何可用的指令模型。
文本转语音（TTS）：使用Parler-TTS，支持不同的检查点。
模块化设计：每个组件都作为类实现，可以根据特定需求进行重新实现。
支持服务器/客户端方法和本地方法运行。

目标受众为开发者和研究人员，尤其是那些对语音识别、自然语言处理和语音合成技术感兴趣的人。该产品适合他们因为它提供了一个灵活、可定制的开源工具，可以用于研究或开发相关的应用程序。

开发者可以利用该模型创建一个语音助手，实现语音交互。
研究人员可以使用该模型进行语音识别和语音合成的实验和研究。
教育机构可以将其集成到教学工具中，提高学生对语音技术的理解。

克隆仓库到本地环境。
安装所需的依赖。
根据需要配置模型参数和生成参数。
选择运行方式：服务器/客户端方法或本地方法。
如果是服务器/客户端方法，先在服务器上运行模型，然后在客户端处理音频输入和输出。

打开网站

speech-to-speech 最新流量情况

月总访问量

494758773

跳出率

37.69%

平均页面访问数

5.7

平均访问时长

00:06:29

speech-to-speech 访问量趋势

speech-to-speech 访问地理位置分布

speech-to-speech 流量来源

speech-to-speech 替代品

Best AI Websites & Tools

speech-to-speech

speech-to-speech 最新流量情况

speech-to-speech 访问量趋势

speech-to-speech 访问地理位置分布

speech-to-speech 流量来源

speech-to-speech 替代品

Deepgram Voice Agent API — 实时对话式人工智能，一键式API接入。

Mini-Omni — 开源多模态大型语言模型，支持实时语音输入和流式音频输出。

OpenVoiceChat — 与大型语言模型进行自然的语音对话

WeST — 300行代码实现基于LLM的语音转录。

FunAudioLLM — 自然交互的语音理解和生成基础模型

OmniAudio-2.6B — 世界上最快的边缘部署音频语言模型

Megrez-3B-Omni — 端侧全模态理解开源模型

Q-RWKV-6 32B Instruct Preview — 最强大的RWKV模型变体，打破多项英语基准测试。

CosyVoice语音生成大模型2.0-0.5B — 高效、多语种的语音合成模型

OLMo-2-1124-7B-SFT — 高性能英文文本生成模型

OLMo 2 7B — 7B参数的大型语言模型，提升自然语言处理能力

Ai2 OpenScholar — 科学文献综合检索增强型语言模型

Llama-3.1-Tulu-3-8B-RM — 先进的指令遵循模型，提供全面后训练技术指南。

Llama-3.1-Tulu-3-70B-SFT — 领先的指令遵循模型家族，提供开源数据、代码和指南。

Llama-3.1-Tulu-3-8B-DPO — 先进的文本生成模型，支持多样化任务

playwright-ai — 使用Anthropic API进行Playwright测试的AI工具

Llama-3.1-Tulu-3-8B — 先进的指令遵循模型，提供开源数据和代码。

Ultravox.ai — 下一代语音AI，打造自然沟通的AI语音代理。

OuteTTS — 一个实验性的文本到语音模型

Tencent-Hunyuan-Large — 业界领先的开源大型混合专家模型

Transcribro — Android平台上的私有、设备端语音识别键盘和文字服务

MaskGCT TTS Demo — 基于MaskGCT模型的文本到语音演示

GLM-4-Voice — 端到端中英语音对话模型

llmc — 将自然语言描述转化为可执行的shell命令的本地推理命令行工具。

Knowledge Table — 开源工具，简化从非结构化文档中提取和探索结构化数据。

Zamba2-7B — 高效能小型语言模型

NotesGPT — AI驱动的语音笔记应用，将语音转换为有组织的摘要和清晰的行动项。

TurboSeek — 一个由Together.ai驱动的开源AI搜索引擎。

F5-TTS — 基于深度学习的高质量文本到语音合成模型