Nexa AI近日推出了其全新的OmniAudio-2.6B音频语言模型，旨在满足边缘设备的高效部署需求。与传统的将自动语音识别（ASR）和语言模型分开的架构不同，OmniAudio-2.6B将Gemma-2-2b、Whisper Turbo以及定制的投影仪集成到一个统一框架中，这一设计消除了传统系统中各个组件链接所带来的低效率和延迟，特别适用于计算资源有限的设备。主要亮点:处理速度: OmniAudio-2.6B在性能上表现出色。在2024Mac Mini M4Pro上，使用Nexa SDK并采用FP16GGUF格式时，模型可实现每秒35.23个令牌的处理速度，而在Q4_K_M GGUF格式下，

法国AI初创公司Les Ministraux 推出两款全新轻量级模型Ministral3B和Ministral8B，专为边缘设备设计，参数分别为30亿和80亿。这两款模型在指令跟随基准测试中表现出色，Ministral3B超越了Llama38B和Mistral7B，Ministral8B则在除代码能力外其他方面均优于这两个模型。测试结果显示，Ministral3B和Ministral8B的性能可媲美Gemma2和Llama3.1等开源模型。 这两款模型都支持高达128k的上下文，并在知识、常识、推理、函数调用和效率方面为低于10B参数的模型树立了新的标杆。 Ministral8B还配备了滑动窗口注意机制，以实现