Nexa AI近日推出了其全新的OmniAudio-2.6B音频语言模型，旨在满足边缘设备的高效部署需求。与传统的将自动语音识别（ASR）和语言模型分开的架构不同，OmniAudio-2.6B将Gemma-2-2b、Whisper Turbo以及定制的投影仪集成到一个统一框架中，这一设计消除了传统系统中各个组件链接所带来的低效率和延迟，特别适用于计算资源有限的设备。主要亮点:处理速度: OmniAudio-2.6B在性能上表现出色。在2024Mac Mini M4Pro上，使用Nexa SDK并采用FP16GGUF格式时，模型可实现每秒35.23个令牌的处理速度，而在Q4_K_M GGUF格式下，

2023年成立的 Vapi 公司近日宣布成功完成2000万美元的 A 轮融资，由 Bessemer Venture Partners 主导，此外还获得了 Abstract Ventures、AI Grant、Y Combinator、Saga Ventures 以及 Michael Ovitz 的投资。随着生成式语音模型不断接近人类交互水平，许多企业需要一个能够无缝集成这些技术的平台，以提升客户互动和服务效率。图源备注:图片由AI生成，图片授权服务商MidjourneyVapi 的愿景是 “让技术回归人类声音”，为开发者提供快速部署 AI 语音助手的工具，时间从几个月缩短到几分钟。该公司采用开发者优先的策

西班牙 BBVA 银行（Banco Bilbao Vizcaya Argentaria）近日宣布，成功在全球范围内部署了 ChatGPT 企业版，以提升员工的工作效率和创新能力。在短短五个月内，该行通过与法律、合规及 IT 安全团队紧密合作，确保 AI 的安全和负责使用，已创建了超过2900个定制化的 GPT 应用程序。BBVA 银行在技术创新方面一直走在前列，早在多年前就推出了自助取款机存款和获奖的移动应用。如今，他们希望通过 ChatGPT 将 AI 的能力普及给每位员工，使其能够更轻松地开发解决方案。BBVA 全球 AI 推广负责人埃琳娜・阿

近日，SambaNova 和 Hugging Face 联合推出了一新工具，使开发者能够仅需点击一下按钮即可部署类似 ChatGPT 的聊天机器人，极大地缩短了部署时间，从原本的数小时减少到几分钟。对于开发者而言，这一过程相当简单，只需访问 SambaNova Cloud 的 API 网站获取访问令牌，接着在 Python 中输入三行代码即可完成部署。具体操作步骤:首先，开发者需要导入所需的库。代码为: ```pythonimport gradio as gr import sambanova_gradio gr.load （"Meta-Llama-3.1-70B-Instruct-8k"， src=sambanova_gradio.registry， accept_token=True）.launch () ``

北京百川智能科技有限公司近日宣布推出其一站式解决方案，旨在帮助企业以低成本实现大模型的私有化部署，并提高效率。这套解决方案包括全链路优质通用训练数据、Baichuan4-Turbo和Baichuan4-Air两款模型，以及全链路领域增强工具链，能够满足企业在不同场景下的需求。

微软正在全球60个城市开展"AI巡讲"活动。这些为期一天的活动旨在搭建桥梁，让对AI感兴趣的企业人士能够与微软工程师和销售团队直接对话，探讨如何打造"AI优先"企业，以及其核心技术Copilot的应用前景。

英伟达再次展现了其在人工智能领域的雄心壮志。这家GPU巨头以2.5亿美元的价格收购了总部位于西雅图的初创公司OctoAI，这不仅是英伟达2024年的第五笔收购，更是其在AI基础设施领域巩固领导地位的战略性举措。OctoAI成立于2019年，源自华盛顿大学的Apache TVM项目，专注于优化AI模型性能。在首席执行官Luis Ceze的带领下，公司成功从AI模型优化转型为生成式AI领域的关键玩家。OctoAI的核心产品OctoStack为企业提供了一个全面的解决方案，能够在多种环境中轻松部署和扩展生成式AI模型。这家初创公

百度集团执行副总裁沈抖在今日举行的2024百度云智大会上宣布了百度百舸计算平台4.0的升级。这一新版本支持多芯混合训练与多芯适配，并在万卡集群上实现了超过99.5%的有效训练时长，显著提升了算力使用效率。在当前算力紧缺的背景下，百舸4.0的升级将帮助企业更有效地利用计算资源，降低运营成本。升级的重点在于提升“多芯混合训练”能力，使得在万卡规模的集群上实现了95%的训练效能，达到行业领先水平。此外，百舸4.0还实现了秒级部署，将万卡集群的运行准备时间从数周缩短

Booz Allen Hamilton 在国际空间站上成功部署并运行了首个生成式AI大语言模型（LLM），标志着人工智能在太空领域的重大突破。这一模型利用HPE的Spaceborne Computer-2在ISS国家实验室运行，实现了在太空中使用强大AI助手处理复杂问题，检索信息，而不依赖地球互联网。开发过程仅历时八周，展示了AI在极端环境下的潜力。这一技术不仅对太空探索至关重要，还可能在偏远地区或灾难现场提供关键支持，展现了AI为人类创造、驱动及受益的能力。

伦敦的AI初创公司Rabbitt.AI获得了TC集团210万美元的融资，用于定制化LLM开发、RAG微调和高级AI应用创建部署。其平台提供MLOps集、语音机器人AI代理，并强调AI部署中的隐私策略。Rabbitt.AI由IIT-D校友创立，专注小型、定制和行业特定的AI模型，与大型科技公司如NVIDIA、Meta和Microsoft合作。该公司在印度设有大部分开发团队和德里办事处，与企业合作定制LLMs和开发AI应用，如自主软件工程师，无需人工预处理。Rabbitt.AI声称其服务超越OpenAI，提供更高效的注释、成功率和客户满意度。

OpenAI推出全新旗舰模型GPT-4o mini，已在Azure AI平台上上线，主要为文本处理功能，比先前的GPT-3.5 Turbo更加智能，MMLU测试得分从70%提升至82%，成本节省60%以上。新增128K上下文窗口及更完善的多语言能力。用户可通过Azure OpenAI Studio Playground免费试用。Azure AI提供了标准安全性、数据驻留升级和服务高可用性，适合助手、代码解析、流媒体等领域。GPT-4o mini具备全球随用随付特性，以每分钟1500万个token提供高吞吐量服务。除原始模型还提供微调功能，基于token的培训计费方式将Azure OpenAI服务成本降低了43%，性价比高，特别适合具备生产工作负载的用户。从本月开始，GPT-4o mini将登陆Azure AI平台，同时推出Batch服务以利用非高峰容量提供折扣率的高吞吐量作业服务。

在AI领域，大型语言模型（LLMs）展现出了极高的语言理解和生成能力，如GPT-3和Llama-2等。然而，这些模型的庞大参数量对训练和部署提出了高资源需求的挑战，传统的解决办法是训练多版本模型以适应不同计算环境，但这种做法效率低下。为此，NVIDIA和德克萨斯大学奥斯汀分校提出Flextron框架，一种支持无需额外微调的灵活模型架构和优化方法。Flextron能根据特定的延迟和准确性需求，在推理过程中动态调整模型部署，显著减少对多个模型变体的依赖。通过样本高效训练方法和先进的路由算法，Flextron将预训练的LLMs转化为能够适应各种部署场景的弹性模型，节省计算资源和时间。对比其他最先进的弹性网络，Flextron在效率和准确性上都有出色表现，并通过弹性多头注意力层进一步优化资源利用，特别适合资源有限的计算环境。

智谱 AI 已发布其开源模型 GLM-4-9B 和 CodeGeeX4-ALL-9B 为 Ollama 支持。GLM-4-9B 属于多领域通用模型，表现出色并得到开放共享。基于上述模型的 CodeGeeX4-ALL-9B 则专注于多语言代码生成，显著提升生成能力。Ollama 是一款方便在本地环境部署大型语言模型的工具，支持 Windows、macOS、Linux 和 Docker，用户可快速运行所选模型，界面友好。时下版本的 Ollama 已支持对语言模型进行部署，但仍不支持多模态模型。用户可以通过以下链接访问模型：GLM-4-9B - <https://ollama.com/library/glm4>；CodeGeeX4-ALL-9B - <https://ollama.com/library/codegeex4>。

["32% 的组织已在企业应用中使用生成式人工智能","60% 的组织最担心生成式人工智能的安全问题","58% 的组织主要采用 OpenAI 的 GPT-4 大型语言模型","调查数据显示，75% 的组织目前使用大型语言模型"]

["MobileLLM 是 Meta AI 团队推出的新型大语言模型，针对移动设备上 LLM 部署提供解决方案。","MobileLLM 采用深窄结构设计和参数优化，提高性能表现。","研究展开新的可能性，使 LLM 在资源受限环境中应用更具潜力。","MobileLLM 为移动设备上 LLM 部署树立了新标准，性能显著提升，打开了新视野。"]

["联想与英伟达紧密合作，共同提供AI专业服务","帮助客户快速部署混合AI解决方案","合作目的是为了加强AI领域的实力","为客户提供更好的解决方案"]

["社交媒体巨头Meta计划于今年在其数据中心部署一款定制的第二代AI芯片，代码名为Artemis","新芯片将用于运行AI模型的“推断”，旨在减少对芯片的依赖和控制AI工作负载的成本","Meta首席执行官马克・扎克伯格宣布计划使用34万个Nvidia H100GPU，总共约有60万个GPU用于运行和训练AI系统","Meta希望通过自家AI芯片的部署来降低对Nvidia芯片的依赖，以及控制AI工作负载的成本"]

["魔搭社区与 vLLM 和 FastChat 展开合作，提供高效 LLM 推理和部署服务。","开发者可以使用 vLLM 作为 FastChat 中的推理引擎，提供高吞吐量的模型推理。","FastChat 是一个开放平台，用于训练、服务和评估基于 LLM 的 ChatBot。","vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员开发的 LLM 服务系统。","通过 FastChat 和 vLLM，开发者可以快速加载魔搭的模型进行推理。"]

["微软Azure最近推出了GPT-RAG，这是一项超智能的解决方案，旨在让大型语言模型在企业中更加顺畅地运行。","对LLMs的需求因其理解和生成类似人类文本的能力而迅速增长。","GPT-RAG具备强大的安全框架，遵循零信任原则，确保敏感数据得到谨慎处理，为企业提供。","此外，GPT-RAG的架构包括三个关键组件: 数据摄入、协调器、前端应用。"]

["印度仅有26%的组织准备好部署人工智能，32%的公司被认为是未准备好或准备有限。","95%的印度企业认为只有一年时间来实施人工智能战略，否则将遭受严重影响。","全球95%企业认识到人工智能将增加基础设施工作量，但印度只有39%认为基础设施可扩展。","董事会和领导团队对人工智能接受度高，但中层管理和员工中存在一定程度的抵制态度。"]