Booz Allen Hamilton 在国际空间站上成功部署并运行了首个生成式AI大语言模型（LLM），标志着人工智能在太空领域的重大突破。这一模型利用HPE的Spaceborne Computer-2在ISS国家实验室运行，实现了在太空中使用强大AI助手处理复杂问题，检索信息，而不依赖地球互联网。开发过程仅历时八周，展示了AI在极端环境下的潜力。这一技术不仅对太空探索至关重要，还可能在偏远地区或灾难现场提供关键支持，展现了AI为人类创造、驱动及受益的能力。

伦敦的AI初创公司Rabbitt.AI获得了TC集团210万美元的融资，用于定制化LLM开发、RAG微调和高级AI应用创建部署。其平台提供MLOps集、语音机器人AI代理，并强调AI部署中的隐私策略。Rabbitt.AI由IIT-D校友创立，专注小型、定制和行业特定的AI模型，与大型科技公司如NVIDIA、Meta和Microsoft合作。该公司在印度设有大部分开发团队和德里办事处，与企业合作定制LLMs和开发AI应用，如自主软件工程师，无需人工预处理。Rabbitt.AI声称其服务超越OpenAI，提供更高效的注释、成功率和客户满意度。

OpenAI推出全新旗舰模型GPT-4o mini，已在Azure AI平台上上线，主要为文本处理功能，比先前的GPT-3.5 Turbo更加智能，MMLU测试得分从70%提升至82%，成本节省60%以上。新增128K上下文窗口及更完善的多语言能力。用户可通过Azure OpenAI Studio Playground免费试用。Azure AI提供了标准安全性、数据驻留升级和服务高可用性，适合助手、代码解析、流媒体等领域。GPT-4o mini具备全球随用随付特性，以每分钟1500万个token提供高吞吐量服务。除原始模型还提供微调功能，基于token的培训计费方式将Azure OpenAI服务成本降低了43%，性价比高，特别适合具备生产工作负载的用户。从本月开始，GPT-4o mini将登陆Azure AI平台，同时推出Batch服务以利用非高峰容量提供折扣率的高吞吐量作业服务。

在AI领域，大型语言模型（LLMs）展现出了极高的语言理解和生成能力，如GPT-3和Llama-2等。然而，这些模型的庞大参数量对训练和部署提出了高资源需求的挑战，传统的解决办法是训练多版本模型以适应不同计算环境，但这种做法效率低下。为此，NVIDIA和德克萨斯大学奥斯汀分校提出Flextron框架，一种支持无需额外微调的灵活模型架构和优化方法。Flextron能根据特定的延迟和准确性需求，在推理过程中动态调整模型部署，显著减少对多个模型变体的依赖。通过样本高效训练方法和先进的路由算法，Flextron将预训练的LLMs转化为能够适应各种部署场景的弹性模型，节省计算资源和时间。对比其他最先进的弹性网络，Flextron在效率和准确性上都有出色表现，并通过弹性多头注意力层进一步优化资源利用，特别适合资源有限的计算环境。

智谱 AI 已发布其开源模型 GLM-4-9B 和 CodeGeeX4-ALL-9B 为 Ollama 支持。GLM-4-9B 属于多领域通用模型，表现出色并得到开放共享。基于上述模型的 CodeGeeX4-ALL-9B 则专注于多语言代码生成，显著提升生成能力。Ollama 是一款方便在本地环境部署大型语言模型的工具，支持 Windows、macOS、Linux 和 Docker，用户可快速运行所选模型，界面友好。时下版本的 Ollama 已支持对语言模型进行部署，但仍不支持多模态模型。用户可以通过以下链接访问模型：GLM-4-9B - <https://ollama.com/library/glm4>；CodeGeeX4-ALL-9B - <https://ollama.com/library/codegeex4>。

["32% 的组织已在企业应用中使用生成式人工智能","60% 的组织最担心生成式人工智能的安全问题","58% 的组织主要采用 OpenAI 的 GPT-4 大型语言模型","调查数据显示，75% 的组织目前使用大型语言模型"]

["MobileLLM 是 Meta AI 团队推出的新型大语言模型，针对移动设备上 LLM 部署提供解决方案。","MobileLLM 采用深窄结构设计和参数优化，提高性能表现。","研究展开新的可能性，使 LLM 在资源受限环境中应用更具潜力。","MobileLLM 为移动设备上 LLM 部署树立了新标准，性能显著提升，打开了新视野。"]

["联想与英伟达紧密合作，共同提供AI专业服务","帮助客户快速部署混合AI解决方案","合作目的是为了加强AI领域的实力","为客户提供更好的解决方案"]

["社交媒体巨头Meta计划于今年在其数据中心部署一款定制的第二代AI芯片，代码名为Artemis","新芯片将用于运行AI模型的“推断”，旨在减少对芯片的依赖和控制AI工作负载的成本","Meta首席执行官马克・扎克伯格宣布计划使用34万个Nvidia H100GPU，总共约有60万个GPU用于运行和训练AI系统","Meta希望通过自家AI芯片的部署来降低对Nvidia芯片的依赖，以及控制AI工作负载的成本"]

["魔搭社区与 vLLM 和 FastChat 展开合作，提供高效 LLM 推理和部署服务。","开发者可以使用 vLLM 作为 FastChat 中的推理引擎，提供高吞吐量的模型推理。","FastChat 是一个开放平台，用于训练、服务和评估基于 LLM 的 ChatBot。","vLLM 是一个由加州伯克利分校、斯坦福大学和加州大学圣迭戈分校的研究人员开发的 LLM 服务系统。","通过 FastChat 和 vLLM，开发者可以快速加载魔搭的模型进行推理。"]

["微软Azure最近推出了GPT-RAG，这是一项超智能的解决方案，旨在让大型语言模型在企业中更加顺畅地运行。","对LLMs的需求因其理解和生成类似人类文本的能力而迅速增长。","GPT-RAG具备强大的安全框架，遵循零信任原则，确保敏感数据得到谨慎处理，为企业提供。","此外，GPT-RAG的架构包括三个关键组件: 数据摄入、协调器、前端应用。"]

["印度仅有26%的组织准备好部署人工智能，32%的公司被认为是未准备好或准备有限。","95%的印度企业认为只有一年时间来实施人工智能战略，否则将遭受严重影响。","全球95%企业认识到人工智能将增加基础设施工作量，但印度只有39%认为基础设施可扩展。","董事会和领导团队对人工智能接受度高，但中层管理和员工中存在一定程度的抵制态度。"]

["腾讯扩展了广告人工智能模型的参数，提高定向和归因准确性。","腾讯升级自研基础模型腾讯混元并部署到内部产品。","腾讯云通过升级 MaaS 能力，在多个产品中应用大模型。","腾讯混元在广告、游戏、内容等领域发挥作用。","腾讯云推动大模型在各行业应用落地。"]

["Meta公司推出了新一代大语言模型Llama 2,在某些任务上超过了GPT-3.5 Turbo和Claude 2。","Llama 2于2022年7月发布,提供了70亿、130亿和700亿参数三种不同规模的模型。","Meta与戴尔合作,帮助企业客户在本地部署Llama 2模型,而不仅通过云服务获取。","Llama 2模型开源,可供研究和部分商业用途使用。Meta已与微软、亚马逊合作,在其云平台上提供该模型。","Meta与NVIDIA合作设计了验证设计,简化客户本地部署Llama 2的流程。"]

["Airbnb在美加地区推出AI驱动的防聚会系统,利用机器学习技术识别高风险的短租房源预订并予以拦截。","该系统会分析与预订相关的数百个特征,判断聚会风险的大小,如旅行时长、距离房源距离等。","Airbnb表示此举能减少假期周末尤其是万圣节期间的干扰性聚会风险,让社区和邻里更安宁。","2022年美国万圣节期间,该系统使得数千人的整套房源预订无法在Airbnb完成。","安全负责人认为AI防聚会系统是实现减少聚会目标的重要工具,对今年万圣节具有积极影响。"]

["英国初创公司HarmonicSecurity成功融资700万美元，致力于保障企业生成式AI部署的安全性。","Harmonic将开发软件，以解决未受监管的AI应用程序采集大规模公司数据的问题。","投资由Ten Eleven Ventures领投，初创公司越来越关注生成式AI部署的安全性。"]

["中国SDS市场同比增长7.7%，未来五年复合年增长率为8.3%","2027年市场容量预计接近38亿美元","AI技术推动用户积极部署边缘数据中心","2027年中国边缘计算服务器市场将达到111亿美元","AIGC的能力决定了它需要大量的非结构化数据进行应用，推理要求将对数据基础设施的性能提出更高要求"]

["商汤科技发布升级版医疗健康大语言模型 “大医”","支持个性化功能、高质量训练和低门槛部署","包含 13 个预设场景，满足定制化和个性化需求","与多家医疗机构合作，实现在具体场景中的落地","为医疗健康产业链提供强大驱动力"]

["1、联发科携手OPPO,合作共建轻量化大模型端侧部署方案","2、基于AndesGPT,采用4位量化技术,实现端侧大模型性能优化","3、小布助手新一轮公测启动,基于AndesGPT打造","4、AndesGPT为OPPO自主训练的生成式大语言模型","5、AndesGPT将持续加持OPPO小布的AI能力,落地更多产品"]

["Modular 筹集了 1.3 亿美元资金，本轮筹得 1 亿美元。","Modular 试图通过模块化 AI 运行时引擎等产品简化 AI 部署。","Modular 还开发了 AI 编程语言 Mojo，旨在解决 Python 在大规模 AI 中的局限性。"]