在人工智能领域,大语言模型的"幻觉问题"一直是困扰业界的关键挑战。近日,一项基于HHEM-2.1-Open评估体系的测试结果显示,智谱AI旗下的GLM-4-9B模型交出了一份令人瞩目的成绩单。测试数据显示,在参与评估的85个大语言模型中,GLM-4-9B以98.7%的事实一致性率和100%的回答率摘得桂冠。特别值得关注的是,该模型的幻觉率仅为1.3%,这一成绩不仅位居榜首,更是超越了行业巨头OpenAI的GPT系列和Google的Gemini系列模型。图源备注:图片由AI生成,图片授权服务商Midjourney这一突破性成果标志着中国大
随着大语言模型(LLM)在现代人工智能应用中的广泛应用,诸如聊天机器人和代码生成器等工具依赖于这些模型的能力。然而,随之而来的推理过程中的效率问题也日益突出。尤其是在处理注意力机制时,如 FlashAttention 和 SparseAttention,面对多样化的工作负载、动态输入模式以及 GPU 资源限制时,往往显得力不从心。这些挑战加上高延迟和内存瓶颈,迫切需要更高效、灵活的解决方案,以支持可扩展和响应迅速的 LLM 推理。为了解决这一问题,来自华盛顿大学、NVIDIA、Perplexity AI 和卡内基梅
在2022年全球生成式 AI 浪潮的背景下,元始智能(RWKV)于2023年12月完成数千万人民币的天使轮融资,由天际资本投资。此次融资后,公司估值翻倍,资金将用于团队扩展、新架构研发及产品商业化。RWKV 的出现,是对传统 Transformer 架构的一次有力挑战。随着大语言模型(LLM)的发展,虽然模型的参数规模日益庞大,但其在幻觉和准确率等问题上的短板始终难以解决。因此,RWKV 的创始团队决定探索一种全新的架构,以期实现更高的效率和灵活性。RWKV 的设计理念与 Transformer 截然不同。联合
在一篇聚焦医疗AI评测的研究论文中,微软似乎再次"不经意"地披露了业界多个顶级大语言模型的参数规模。这份发布于12月26日的论文不仅揭示了包括OpenAI、Anthropic在内的多家公司的模型参数数据,还引发了业内对模型架构和技术实力的热议。根据论文披露,OpenAI的o1-preview模型约有300B参数,GPT-4o约200B,而GPT-4o-mini仅有8B参数。这与英伟达今年初公布的GPT-4采用1.76T MoE架构的说法形成鲜明对比。同时,论文还透露了Claude3.5Sonnet的参数规模约为175B。这已经不是微软第一次在论文中"泄露"模型参