腾讯的研究者们发现,大语言模型的性能会随着实例化agent数量的增加而增强,无需复杂的多LLM agents协作框架。实验结果显示多个小LM集成可以超越较大LM的性能。论文探讨了性能提升与问题难度之间的关系,并提出了逐步采样和投票、分层采样和投票两种优化策略。
在多模态大语言模型(MLLMs)的推动下,图像和视频相关的任务取得了革命性的进展,包括视觉问答、叙述生成和交互式编辑等。然而,实现细粒度的视频内容理解仍然面临重大挑战。这一挑战涉及像素级的分割、带有语言描述的跟踪,以及在特定视频提示上进行视觉问答等任务。尽管当前最先进的视频感知模型在分割和跟踪任务上表现出色,但它们在开放式语言理解和对话能力方面仍显不足。此外,视频 MLLMs 在视频理解和问答任务上表现良好,但在处理感知任务和视觉提示方面依然力不
在人工智能领域,大语言模型的"幻觉问题"一直是困扰业界的关键挑战。近日,一项基于HHEM-2.1-Open评估体系的测试结果显示,智谱AI旗下的GLM-4-9B模型交出了一份令人瞩目的成绩单。测试数据显示,在参与评估的85个大语言模型中,GLM-4-9B以98.7%的事实一致性率和100%的回答率摘得桂冠。特别值得关注的是,该模型的幻觉率仅为1.3%,这一成绩不仅位居榜首,更是超越了行业巨头OpenAI的GPT系列和Google的Gemini系列模型。图源备注:图片由AI生成,图片授权服务商Midjourney这一突破性成果标志着中国大
近日,VITA-MLLM 团队宣布推出 VITA-1.5,这是该团队在 VITA-1.0基础上推出的升级版本,致力于提升多模态交互的实时性与准确性。VITA-1.5不仅支持英语和中文,还在多项性能指标上实现了显著提升,为用户提供了更流畅的交互体验。在 VITA-1.5中,互动延迟大幅降低,从原来的4秒缩短至仅1.5秒,用户在进行语音交互时几乎感受不到延迟。此外,该版本在多模态性能方面也有显著提高,经过评估,VITA-1.5在 MME、MMBench 和 MathVista 等多个基准测试中的平均性能从59.8提升至70.8,展现了出色的能力。VITA
随着大语言模型(LLM)在现代人工智能应用中的广泛应用,诸如聊天机器人和代码生成器等工具依赖于这些模型的能力。然而,随之而来的推理过程中的效率问题也日益突出。尤其是在处理注意力机制时,如 FlashAttention 和 SparseAttention,面对多样化的工作负载、动态输入模式以及 GPU 资源限制时,往往显得力不从心。这些挑战加上高延迟和内存瓶颈,迫切需要更高效、灵活的解决方案,以支持可扩展和响应迅速的 LLM 推理。为了解决这一问题,来自华盛顿大学、NVIDIA、Perplexity AI 和卡内基梅