阿里巴巴达摩院联合魔搭社区ModelScope近期宣布开源一项新的多语言基准测试集P-MMEval，旨在全面评估大型语言模型（LLM）的多语言能力，并进行跨语言迁移能力的比较分析。这一测试集覆盖了基础和专项能力的高效数据集，确保了所有挑选的数据集中多语言覆盖的一致性，并提供了跨多种语言的并行样本，最高支持来自8个不同语族的10种语言，包括英语、中文、阿拉伯语、西班牙语、日语、韩语、泰语、法语、葡萄牙语和越南语。

近年来，随着人工智能（AI）技术的迅猛发展，银行业正面临着前所未有的转型机遇。麦肯锡全球研究院的最新报告指出，生成性人工智能(GenAI)有望每年为全球银行业增加2000亿至3400亿美元的收入，这一增幅相当于行业收入的2.8% 至4.7%。这种增长的主要驱动力是生产力的显著提升。图源备注:图片由AI生成，图片授权服务商Midjourney在印度，银行业的 AI 应用正在迅速推进。2023年，埃森哲发布了一项研究，强调 AI 在提升客户服务效率和交易量方面的巨大潜力。早2017年，DFC 银行便推出名为 Eva 的

北京智源人工智能研究院（BAAI）最近推出了全球首个中文大模型辩论平台FlagEval Debate。这一新平台旨在通过模型辩论这一竞争机制，为大语言模型的能力评估提供新的度量方式。它是智源模型对战评测服务FlagEval大模型角斗场的扩展，目标是甄别大语言模型之间的能力差异。

Hugging Face 近期发布 LightEval，一款轻量化 AI 评估工具，旨在辅助企业和研究机构更精准地评估大型语言模型。此工具强调评估在 AI 技术应用中的重要性，帮助确保模型输出的准确性、无偏见性，以及与业务目标的一致性。针对传统评估方法的局限性，LightEval 提供了定制化的评估方案，与 Hugging Face 的其他工具如 Datatrove 和 Nanotron 集成，支持多种设备评估，包括 CPU、GPU 和 TPU，以适应不同硬件环境。作为开源项目，LightEval 允许企业自行运行评估，确保模型在投入生产前符合其道德和业务标准。其易用性与多功能性，使得即使是技术水平不高的用户也能进行复杂模型的评估，包括在多种流行基准上进行评估，甚至定义自定义任务。用户还可根据特定需求，调整模型评估的配置，如权重、管道并行性等。

2024年9月4日，北京智源人工智能研究院（BAAI）宣布推出全球首个包含文生视频的模型对战评测服务——FlagEval大模型角斗场。这一服务面向用户开放，覆盖了国内外约40款大模型，并支持语言问答、多模态图文理解、文生图、文生视频等四大任务的自定义在线或离线评测。F

开发者Evan Zhou在MacOS15.1Beta1中利用名为“提示注入”的攻击方式，成功操控了苹果新AI系统Apple Intelligence，绕过指令，任意响应提示。最初目标是改写文本质量，但通过Reddit用户分享的提示信息，Zhou构造了覆盖系统提示的攻击，让AI忽略原有指令并回应新文本。这一发现引起广泛关注，尽管Apple Intelligence系统较为复杂，防止“提示注入”的问题仍未彻底解决，显示出AI系统安全性的挑战。

AI初创公司Seele由前网易云音乐副总裁王诗沐创立，推出情感陪伴机器人Koko AI，基于自主研发的3D多模态大模型EVA-01。Koko AI通过融合3D模型、动画表演和语音聊天技术，为用户提供了与虚拟角色进行面对面互动的新体验。该产品使虚拟角色更加生动，人机交互自然，支持用户通过文本或语音与角色交流，提供智能且富有同理心的回应。用户还能根据个人喜好定制角色外貌和性格，实现个性化情感陪伴。Seele团队免费开放Koko AI体验，展示了对AI技术的信心和让更多人体验AI情感陪伴的愿望。这一产品标志着AI情感陪伴进入新阶段，为用户带来前所未有的互动体验，并开辟了AI技术在情感陪伴领域的应用可能性。

佐治亚理工学院与英伟达的两位华人学者最新共同研发了一款名为RankRAG的创新微调框架，该框架针对复杂RAG流程实现了显著简化，使用单一的LLM对检索、排名及生成任务进行统一操作，效果远超传统流程。RAG技术在辅助大规模文本生成时普遍使用，然而，原有流程敏锐地识别到了如k值选择的局限性：当k值过大使长上下文处理变得吃力，或k值偏小削弱了检索效率。RankRAG创新性地通过微调与扩展LLM能力，使LLM能够自我适应进行检索和排名。相较于常规流程，该框架在数据效率和性能方面都有显著提升。实验证明，通过微调更高效的Llama模型，在多个通用和生物医学领域基准测试中，RankRAG的表现具有一定竞争力，甚至超越了前代顶级模型约10%的水平。这项技术引入了高度交互性和可编辑性的元素，允许用户在生成内容后进行实时编辑与迭代，显著提升工作效率，并且被推广至可与任何平台分享的成果。RankRAG的微调方案分为指令监督与多阶段强化训练两个阶段，旨在提升LLM在不同指令、检索与上下文排名能力上的综合性。通过该框架，AI生成的内容在通用领域性能上超过了目前开源顶级系统。尤其在长尾QA及多跳QA任务中有超10%的性能提升。在适应性应用如生物医学RAG基准Mirage上，即使是未经专门训练的模型，RankRAG也展现出对专业领域任务的超越。随着RankRAG的不断优化与普及，我们期待AI与人类协作流程更加顺利，技术及应用得到更大幅度的发展与创新。欲深入了解RankRAG技术，请访问论文：https://arxiv.org/abs/2407.02485

[" 亮点：","* 澳大利亚初创公司Relevance AI推出低代码平台，助力企业构建自定义AI团队","* 该平台已成功筹集1000万美元的A轮融资","* 目标是到2025年，每个团队都将雇佣至少一名人工智能代理","* 该平台适用于文本、图像和音频等多模式用例"]