近日，来自多家中国科研机构的研究团队重磅发布了名为Infinity-MM的超大规模多模态数据集，并基于该数据集训练出了一个性能卓越的AI模型Aquila-VL-2B。这一突破为多模态AI发展注入了新动力。Infinity-MM数据集规模惊人，共包含四大类数据:1000万条图像描述、2440万条通用视觉指令数据、600万条精选高质量指令数据，以及300万条由GPT-4等AI模型生成的数据。研究团队采用开源AI模型RAM++进行图像分析和信息提取，并通过独特的六大类分类系统确保生成数据的质量和多样性。图源备注：图片由AI生成

北京智源人工智能研究院与中国电信人工智能研究院合作，推出Tele-FLM系列大模型升级版，包括52B指令模型FLM-2-52B-Instruct与万亿参数模型Tele-FLM-1T。FLM-2-52B-Instruct通过指令微调，专注于提升中文对话能力，达到GPT-4水平的90%，基于Tele-FLM-52B基座模型，使用特定数据集和参数优化。Tele-FLM-1T作为全球首个万亿参数稠密模型，采用生长式预训练策略，优化结构与参数设置，包括加入特定组件与改进预训练策略，显著提升模型效率与效果。所有模型与技术报告均已开源，提供给学术界与产业界进行研究与应用。

Meta公司首席执行官马克·扎克伯格近日宣布了Llama3.1的正式发布，并表示这可能是开源AI领域的一个重要里程碑。Meta此次推出了三个不同规模的Llama3.1模型，其中最引人注目的是拥有4050亿参数的大型模型。扎克伯格称这是"目前最先进的开源模型"，在某些领域甚至可以与领先的闭源模型相媲美。

本文讨论了一项由微软与麻省理工学院等机构研究人员合作开发的突破性机器学习训练策略，主要焦点在于解决大型机器学习模型在逻辑推理方面的局限性。该策略通过独特且创新的训练方法，显著提升了模型的逻辑推理能力，能够构建因果关系并从数据中学习。研究人员还传授了基础的逻辑和数学公理，使模型能够理解因果逻辑。尽管模型规模适中（仅6700万参数），但其推理能力却能媲美更大更复杂（如GPT-4）的模型。这项研究的创新在于，通过“公理训练”方式教会AI识别与应用因果规则，提升其学习因果关系的能力。该技术不仅让AI能够从数据中学习理解世界，还为其在更广泛的图结构中应用因果推理打下基础。这一发现为AI的发展开辟了新路径，尤其是在理解和解释复杂现实世界的因果关系方面。通过这个研究，我们展望未来AI不仅能够从数据中学习，还能够像人类一样，理解和解读“因为...所以...”的逻辑关系，极大地提升了AI的智能水平和应用潜力。

​Nvidia 最近宣布推出两项突破性的人工智能技术:HelpSteer2和 Llama3-70B-SteerLM-RM。这些创新承诺在各种应用中显著增强 AI 系统的能力，从自动驾驶到自然语言处理。

["科学家仅使用8%计算能力成功训练了ChatGPT级别的模型。","研究团队在Frontier超级计算机上采用创新技术，仅用数千个AMD GPU训练了万亿参数的语言模型。","研究团队在仅占用计算能力8%的情况下，实现了1750亿参数和1万亿参数模型的100%弱扩展效率。","研究结果显示训练拥有万亿参数的大型语言模型仍然具有挑战性。"]

["Nucleus AI推出220亿参数语言模型,采用开源MIT许可证,位于13B和34B模型之间。","Nucleus AI计划以农业为中心,利用AI研究构建一个操作系统,以超优化供需。","Nucleus AI CEO表示,他们计划发布多种规模的语言模型,以及两种RetNet模型。","Nucleus AI的目标是利用AI来优化农业供应和需求,解决农民面临的各种挑战。","Nucleus AI表示,他们的算法目前不与其他公司竞争,主要关注内部产品打造。"]

["加利福尼亚初创公司Nucleus AI发布了22亿参数的大规模语言模型，旨在用于农业领域的AI转型。","该模型可在开源MIT许可和商业许可下使用，性能优越，适用于不同生成任务。","Nucleus计划发布更多版本的22B模型，以及两个RetNet模型，将提高速度和降低成本。","Nucleus AI的愿景是构建智能农业操作系统，以优化供需关系，解决农业领域的多个挑战。"]

["SambaNova发布了智能AI芯片SN40L，能够运行高达5万亿参数的模型，同时保持模型准确性。","SN40L芯片由TSMC制造，为单个系统节点提供256k+的序列长度，通过整合技术实现，提高模型质量和推理速度。","SambaNova的全栈大语言模型（LLM）平台将由SN40L芯片提供动力，解决了企业在部署生成式人工智能时的挑战。","SN40L芯片独特之处在于同时处理高带宽内存（HBM）和动态随机存取内存(DRAM)，使算法能够更智能地选择内存。"]

["清华大学等研究者提出20亿参数语言模型MathGLM,在算术运算任务上准确率接近100%,明显优于GPT-4。","MathGLM采用仅解码器架构,在大规模算术数据集上训练,数学运算能力得到显著提升。","MathGLM在处理数字格式复杂的混合算术运算时,也优于GPT-4和ChatGPT等模型。"]