李飞飞团队推出了一种新的多模态模型，该模型能够理解和生成人类的动作，并通过结合语言模型，实现了对口头和非口头语言的统一处理。 这一突破性的研究，使得机器不仅可以理解人类的指令，还能读懂动作中蕴含的情绪，从而更自然地进行人机交互。该模型的核心在于其多模态语言模型框架，能够接收音频、动作和文本等多种形式的输入，并输出所需的模态数据。 结合生成式预训练策略，该模型在多个任务上展现出卓越的性能。 例如，在协同语音手势生成方面，该模型不仅超越了

OpenAI 联合创始人伊利亚·苏茨克维尔 （Ilya Sutskever） 近日表示，人工智能研究人员必须找到新的方法来扩展机器智能，以克服现有局限。苏茨克维尔在加拿大温哥华举行的2024年神经信息处理系统 （NeurIPS） 大会上发表了一场演讲，他认为人工智能预训练的时代即将结束，并预测了人工智能超级智能的兴起。苏茨克维尔认为，通过更好的硬件、软件和机器学习算法来提高计算能力，其速度已经超过了可用于 AI 模型训练的数据总量。这位 AI 研究人员将数据比作化石燃料，终将有耗尽的一天。

在快速发展的生成式 AI 领域，Nous Research 团队正在进行一项独特的实验:他们正在利用分布在全球的机器，预训练一款15亿参数的大型语言模型（LLM），这一过程避免了传统上需要在昂贵且耗电的数据中心或超级集群中进行的集中式开发。Nous Research 还在其专门网站 distro.nousresearch.com 上直播这一预训练过程，实时展示模型在各类评估基准上的表现，并提供参与训练的硬件位置地图，涵盖美国和欧洲的多个地点。截至本文发布时，预训练的剩余时间约为57小时（即2.3天），而已完成的训练进度

麻省理工学院本周展示了一种训练机器人的新模型，旨在解决模仿学习在引入小挑战时可能会失败的问题。研究人员指出，模仿学习在照明、不同环境或新障碍等情况下可能会失败，因为机器人根本没有足够的数据来适应。该团队寻求像 GPT-4这样的模型来寻找一种强力数据方法来解决问题。他们引入了一种名为异构预训练变压器（HPT）的新架构，该架构将来自不同传感器和不同环境的信息汇集在一起。然后使用变压器将数据汇总到训练模型中。变压器越大，输出越好。用户可以输入机器人

智谱 AI 已发布其开源模型 GLM-4-9B 和 CodeGeeX4-ALL-9B 为 Ollama 支持。GLM-4-9B 属于多领域通用模型，表现出色并得到开放共享。基于上述模型的 CodeGeeX4-ALL-9B 则专注于多语言代码生成，显著提升生成能力。Ollama 是一款方便在本地环境部署大型语言模型的工具，支持 Windows、macOS、Linux 和 Docker，用户可快速运行所选模型，界面友好。时下版本的 Ollama 已支持对语言模型进行部署，但仍不支持多模态模型。用户可以通过以下链接访问模型：GLM-4-9B - <https://ollama.com/library/glm4>；CodeGeeX4-ALL-9B - <https://ollama.com/library/codegeex4>。

由香港中文大学和中国科学院等机构的研究团队提出了一种名为MiCo（Multimodal Context）的全模态预训练范式，这一方法在多模态学习领域取得了显著成果，刷新了37项最先进性能(SOTA)记录。

["大型语言模型在AI社区引起极大关注，展示强大能力。","苹果研究团队揭示WRAP技术用合成数据进行预训练大模型。","WRAP提高模型性能，改写网络文档，提升预训练效果。","使用高质量合成数据加速训练，提高整体性能，开创新途径。"]

["通义千问的 Qwen-72B 模型在 Hugging Face 开源大模型预训练模型榜单中位居榜首","通义千问的 Qwen-72B 模型拥有 720 亿个参数和 73.6 的综合得分","Hugging Face 开源大模型排行榜对全球顶尖的开源大模型进行了评估","通义千问的 Qwen-72B 模型在阅读理解、逻辑推理、数学计算、事实问答等方面表现出色","通义千问是阿里云推出的超大规模语言模型，功能包括多轮对话、文案创作、逻辑推理等"]

["研究发现，大型预训练语言模型（LLM），如GPT-3，能够通过RAIN方法自我改进，满足人类需求，无需额外数据和微调。","RAIN方法广泛适用于多种语言生成任务，无需额外模型或数据存储，也不依赖标记数据或训练。","RAIN通过自我评估提高LLM的性能，降低对敌对攻击的成功率，为AI生成更协调和安全的响应。","这一研究引入了RAIN作为一种调整LLM以满足人类偏好的技术，无需额外信息或繁琐的微调。","RAIN是一项无需学习的技术，对齐大型语言模型（LLM）具有通用性和与冻结权重的对齐优势。"]

["上海 AI 实验室与语料数据联盟共同开源了 “书生・万卷”1.0 多模态预训练语料，包括文本、图文和视频数据集，总量超过 2TB。","该语料库经过细粒度清洗和去重，具备多元融合、精细处理和易用高效的特点。","开源语料库的发布有助于推动大模型的应用和创新，降低大模型技术的门槛。"]