麻省理工学院本周展示了一种训练机器人的新模型，旨在解决模仿学习在引入小挑战时可能会失败的问题。研究人员指出，模仿学习在照明、不同环境或新障碍等情况下可能会失败，因为机器人根本没有足够的数据来适应。该团队寻求像 GPT-4这样的模型来寻找一种强力数据方法来解决问题。他们引入了一种名为异构预训练变压器（HPT）的新架构，该架构将来自不同传感器和不同环境的信息汇集在一起。然后使用变压器将数据汇总到训练模型中。变压器越大，输出越好。用户可以输入机器人

智谱 AI 已发布其开源模型 GLM-4-9B 和 CodeGeeX4-ALL-9B 为 Ollama 支持。GLM-4-9B 属于多领域通用模型，表现出色并得到开放共享。基于上述模型的 CodeGeeX4-ALL-9B 则专注于多语言代码生成，显著提升生成能力。Ollama 是一款方便在本地环境部署大型语言模型的工具，支持 Windows、macOS、Linux 和 Docker，用户可快速运行所选模型，界面友好。时下版本的 Ollama 已支持对语言模型进行部署，但仍不支持多模态模型。用户可以通过以下链接访问模型：GLM-4-9B - <https://ollama.com/library/glm4>；CodeGeeX4-ALL-9B - <https://ollama.com/library/codegeex4>。

由香港中文大学和中国科学院等机构的研究团队提出了一种名为MiCo（Multimodal Context）的全模态预训练范式，这一方法在多模态学习领域取得了显著成果，刷新了37项最先进性能(SOTA)记录。

["大型语言模型在AI社区引起极大关注，展示强大能力。","苹果研究团队揭示WRAP技术用合成数据进行预训练大模型。","WRAP提高模型性能，改写网络文档，提升预训练效果。","使用高质量合成数据加速训练，提高整体性能，开创新途径。"]

["通义千问的 Qwen-72B 模型在 Hugging Face 开源大模型预训练模型榜单中位居榜首","通义千问的 Qwen-72B 模型拥有 720 亿个参数和 73.6 的综合得分","Hugging Face 开源大模型排行榜对全球顶尖的开源大模型进行了评估","通义千问的 Qwen-72B 模型在阅读理解、逻辑推理、数学计算、事实问答等方面表现出色","通义千问是阿里云推出的超大规模语言模型，功能包括多轮对话、文案创作、逻辑推理等"]

["研究发现，大型预训练语言模型（LLM），如GPT-3，能够通过RAIN方法自我改进，满足人类需求，无需额外数据和微调。","RAIN方法广泛适用于多种语言生成任务，无需额外模型或数据存储，也不依赖标记数据或训练。","RAIN通过自我评估提高LLM的性能，降低对敌对攻击的成功率，为AI生成更协调和安全的响应。","这一研究引入了RAIN作为一种调整LLM以满足人类偏好的技术，无需额外信息或繁琐的微调。","RAIN是一项无需学习的技术，对齐大型语言模型（LLM）具有通用性和与冻结权重的对齐优势。"]

["上海 AI 实验室与语料数据联盟共同开源了 “书生・万卷”1.0 多模态预训练语料，包括文本、图文和视频数据集，总量超过 2TB。","该语料库经过细粒度清洗和去重，具备多元融合、精细处理和易用高效的特点。","开源语料库的发布有助于推动大模型的应用和创新，降低大模型技术的门槛。"]