腾讯优图实验室与上海交通大学合作，发布了一篇详尽综述，聚焦于提升大模型性能的关键环节——指令调优的数据集评估与选择。该研究旨在帮助大模型掌握自然语言处理的精髓，通过分析数据质量、多样性和重要性三个维度，指导如何构建高效、多样且关键的数据集。研究指出，数据质量直接影响指令调优效果，多样性确保模型泛化能力，重要性评估优化训练过程。面对现有挑战，如数据选择与模型性能关联性弱及评估标准不统一，专家呼吁建立专门基准与提高选择管道的可解释性，以适应不同任务需求。这项研究为大模型发展提供了宝贵资源和方向，预示着大模型未来将更加智能，更好地服务于人类。

腾讯优图实验室等机构发布首个开源多模态大语言模型VITA，旨在填补大型语言模型在处理中文方言的空白。VITA基于Mixtral8×7B模型，扩展了中文词汇量，进行双语指令微调，精通英语与中文。其关键特点包括： 1. **多模态理解**：VITA能处理视频、图像、文本和音频，为开源模型中前所未见。 2. **自然交互**：无需特定唤醒词，可即时响应，保持礼貌不干扰。 3. **开源先锋**：推动多模态理解和交互领域的研究进展。 VITA通过双重模型部署实现精准、及时的交互，不仅能聊天，还能作为健身伙伴、旅游顾问，根据输入内容回答问题。在情感语音合成和多模态支持上，VITA正持续优化，目标是生成高质量音频和视频内容。VITA的开源发布，标志着智能交互方式的革新，未来将提供更智能、更人性化的体验。