腾讯优图实验室与上海交通大学的研究团队联手推出了一项革命性的知识增强方法，为大模型优化开辟了全新道路。这项创新技术摒弃了传统模型微调的局限，直接从开源数据中提取知识，大幅简化了模型优化流程，在多项任务中实现了超越现有最先进技术（SOTA）的卓越表现。近年来，大型语言模型（LLMs）虽然在各领域取得了显著进展，但在实际应用中仍面临着诸多挑战。传统的模型微调方法需要大量标注数据和计算资源，这对许多实际业务而言往往难以实现。尽管开源社区提供了丰富

上海交通大学与字节跳动合作开发的LSLM全双工语言模型，颠覆了传统AI助手交互模式，实现边说边听的实时交互。LSLM核心优势在于其同时处理语音输入与生成输出的能力，显著提升对话自然流畅性。通过结合流式自监督学习与基于token的解码器，该模型支持实时语音交互，甚至在嘈杂环境中表现优异。LSLM的中期融合策略在语音生成与实时交互间取得最佳平衡，展现强大噪声抵抗与指令敏感性。此技术突破不仅大幅提升了用户体验，还具有广泛的应用前景，预示着人机交互新时代的来临，AI助手将与人类对话更加自然、流畅，技术与人性的融合达到新高度。

AI画家在生成特定场景如“茶杯中的冰可乐”时遇到困难，揭示了文本图像不对齐问题。上海交通大学博士赵峻图及其团队发现，即使是最先进的AI模型也难以准确理解并实现文本描述的复杂概念，如透明玻璃杯与传统茶杯的差异。为解决这一问题，他们提出了Mixture of Concept Experts（MoCE）方法，利用大语言模型帮助AI理解隐藏概念，从而更精确地控制文本与图像之间的对齐。MoCE通过分阶段提供概念信息，显著提高了AI生成图像的准确性，减少了复杂概念对生成效果的影响，甚至在某些情况下超越了依赖大量数据标注的模型。研究还揭示了现有评价指标的局限性，强调了改进AI理解和再现人类创造力的必要性。未来工作将探索更复杂的不对齐场景，开发更高效的搜索算法，并持续优化数据集，以推动AI图像生成技术的发展。

["上海交通大学携手百度共同发布白玉兰科学大模型 2.0 版。","该版本包括 “法律开源” 和 “化学合成 2.0”。","白玉兰科学大模型 — 法律开源在法律综合评估测试中超越其他开源中文通用大模型。","该合作推动了 AI for Science 领域的发展。","双方在 AI for Science 领域合作取得新进展，树立了合作典范。"]