由中国人民大学、北京邮电大学和上海AI Lab等机构组成的研究团队开发了一项名为Ref-AVS的技术，旨在解决人工智能理解复杂物理世界的难题。该技术通过独特的多模态融合方法，整合视频对象分割（VOS）、视频对象参考分割(Ref-VOS)和视听分割(AVS)信息，使AI系统能够准确识别并定位视听场景中的特定物体，无论这些物体是否发声。为验证技术的有效性，研究团队构建了包含40,020个视频帧、6,888个物体和20,261个指代表达式的Ref-AVS Bench大规模数据集。Ref-AVS在一系列实验中展现出卓越的性能，特别是在处理未见过的物体和空引用方面表现出色，证明了其强大的分割能力和泛化能力。这一成果已在ECCV2024上展示，并提供了学习和探索资源，为AI领域的未来发展开辟了新道路。