在图像生成领域，尤其是全景图像的创建，利用大型预训练的文本到图像（T2I）模型进行多视角图像生成正在成为一种趋势。然而，由于获取多视角图像的成本较高，许多研究者都在寻求无需调优的生成方法。目前市面上的一些方法要么只能处理简单的对应关系，要么需要大量的微调来捕捉复杂的对应关系。
产品入口：https://top.aibase.com/tool/panofree
最近，研究者们提出了一种新方法 ——PanoFree。这是一种创新的无需调优的多视角图像生成技术，能够支持生成长图、360度图、天空盒图等多视角全景图。
生成长图:
360° 全景生成：
VR全景图：
PanoFree 通过迭代的变形和修补过程，依次生成多视角图像，解决了在生成过程中常见的一致性问题和因错误累积而导致的伪影问题，而不需要进行任何微调。
PanoFree 的方法在于提升了跨视角的意识，并通过多种技术手段来改善变形和修补过程。这些技术包括跨视角指导、风险区域的估算和擦除、以及为闭环生成而进行的对称双向引导等。
此外，PanoFree 还利用基于引导的语义和密度控制来保留场景结构。在对平面、360度和全球形全景图进行的实验中，PanoFree 展现出显著的错误减少，提升了全局一致性，并且图像质量大幅提升，且无需额外的微调。
与现有方法相比，PanoFree 在时间效率上提高了5倍，GPU 内存使用效率提升了3倍，并且在用户研究中结果的多样性也得到了2倍的提升。
总的来说，PanoFree 为那些希望降低成本、避免繁琐微调或使用额外预训练模型的研究者提供了一个可行的替代方案。
划重点:
🌟 PanoFree 是一种无需调优的多视角图像生成方法，支持复杂对应关系。
🚀 该方法通过迭代变形和修补，解决了生成中的一致性和伪影问题。
💡 PanoFree 在时间效率和内存使用上都大幅提升，并且结果多样性更高。