zh
红薯智语
每月不到10元,就可以无限制地访问最好的AIbase。立即成为会员
首页
AI资讯
AI日报
变现指南
AI教程
AI工具导航
AI产品库
zh
红薯智语
搜索全球AI产品动态
搜索全球AI信息,发现AI新机遇
新闻资讯
产品应用
变现案例
AI教程
类型 :
新闻资讯
产品应用
变现案例
AI教程
2024-08-26 11:34:35
.
AIbase
.
11.3k
南洋理工大学出品!视频修复框架KEEP:修复视频中的人脸清晰度 高清不再模糊
面对视频质量对观看体验的直接影响,特别是面部细节的呈现,当前方法如简单应用超分辨率网络于面部数据集或独立处理每帧图像,往往难以兼顾面部重建的细节与时间一致性。为解决这一挑战,南洋理工大学研究团队推出了创新框架KEEP,利用卡尔曼滤波原理实现面部修复的“回忆”能力,显著提升修复过程中的面部细节一致性和连续性。KEEP框架由四个关键模块组成:编码器、解码器、卡尔曼滤波网络和跨帧注意力(CFA),构建基于变分量子生成对抗网络(VQGAN)的模型用于生成高清面部图像。卡尔曼滤波网络通过结合当前帧和前一帧的信息,形成准确的状态估计,增强图像清晰度。跨帧注意力模块进一步增强帧间关联性,确保视频播放的时效性和细节呈现。实验验证,KEEP在面部细节恢复和时间一致性保持方面表现出色,为面部视频超分辨率领域带来革新,显著提升观看体验。