研究人员最先进的AI可以放大并增强视频

在预印本纸与微软亚洲研究院和中国科学技术大学附属本周在网络上发表,研究人员提出,他们要求的是一个国家的最先进的人工智能技术的视频增强和倍增(即提高素材的分辨率,同时保持质量)。他们的模型(以及其他类似模型)几乎可以用于任何归档影片质量低下的人,包括希望将历史剪辑纳入新资料的公司视频团队。

它紧随AI之后,有望提高任何视频的质量。罗彻斯特大学,东北大学和普渡大学的科学家在一篇论文中提出了一种框架,该框架可从低帧频,低分辨率视频生成高分辨率慢动作视频。他们声称他们的方法比以前的领先模型快三倍。

同样,这项最新技术旨在使用两个分量从嘈杂的低分辨率帧中恢复高分辨率的细节。名为“单独非本地”的模块探索视频帧之间的关系并有效地融合帧,而通道注意剩余块捕获特征图(将数据矢量映射到特征空间的功能)之间的关系,以进行视频帧重构。该模型被称为VESR-Net,用于“视频增强和超分辨率”,它采用7个连续帧作为输入来重建中间帧。

在实验中,从数据集中向VESR-Net提供了1,000个视频剪辑,其中的50个用于评估(其余保留用于培训),并在一台装有4个Nvidia Titan 1080Ti图形卡的机器上进行了培训。研究人员将其提交给了Youku-VESR公开挑战赛,该挑战赛吸引了1500个注册团队提交了视频超分辨率算法以及代码,可执行文件和情况说明书。他们说,它在比赛中排名第一,比第二和第三支球队高0.2分。

研究人员越来越多地使用AI将历史镜头(例如阿波罗16号登月和1895年LumièreBrothers的电影“火车抵达La Ciotat站”)转换为高分辨率,高帧率的视频,看起来就像是用现代设备拍摄。对于保护主义者来说,这是一个福音,而且,可以将相同的技术应用于安全检查,电视制作,电影制作和其他类似情况的镜头。

例如,这样的高分辨率方法已经应用于视频游戏领域。最终幻想的粉丝们最近使用了一款售价为100美元的名为AI Gigapixel的软件来提高最终幻想VII背景的分辨率。它被透露这个星期负责重新灌录命令与征服的EA团队采用AI高档游戏的过场动画。