机心柱
作者雷晨阳、任轩驰
本文成功提出了第一个通用的闪烁消除方法,可以消除各种闪烁伪影,而无需任何额外的指导或对闪烁的理解。
高质量视频通常在时间上是一致的,但许多视频由于各种原因会出现闪烁。例如,由于某些较旧的相机硬件质量较差,并且无法将每帧的曝光时间设置为相同,因此老电影的亮度可能非常不稳定。此外,曝光时间极短的高速摄像机可以捕捉室内照明的高频变化。
当图像算法(例如图像增强、图像着色和风格转换以及其他有效的处理算法)应用于时间一致的视频时,可能会发生闪烁。
由任何视频生成方法生成的视频都可能包含闪烁伪影。
从视频中消除闪烁在视频处理和计算摄影领域得到了广泛的应用,因为时间一致的视频通常在视觉上更具吸引力。
这篇CVPR2023文章重点介绍通用闪烁消除方法。也就是说,它提供了对不同闪烁模式或级别的高度概括,并且仅需要闪烁视频而无需其他辅助信息。由于该方法没有做太多假设,因此其应用场景多种多样。
代码链接
项目链接
论文链接
方法
常见的眨眼消除方法很困难,因为在没有额外指导的情况下很难在视频之间强制执行时间一致性。
现有技术通常为每种类型的眨眼设计特定策略并使用特定知识。例如,对于高速摄像机拍摄的慢动作视频,可以利用之前的工作来分析照明频率。对于经过图像处理算法处理的视频,盲视频时间一致性算法可以以时间一致的未处理视频作为参考来实现长期一致性。然而,闪烁类型和未处理的视频都不总是可用的,因此现有的闪烁相关算法不能应用于这种情况。
一个直观的解决方案是使用光流来跟踪对应关系。然而,从闪烁图像获得的光流不够准确,并且光流的累积误差也随着帧数的增加而增大。
通过两个关键的观察和设计,作者成功提出了一种通用的眨眼消除方法,无需额外指导即可消除各种眨眼伪影。
一个好的盲闪烁消除模型应该能够跟踪每个视频帧之间的兴趣点。视频处理中的大多数网络结构只能接受少量帧作为输入,导致感受野较小,无法保证长期一致性。研究人员观察到神经图谱非常适合眨眼取消任务,因此他们将神经图谱引入到这项任务中。神经图谱是视频中每个像素的统一、简洁的表示。令p为一个像素,如图a所示,每个像素p被输入到映射网络M中,该网络预测2D坐标以指示该像素在图集中的位置。理想情况下,不同帧之间的对应点应该共享图集中的像素,即使输入像素具有不同的颜色。换句话说,它确保了时间一致性。
其次,虽然从共享层获取的帧是一致的,但图像结构存在缺陷。神经层无法轻松地对具有较大运动的动态对象进行建模,并且用于构造它们的光流也不完善。因此,作者提出了一种神经过滤策略,从有缺陷的层中选择好的部分。研究人员训练了一个神经网络来学习两种类型的扭曲下的不变性,模拟图层中的伪影和视频中的闪烁。测试时,网络在过滤器的支持下表现良好,可保持一致性属性并阻止故障层中的伪影。
实验
研究人员建立了一个包含各种现实世界眨眼视频的数据集。大量的实验表明,我们的方法对不同类型的闪烁视频均取得了令人满意的闪烁消除效果。研究人员的算法在公共基准测试中使用附加指令,其性能优于基线方法。
研究人员提供了处理后的闪烁图像和合成的闪烁图像的定量比较,研究人员的方法的畸变误差远小于基线,并且根据PSNR,即使在合成数据上,研究人员的结果也提供了值更接近现实。对于其他真实世界的图像,该研究提供了双盲实验进行比较,大多数用户更喜欢研究人员的结果。
正如上图所示,研究人员的算法非常擅长消除输入图像的闪烁。该图的第三列显示了神经层的结果。尽管可能会观察到明显的缺陷,但研究人员的算法可以很好地利用一致性来防止这些缺陷的发生。
该框架可以消除老电影和人工智能生成的视频中包含的各种类别的闪烁。
一、ai标尺去不掉怎么办?
以下是无法删除AIRuler的解决方案
打开1-AI并按Ctrl+R打开标尺。
2-从左到右或从上到下拉动秤的基线。基线的数量没有。
3-选择要删除的参考线,当参考线颜色发生变化时,单击删除键将其删除。
首先,确保参考线已解锁,然后使用选择工具选择它们并按删除键将其删除。
二、AI里的参考线不能选中,不能移动,不能用“DELETE”键删除,这是为什么?
由于参考线已被锁定,因此在删除参考线之前必须将其解锁。
单击查看——指南——锁定指南并查看。
三、急急急ai.如何去除某一条参考线?
首先,确保参考线已解锁,然后使用选择工具选择它们并按删除键将其删除。
No Comment