Kernel Based Frame Interpolation for Spatio Temporally Adaptive Rendering
概括¶
核心思想：一个自适应插值方案：对于给定的帧序列，我们会优化在图像的哪些区域采用渲染或插值的决策——在插值效果好的区域应优先使用帧插值，而在更具挑战性的图像块中应采用渲染
关键工作： - 1：基于核的插值模型，合成网络不直接预测目标帧的颜色，而是为每个空间位置预测一组随位置变化的卷积核，这些核的系数在所有通道之间共享。（这样可以实现对不同通道对齐变换）后续在合成阶段可以自由地重新排列或改写这些层以获得不同的视觉效果，而无需再为每一层单独进行插值 - 2：在给定辅助特征和关键帧间隔的情况下，估计插值网络在每个像素（或小块）上的表现好坏。然后将该模型用于一种时空自适应策略，以选择在视频中哪些像素或小块需要作为关键帧数据进行渲染（还是可以直接插值）。 - 这是由于画面不同区域运动剧烈程度插帧难度不同，因此有的画面需要连续的真实渲染，而一些画面可以在两个真实帧之间插入多个插帧