标签：视频 github CVPR 智能 video https 初探 com interpolation

视频智能插帧：初探

视频智能插帧主要分为两大流派：基于核的方法和基于光流的方法，还有一些其他小众的方法，比如基于阶段的，或者直接合成的。还有一些有趣的工作是将视频插帧和超分、去糊等结合在一起。

这个领域里面一个比较古老的数据集，里面有很多AI的或者非AI的插帧方法的排行：

• Middlebury测试基准榜单：https://vision.middlebury.edu/flow/eval/results/results-i1.php

业界应用

• https://developer.nvidia.com/rtx/ngx，NVIDIA的这个NGX SDK里面实现了智能插帧算法Super Slow-Mo.

• https://developer.nvidia.com/blog/whats-new-in-optical-flow-sdk-3-0/，猜测是非AI的光流法。

• https://www.svp-team.cn.com/wiki/Main_Page ，有非AI插帧和AI插帧RIFE等

• https://github.com/hzwer/arXiv2020-RIFE，旷视科技出品，目前有较多应用。

• https://github.com/AaronFeng753/Waifu2x-Extension-GUI，集成了RIFE，CAIN，DAIN，每次只能插两倍，自定义倍数要交钱-_-||

视频插帧领域重要论文

总结了2017~2021年间的视频插帧领域的重要论文。包括年份，发表地方，作者，引用数，开源代码Star数，以及主要思路和论文截图。

2021

• Revisiting adaptive convolutions for video frame interpolation，2021，WACV，Niklaus，Adobe。【Kernel-Based】使用老方法adaptive separable convolution，通过一组底层优化技术，达到了很好的结果。这些技术对其他任务也有潜力。Code, [SepConv++] [Rank 2，现在已经掉到第5]; Adaptive Convolution这一技术应用广泛。整体提升1.76dB。性能吊打其他基于光流的方法，除了SoftSplat。
  主要用到了这些技术：delayed padding (+0.37 dB) ，input normalization (+0.30 dB) ，network improvements (+0.42 dB) ，kernel normalization (+0.52 dB) ，contextual training (+0.18 dB) 。
  https://github.com/sniklaus/revisiting-sepconv 【20 star】

• Deep Animation Video Interpolation in the Wild，2021，CVPR，L Siyao。针对动画片的源效果好。https://github.com/lisiyao21/AnimeInterp/ 【200 star】

• Flavr: Flow-agnostic video representations for fast frame interpolation，2021，CVPR，T Kalluri。3D space-time convolution。端到端学习，解决非线性运动的难题。不需要光流和深度图，推理速度快3倍，有潜力扩展到超分和去糊。 https://github.com/tarun005/FLAVR 【192 star】【演示】。
  
  

• CDFI: Compression-Driven Network Design for Frame Interpolation，2021，CVPR，T Ding。【DNN-based】基于AdaCoF，对模型进行了压缩和优化。https://github.com/tding1/CDFI 【69 star】

• Multi-Level Adaptive Separable Convolution for Large-Motion Video Frame Interpolation， 2021，针对大运动场景。

• Time Lens: Event-Based Video Frame Interpolation，2021，CVPR，S Tulyakov，2。https://github.com/uzh-rpg/rpg_timelens【424】演示：http://rpg.ifi.uzh.ch/TimeLens.html

2020

• Softmax splatting for video frame interpolation，2020， CVPR，Niklaus，58。【光流法】没代码。MiddleBury数据集排名第二。

• Zooming slow-mo: Fast and accurate one-stage space-time video super-resolution，2020，CVPR，X Xiang，42。【插帧+超分】比 DAIN+EDVR，DAIN+RBPN效果更好，速度快三倍。https://github.com/Mukosame/Zooming-Slow-Mo-CVPR-2020【706 star】

• Adacof: Adaptive collaboration of flows for video frame interpolation，2020， CVPR，H Lee，35。https://github.com/HyeongminLEE/AdaCoF-pytorch 【131 star】克服自由度的局限，泛化的 warping module。
  

• CAIN Channel attention is all you need for video frame interpolation，2020，AAAI，M Choi，34。https://github.com/myungsub/CAIN【201】AIM 2019 Video Temporal Super-Resolution Rank 2。不计算光流。PixelShuffle技术。
  
  
  

• Bmbc: Bilateral motion estimation with bilateral cost volume for video interpolation，2020， J Park，21. 基于双向运动估计，网络复杂。https://github.com/JunHeum/BMBC【65】

• FISR: deep joint frame interpolation and super-resolution with a multi-scale temporal loss，2020，SY Kim，18.【插帧+超分】
  

• Enhanced quadratic video interpolation，2020，Y Liu，ECCV，6。https://github.com/lyh-18/EQVI 【95】。QVI的增强版。解决QVI在大运动，复杂运动下的缺陷。AIM2020 VTSR冠军。residual contextural synthesis network。
  

• RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation, 2020, arxiv, Z Huang, 9。https://github.com/hzwer/arXiv2020-RIFE 【2.1k】Megvii 旷视科技。光流法，实时，推理速度快。
  
  

2019

• DAIN Depth-aware video frame interpolation，2019，CVPR, W Bao, 180。解决大运动或遮挡。利用深度信息监测遮挡。输入帧，深度图，基于光流的上下文特征，局部插值核。https://github.com/baowenbo/DAIN【7k star】目前star数最多。optical flow estimation + single image depth estimation + context-aware image synthesis + adaptive convolutions.

• Quadratic video interpolation，2019，X Xu，43。使用二次插值而不是传统的线性插值，解决曲线运动。结果较好，https://github.com/xuxy09/QVI【10】

2018

• Super slomo: High quality estimation of multiple intermediate frames for video interpolation，2018，CVPR，H Jiang ,327。每年引用增长最快。端到端，计算双向光流，U-Net架构，https://github.com/avinashpaliwal/Super-SloMo【2.7k】高引用高星。

• Context-aware synthesis for video frame interpolation,2018, CVPR, Niklaus, 204。双向光流，预训练网络提取上下文信息，合成网络，GridNet。项目地址【NO Code】
  

• Memc-net: Motion estimation and motion compensation driven neural network for video interpolation and enhancement，2018，W Bao，118。
  

2017

• DVF】Video frame synthesis using deep voxel flow，2017，ICCV，Z Liu，481。特点是不仅可以往中间插，还能往后插。 https://github.com/lxx1991/pytorch-voxel-flow 【120+】，项目地址
  

• 【SepConv】Video frame interpolation via adaptive separable convolution，2017，ICCV，Niklaus，398。解决大运动需要大卷积核的问题，用一维核代替二维核，参数更少。perceptual loss。https://github.com/sniklaus/sepconv-slomo 【955】

• Video frame interpolation via adaptive convolution，2017，CVPR，Niklaus，282。首次使用深度学习解决视频插帧问题。
  

标签：视频,github,CVPR,智能,video,https,初探,com,interpolation
来源： https://blog.csdn.net/sjb358714/article/details/121188735

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。