视频目标检测
前言
由于工作原因，要对视频目标检测做一些调研，最后想以文章的方式做一个总结，如果有说的不好的地方也请指出。本篇会介绍视频目标检测有哪些方法和相关论文，并比较了这些论文的效果。
一、视频目标检测是什么？
视频目标检测就是在视频的每一帧上做目标检测(目标定位+目标分类)。目前静态目标检测(object detection from still images)技术已经很成熟，但由于在视频中会出现质量较差的帧，比如可能会出现模糊，散焦，部分遮挡，罕见姿势等。这导致不能直接将静态目标检测应用到视频目标检测中，因为效果并不太好。幸运的是，视频相对于静态图片有时序信息和上下文的信息。利用时序和上下文信息来提高检测准确率或在保证准确率的前提下加快检测速度是目前研究的两个大方向，并且大部分的研究还是聚焦在提高视频目标检测的准确率。接下来介绍视频目标检测有哪些实现方法。
二、视频目标检测方法分类
视频目标检测可分为以下六大类，分别为后处理方法、基于追踪方法、循环神经网络方法，特征传播方法，基于光流的多帧特征聚合方法，不基于光流的特征聚合方法。(其实还有3D卷积方法，但这个效果并不好，所以这里也就不讲了)。
ps: 以下说的最高都是以表格来说话的，不包括所有文章(文章太多了QAQ)
baseline是在视频上应用静态目标检测器的效果。mAP最高可以达到76.7%。(这点存疑，应该没有那么高)。
后处理方法即在静态目标检测器后加后处理步骤，mAP最高可以达到80.9%。之后会介绍三种算法Seq-NMS, Seq-Bbox Matching及T-CNN(表格中没有列出)。
基于追踪算法(Tracking-based)mAP最高可以达到83.5%，之后也会讲这篇文章。
循环神经网络算法(Recurrent)mAP最高可达59.1，但速度极快。在pixel 3手机上可达72.3 FPS(帧每秒)，之后也会讲这篇文章。
循环神经网络算法(Recurrent)mAP最高可达59.1，但速度极快。在pixel 3手机上可达72.3 FPS(帧每秒)，之后也会讲这篇文章。
光流传播方法(Feature Propagation Methods)和基于光流的特征聚合方法(Multi-frame Feature Aggregation OpticalFlow)我是把它当做一种方法，因为他们都是基于光流的方法。这种方法mAP最高可达84.2，但SELSA没怎么看懂，所以这个方法会介绍FGFA算法，最高可以达到80.1，由于这种方法要不断计算光流，所以也比较慢。
光流传播方法(Feature Propagation Methods)和基于光流的特征聚合方法(Multi-frame Feature Aggregation OpticalFlow)我是把它当做一种方法，因为他们都是基于光流的方法。这里的特征聚合意思就是怎么把其他帧的信息融合到当前帧。这种方法mAP最高可达84.2，但SELSA没怎么看懂，所以这个方法会介绍FGFA算法，最高可以达到80.1，由于这种方法要不断计算光流，所以也比较慢。
不基于光流的特征聚合方法(Multi-frame Feature Aggregation without OpticalFlow)最好可达85.5，这里作者大大已经写得很清楚啦，可以移步看这篇分享MEGA for video object detection
参考链接：
视频目标检测算法总结
视频目标检测算法总结-翻译
标签：视频,入门,mAP,检测,目标,光流,方法 来源： https://blog.csdn.net/qq_40840633/article/details/112973290
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。