国内综述:
计算机视觉哪个方向最火?来看这篇综述《中国图像工程:》_人工智能算法与工程实践-CSDN博客_计算机视觉比较热门的方向
4、图像生成(风格迁移)
1.图像分类:
1.1概念
给定一组各自被标记为单一类别的图像,我们对一组新的测试图像的类别进行预测,并测量预测的准确性结果。
1.2应用场景
1.3成熟技术算法
VGG-net, GoogLeNet, ResNet
1.4难点
视点变化,尺度变化,类内变化,图像变形,图像遮挡,照明条件和背景杂斑
2.目标检测
2.1概念
对很多对象进行分类和定位。例如,在汽车检测中,使用边界框检测所给定图像中的所有汽车。即给定一张输入图片,算法能够自动找出图片中的常见物体,并将其所属类别及位置输出出来。当然也就衍生出了诸如人脸检测(Face Detection),车辆检测(Viechle Detection)等细分类的检测算法。
2.2应用场景
直接应用:统计计数
2.3成熟技术算法
RCNN、FastRCNN、FasterRCNN、RFCN 、YOLO、SSD
RCNN、FastRCNN、FasterRCNN、YOLO、SSD网络结构通俗解读(一)_夏之微风的博客-CSDN博客_fastrcnn网络结构
RCNN、FastRCNN、FasterRCNN、YOLO、SSD网络结构通俗解读(二):FPN与Mask RCNN_夏之微风的博客-CSDN博客
RCNN、FastRCNN、FasterRCNN、YOLO、SSD网络结构通俗解读(三):YOLO系列_夏之微风的博客-CSDN博客
目标检测(Object Detection)_yegeli的博客-CSDN博客_目标检测
详述目标检测最常用的三个模型:Faster R-CNN、SSD和YOLO_三颗心123的博客-CSDN博客_目标检测模型
2.4难点
3.目标跟踪
3.1概念
目标跟踪,是指在特定场景跟踪某一个或多个特定感兴趣对象的过程。
3.2应用场景
视频跟踪技术在军事和民用方面都有着十分广泛的应用, 军事方面包括无人飞行器、精确制导、空中预警、战场监视等;民用方面包括移动机器人、智能视频监控、智能交通系统、人机交互、虚拟现实等。
1.智能视频监控:基于运动识别(基于步法的人类识别、自动物体检测等),自动化监测(监视一个场景以检测可疑行为);交通监视(实时收集交通数据用来指挥交通流动);2.人机交互:传统人机交互是通过计算机键盘和鼠标进行的,为了使计算机具有识别和理解人的姿态、动作、手势等能力,跟踪技术是关键;3.机器人视觉导航:在智能机器人中,跟踪技术可用于计算拍摄物体的运动轨迹;4.虚拟现实:虚拟环境中3D交互和虚拟角色动作模拟直接得益于视频人体运动分析的研究成果,可给参与者更加丰富的交互形式,人体跟踪分析是其关键技术;5.医学诊断:跟踪技术在超声波和核磁序列图像的自动分析中有广泛应用,由于超声波图像中的噪声经常会淹没单帧图像有用信息,使静态分析十分困难,而通过跟踪技术利用序列图像中目标在几何上的连续性和时间上的相关性,可以得到更准确的结果。
3.3成熟技术算法
多目标跟踪 sort deepsort
(27 封私信 / 4 条消息) 计算机视觉中,目前有哪些经典的目标跟踪算法? - 知乎 ()
带你入门多目标跟踪(二)SORT&DeepSORT_Nieson的专栏-CSDN博客_deepsort
大合集!近两年目标跟踪资源全汇总(论文、模型代码、优秀实验室)_深度学习技术前沿-CSDN博客
目标跟踪算法研究综述_zhu_hongji的博客-CSDN博客
目标跟踪介绍(单目标)_aaaaaaabmm的博客-CSDN博客_单目标跟踪
3.4难点
目标跟踪算法研究难点与挑战:实际复杂的应用环境 、背景相似干扰、光照条件的变化、遮挡等外界因素以及目标姿态变化,外观变形,尺度变化、平面外旋转、平面内旋转、出视野、快速运动和运动模糊等。
4.图像分割
4.1概念
语义分割就是需要区分到图中每一点像素点,而不仅仅是矩形框框住了。但是同一物体的不同实例不需要单独分割出来。
实例分割其实就是目标检测和语义分割的结合。相对目标检测的边界框,实例分割可精确到物体的边缘;相对语义分割,实例分割需要标注出图上同一物体的不同个体(羊1,羊2,羊3...)
全景分割是语义分割和实例分割的结合。跟实例分割不同的是:实例分割只对图像中的object进行检测,并对检测到的object进行分割,而全景分割是对图中的所有物体包括背景都要进行检测和分割。
4.2应用场景、
图像分割有助于确定目标之间的关系,以及目标在图像中的上下文。应用包括人脸识别、车牌识别和卫星图像分析。例如,零售和时尚等行业在基于图像的搜索中使用了图像分割。自动驾驶汽车用它来了解周围的环境。
任务表达:
4.3成熟技术算法
DeepMask、LSTM-CF
【图像分割模型】实例分割模型—DeepMask_hacker_long的专栏-CSDN博客_图像分割实例
4.4难点
5.目标识别
5.1概念
5.2应用场景
人脸识别:国内目前很多企业已经改变传统指纹打卡,应用了新的人脸识别技术。除了企业应用人脸识别打卡以外,人脸识别也被应用在犯罪嫌疑人监控和安检等方面。
文本识别:通过手机的摄像头就能通过字符识别,来打到准确翻译的目的,此类的计算机视觉应用带来了极大的方便。
5.3成熟技术算法
5.4难点
6.语言结合
6.1概念
图片描述:是一个交叉性的研究课题,主要涉及计算机视觉中的图像特征提取和自然语言处理中的文本生成技术,可简单理解成为图片生成说明语句,输入为一张图片,输出为描述图片内容的句子。
视觉问答:视觉问答也简称VQA(Visual Question Answering),一般来说,VQA系统需要将图片和问题作为输入,结合这两部分信息,产生一条人类语言作为输出。针对一张特定的图片,如果想要机器以自然语言处理(NLP)来回答关于该图片的某一个特定问题,我们需要让机器对图片的内容、问题的含义和意图以及相关的常识有一定的理解。就其本性而言,这是一个多学科研究问题。
6.2应用场景
视觉问答系统将图像和关于图像的任何形式的开放式的自然语言问题作为输入,并将自然语言答案作为输出。适用于视障用户或情报分 析员积极获取视觉信息时遇到的情况,并且还可以通过答案来获得图像 是否是我们指定要寻找的图片,因此可以从海量照片中筛符合要求的图片等。更进一步分析,有图像问题上升到视频问题的问答,再由答案推 理找到包含我们问题内容的视频等。
比如说用户在拍了一张照片后,利用Image Caption技术可以为其匹配合适的文字,方便以后检索或省去用户手动配字;此外它还可以帮助视觉障碍者去理解图像内容。
图像自动描述有着广泛的社会应用前景,如帮助盲人理解图片、图像字幕生成、辅助幼儿对图片的理解等等
6.3成熟技术算法
Image caption——图像理解——看图说话综述(-)_m0_37731749的博客-CSDN博客
视觉问答阶段性总结_是尘埃呀!的博客-CSDN博客_视觉问答
视觉问答综述(VQA Datasets Alogritgms and Future Challenge)_August-us的博客-CSDN博客_视觉问答
一文带你了解视觉问答VQA - 简书 ()
视觉问答项目_snow_maple521的博客-CSDN博客
NIC模型:Show and tell: A neural image caption generator
模型包括encoder-decoder两个部分。其中encoder使用CNN提取特征,CNN可以使用VGGNet、GoogleNet等网络;decoder使用LSTM网络生成句子
6.4难点
7.图片检索
7.1概念
传统的图像检索过程,先通过人工对图像进行文字标注,再利用关键字来检索图像,这种依据图像描述的字符匹配程度提供检索结果的方法,简称“以字找图”,既耗时又主观多义。基于内容的图像检索客服“以字找图”方式的不足,直接从待查找的图像视觉特征出发,在图像库(查找范围)中找出与之相似的图像,这种依据视觉相似程度给出图像检索结果的方式,简称“以图找图”。
7.2应用场景
淘宝拍照识图、百度识图
7.3成熟技术算法
基于内容的图片检索CBIR(Content Based Image Retrieval)简介_计算机视觉小菜鸟的专栏-CSDN博客
7.4难点
8.三维重建
8.1概念
基于视觉的三维重建,指的是通过摄像机获取场景物体的数据图像,并对此图像进行分析处理,再结合计算机视觉知识推导出现实环境中物体的三维信息。三维重建 ,英文名称是3D Reconstruction。三维重建是将三维的物体在虚拟世界中重建出来,通俗点说,我们做的就是照相机的逆操作(照相机是将现实中的物体呈现在二维图片中,而三维重建是将二维图片中的信息在三维虚拟空间中显现)。
8.2应用场景
比如AR/VR,SLAM,自动驾驶等都离不开三维视觉的技术
8.3成熟技术算法
MVE、Bundler、openMVG
一分钟详解三维重建学习路线_3D视觉工坊-CSDN博客
8.4难点
整体应用综述:
安防:国内多家人脸识别产品已经被公安部门用于安防领域。完整的人脸识别系统包括人脸检测、人脸配准、人脸匹配、人脸属性分析等模块。动态人脸识别技术则通过摄像头等视觉传感设备在视频流中获得动态的多个人脸图像,从数据库中的大量图像中找到相似度最高的人脸图像,用于人群密集场所当中的布控,协助安全部门进行可疑人口排查、逃犯抓捕等情报研判任务。视频结构化则是面向人、车、物等对象,从视频流中抽象出对象的属性,如人员的体貌特征、车辆的外形特征等。这些技术能够预警打架斗殴、高危车辆等社会治安问题的发生,为公安工作提供了一大利器,成为打击违法犯罪活动、建设平安城市的重要技术。
无人驾驶:自动驾驶的车辆可以完成道路及道路边沿识别、车道线检测、车辆识别、车辆类型识别、非机动车识别、行人识别、交通标志识别、障碍物识别与避让等任务。无人机的核心导航系统中,很重要的一个子系统就是视觉系统,通过单摄像头、双摄像头、三摄像头甚至全方向的摄像头布置,视觉系统能克服传统方法的限制与缺点,结合SLAM、VO 等技术,应用近几年热门的深度学习算法,能够提升位姿估计、高度探测、地标跟踪、边缘检测、视觉测距、障碍检测与规避、定位与导航等任务的进度。从外界获取的信号与无人机飞控系统的视觉伺服系统形成闭环能提升飞行器的稳定性
智慧医疗:第一层面对于临床医生,计算机视觉技术能帮助其更快速、更准确地进行图像分析工作;第二层面对于卫生系统,其能通过人工智能的方式改善工作流程、减少医疗差错;第三层面对于患者,通过增强的云存储能力,他们可以处理自己的数据,以促进自我健康。
机器人:
零售业:行为追踪:实体零售店利用计算机视觉算法和摄像头,了解顾客及其行为。计算机视觉算法能够识别人脸,确定人物特征,如性别或年龄范围。此外,零售店还可以利用计算机视觉技术追踪顾客在店内的移动轨迹,分析其移动路线,检测行走模式,并统计零售店店面受到行人注意的次数。库存管理计算机视觉在库存管理方面有两个主要的应用。通过安防摄像头图像分析,计算机视觉算法可以对店内剩余商品生成非常准确的估计。对于店铺管理者来说,这是非常宝贵的信息,它可以帮助管理者立即察觉不寻常的货物需求,并及早作出反应。另一个常见应用是:分析货架空间利用情况,识别次优配置。除了发现被浪费的空间以外,此类算法还可以提供更好的货品摆放方案。
工业:计算机视觉是工业机器人领域的关键技术,配合机械装置能够实现产品外观检测、缺陷检测、质量检测、产品分类、部件装配等功能。
农业:计算机视觉的应用成果涉及农产品品质检测、作物识别与分级、农副产品出厂质量监测、植物生长监测、病虫害的探测与防治、自动化收获等领域,为精细农业和农业生产自动化奠定了基础。
第三产业:“ 智慧城市”概念带动了诸如智慧交通、智慧教育、智慧社区、智慧零售、智慧政务等基于计算机视觉技术的应用场景。
计算机视觉技术与应用综述_YukinoAI的博客-CSDN博客_计算机视觉技术的应用
计算机视觉入门大全:基础概念、运行原理、应用案例详解_喜欢打酱油的老鸟-CSDN博客_计算机视觉原理应用例子
GAN(生成对抗网络)生成不存在于真实世界的数据,如图像增强生成对抗网络——GAN(一)_木盏-CSDN博客_gan
transformer