内容简介

　　随着全球反恐形势的不断加剧和以自动驾驶为主要代表的新交通系统的兴起，选择视频序列中的行人作为主要视觉对象的行人检测和跟踪是智能安防、智能交通、自动化等系统中的一项关键技术。本书从行人目标的稀疏特性着手，从有效描述行人目标的特征、增强外观模型的区分度和对行人形态变化进行部件建模等方面进行了深入研究，利用深度学习等新方法，提出了用于行人检测的深度通道特征、多类别判别式字典学习方法和基于多分量可变形部件模型的行人跟踪方法。

作者简介

　　刘钊，男，1981年生，博士，讲师，中共党员。现就职于中国人民公安大学，任网络空间安全与法制协同创新中心研究员。2006年毕业于比利时鲁汶大学，获生物信息学硕士学位；2017年毕业于北京理工大学，获计算机应用技术博士学位。在国际刊物和会议发表数篇论文，主要研究方向为人工智能、模式识别和计算机视觉。

目录

第一章行人检测与行人跟踪研究现状

第二章基于深度通道特征的行人检测

第三章基于字典学习的行人跟踪方法

第四章基于多分量可变部件模型的行人跟踪

第五章结论与展望

精彩书摘

　　第一节研究的目的和意义

　　视觉目标检测（VisualObjectDetection），是根据目标的特征，利用最优化、机器学习等技术，检测出图像中目标所在的位置。视觉目标跟踪（VisualObjectTracking），是在图像序列中，根据视频信息的空间关联性和时间相关性等信息，逐帧估计出目标所在的位置。目标可以是单一确定的，也可以是多个或者一类相同或者相似的目标。目标检测和目标跟踪得到目标参数，如目标的位置、外观、运动规律等，是计算机视觉应用中最重要的底层信息之一，其准确性和时效性决定了智能视频系统各种功能的实现。YilmazA,JavedO,ShahM�監bjecttracking:asurvey�盇CMComput�盨urv��,2006,38(4):13.

　　随着全球反恐形势的不断加剧和以自动驾驶为主要代表的新交通系统的兴起，选择视频序列中的行人作为主要视觉对象的行人检测和跟踪（PedestrianDetectionandTracking），是智能安防、智能交通、自动化等系统中的一项关键技术。有效的行人检测和跟踪方法对推动计算机视觉、人工智能、模式识别等领域的发展有重要意义，对于减少人力成本、避免交通事故、防范恐怖袭击、打击犯罪等也具有广泛的应用前景。

　　第一章行人检测与行人跟踪研究现状|0||0|反恐背景下的信息技术革新研究：以视频序列中的行人检测与跟踪为例◆第二节国内外研究现状和发展趋势◆

　　行人检测算法主要包含行人表现建模和目标定位两部分。其中表现建模主要描述行人的视觉特征，如颜色、纹理、部件等，以及如何度量视觉特征之间的相似度和区分度；目标定位主要通过分类器等对行人所在的位置进行标定。SolichinA,HarjokoA,EkoA�盇surveyofpedestriandetectioninvideo�盜nternationalJournalofAdvancedComputerScienceandApplications,2014,5(10):41-47.

　　行人跟踪算法主要包含目标初始化、表现建模、运动描述和目标定位四部分。其中，目标初始化采用手工标注或自动检测算法确定行人的初始跟踪位置；表现建模同样描述行人的视觉特征，如颜色、纹理、部件等，以及如何度量视觉特征之间的相似度和区分度；运动描述采用某种运动估计策略如线性回归、EllisL,DowsonN,MatasJ,etal�盠inearregressionandadaptiveappearancemodelsforfastsimultaneousmodellingandtracking�盜nternationalJournalofComputerVision,2011,95(2):154-179.粒子滤波IsardM,BlakeA�盋ondensation-conditionaldensitypropagationforvisualtracking�盜nternationaljournalofcomputervision,1998,29(1):5-28.等对目标的运动进行估算，推断目标可能的位置；目标定位在目标可能的位置上，利用最优化策略等确定目标最终跟踪位置，实现跟踪。

　　影响行人目标检测和跟踪精度的因素有很多，主要可分为三大类：首先，是目标外观的动态变化，一般由目标外形变化、目标或摄像机观测角度变化、目标所在的场景变化等引起;其次，是遮挡问题，一般是目标被场景中的其他可见目标或背景局部或全部的短时间遮挡，造成目标在视频序列中的短时间不可见，或目标在图像中的形态不完整;最后，相似目标、复杂背景等因素容易造成漏检、错检或者错误跟踪。此外，目标检测与目标跟踪的复杂性，特别是以行人为目标时需要考虑的影响因素更制约着目标跟踪和检测算法的效率。表1—1列出了影响目标跟踪与检测的8个主要因素。

　　表1—1影响目标检测与跟踪算法的主要因素

　　影响因素具体描述IlluminationVariation光照变化ScaleVariation尺度变化Deformation非刚性形变Rotation:In�睵lane同一平面内旋转Rotation:Out�睵lane不同平面内旋转BackgroundClusters背景与目标颜色或纹理等一致Occlusion目标被部分或者完全遮挡Out�瞣f�瞯iew超出视野范围

　　为了克服相关不利因素，目标检测和跟踪领域一直在不断研究新的方法和技术。BenensonR,OmranM,HosangJ,etal�盩enyearsofpedestriandetection,whathavewelearned?�盠ectureNotesinComputerScience(includingsubseriesLectureNotesinArtificialIntelligenceandLectureNotesinBioinformatics)��2015,8926:613-627.HwangS,ParkJ,KimN,etal�盡ultispectralpedestriandetection:Benchmarkdatasetandbaseline�盤roceedingsoftheIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition��2015,07-12-June:1037-1045.ArthurD�盋,SergiuN�盨emanticchannelsforfastpedestriandetection��2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016:2360-2368.其中，检测算法从早期的Haar/Adaboost、HOG/SVM等基于特征和分类器的方法发展起来，近期主要形成了基于可变形部件模型的行人检测、基于神经网络的检测和基于特征融合的检测。目标跟踪算法从最早的基于目标灰度跟踪，到单纯利用目标特征进行跟踪的算法，再到特征提取与机器学习相结合的跟踪算法，近期又利用稀疏编码技术对目标表现进行建模。所有算法的最终目标都是在有限的计算资源前提下，对目标进行准确的检测和跟踪。本书通过对大量目标跟踪和检测文献的综述，对目标检测算法和跟踪算法采用的各种技术、研究现状进行总结，并对其发展趋势进行分析。

　　一、行人检测研究现状

　　行人检测技术是指计算机在一张图像或视频系列里标示出行人区域的位置、行人区域所占大小并给出一定的置信度。行人检测得到了广泛而深入的研究：从早期的基于HOG/SVM的行人检测DalalN,TriggsB�盚istogramsoforientedgradientsforhumandetection�盤roceedings-2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,CVPR2005��2005,I:886-893.到近期的基于行人外观恒定性和形状对称性（AppearanceConstancyandShapeSymmetry）CaoJ,PangY,LiX�盤edestriandetectioninspiredbyappearanceconstancyandshapesymmetry��2016IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2016:1316-1324.的行人检测算法，对行人检测算法的研究主要集中在寻找可以提供更高区分度的外观表现方式和更好的分类器上。BenensonR,OmranM,HosangJ,etal�盩enyearsofpedestriandetection,whathavewelearned?�盠ectureNotesinComputerScience(includingsubseriesLectureNotesinArtificialIntelligenceandLectureNotesinBioinformatics)��2015,8926:613-627.

　　（一）基于HOG/SVM的行人检测

　　早期比较出名的行人检测算法是达拉尔（Dalal）和瑞格期（Triggs）DalalN,TriggsB�盚istogramsoforientedgradientsforhumandetection�盤roceedings-2005IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,CVPR2005��2005,I:886-893.提出的基于HistogramsofOrientedGradients（HOG）和SVM的行人检测及相关的衍生算法。与SIFT类似，HOG也对方向梯度进行累计。与SIFT描述单个兴趣点不同的是，HOG将图像分成联通的细胞单元（cell），采集细胞单元中像素点的梯度方向直方图，把直方图组合起来，形成关于区域的方向梯度信息。基于HOG/SVM的行人检测的主要算法步骤包括：首先，提取正负行人样本的HOG特征，并训练一个SVM分类器，生成初步的检测器；其次，利用训练出的检测器检测负样本，从中得到难例(HardExample)；将难例的HOG特征和最初的特征一起投入SVM训练，得到最终检测器。图1—1汇总了HOG特征提取和基于HOG和SVM的行人检测的过程。图1—1HOG提取过程和基于HOG和SVM的行人检测

　　图1—2为HOG特征在行人边缘信息上的表现：1�蔽�训练样本的平均梯度图;2�蔽�区域内正SVM最大权重;3�蔽�区域内负SVM最大权重;4�蔽�测试样本;5�蔽�计算得到的R-HOG描述子，（f，g）为正负SVM分别加权后的R-HOG算子。

　　图1—2HOG特征描述行人边缘信息

　　HOG特征的提出在行人目标跟踪和检测中具有重要作用。HOG特征和SVM结合的行人检测算法提出后，许多相应的衍生算法围绕HOG和分类器结合这一思路，对行人检测进一步地提高和发展。

　　……