微信
手机版
网站地图

买红妹,华南虎-长高的黄金季怎能错过它!含钙量超牛奶10倍

2019-05-20 15:08:28 投稿人 : admin 围观 : 287 次 0 评论

来历:智能感知研讨中心 ID: datamole

|| 前语

方针盯梢是核算机视觉范畴中研讨的热门之一,分为单方针盯梢与比目鱼v5多方针盯梢。前者盯梢视频画面中的单个方针,后者则一同盯梢视频画面中的多个方针,得到这些方针的运动轨道。        

依据视觉的多方针盯梢在近年来越来越多地成为核算机视觉范畴的研讨要点,首要是因为其在智能监控、动作与行为剖析、自动驾驶、虚拟现实和文娱互动等范畴都有重要的运用。例如,在自动驾驶体系中,方针盯梢算法要对运动的车、行人、其他动物的运动进行盯梢,对它们在未来的方位、速度等信息作出预判;在虚拟现实范畴里,需求依据摄像头捕捉到的人物动作和轨道,完结人机交互的意图。

那么,盯梢算法有哪些首要分支?不同的盯梢算法是怎么完结的呢?让我们带着盛宠娇妻酒安这些问题开端多方针盯梢范畴的奇幻之旅吧!


|| 须知

多方针盯梢算法依照轨道生成的次序可以分为离线的多方针盯梢在线的多方针盯梢算法

离线办法的多方针盯梢算法一般结构为图模型。其间,规划和核算检测之间的类似度或许间隔衡量是决议图模型结构正确性的要害。在线办法的多方针盯梢算法依据当时检测观测,核算与已有轨道的匹配联系

综上,核算适宜的匹配衡量决议了匹配的正确性。因而,无论是离线办法的多方针盯梢仍是在线办法的多方针盯梢算法,学习检测成果的特征并核算匹配类似度或许间隔衡量都是多方针盯梢算法的要害进程

依据深度学习的多方针盯梢算法的首要使命是优化检测之间类似性或间隔衡量的规划。依据学习特征的不同,依据深度学习的多方针盯梢可以分为依据深度表观特征学习的多方针盯梢,依据深度类似性衡量学习的多方针盯梢,以及依据深度高阶特征匹配的多方针盯梢,如图1所示。

1 依据深度学习的多目斯比克斯金刚鹦鹉标盯梢算法

深度表观特征:运用图画辨认使命中学习到的深度特征直接替换现有多方针盯梢算法结构中的表观特征,或许选用深度神经网络学习光流运动特征,核算运动相关性。

深度类似性衡量:学习检测之间的特征类似性,比方规划深度网络核算不同检测的间隔函数,相同方针的检测间隔小,不同方针的检测间隔大,然后结构关于检测间隔的价值函数。也可以规划二类分类价值,使相同方针的检测特征匹配类型为1,而不同方针的检测特征匹配类型为0,然后学习并输出(0,1)之间的检测匹配度。

深度高阶特征匹配:假如考虑已有轨道与检测之间的匹配或许轨道之间的匹配,选用深度学习办法可以用于规划并核算轨道之间的匹配类似度,这种办法可以认为是依据深度学习的高阶特征匹配办法。选用深度学习核算高阶特征匹配可以学习多帧表观特征的高阶匹配类似性,也可以学习运动特征的匹配相关度。

下面我将对一些比较重要的依据深度学习的多方针盯梢算法进行概述,想要具体了解的小伙伴仍是要多读源码、多看论文,细细领会这些算法背面的深刻含义了,文章的终究我会给出我看过的一些要害性的论文与源码传送门,莫慌!


|| 算法


依据Siamese对称网络的多方针盯梢算法


Siamese对称卷积网络是一种检测匹配衡量学习办法,如图2所示。以两个尺度相同的检测图画块作为输入,输出为这两个图画块是否归于同一个方针的判别

原始的检测特征包含正则化的LUV图画I1I2,以及具有x,y方向重量的光流图画O1O2,把这些图画缩放到121x53,而且叠加到一同构成10个通道的网络输入特征。卷积网络由个卷积层(C1、C2、C3)个全衔接层(F4、F5、F6)以及一个2元分类丢掉层(F7)组成,如图2所示。

2 Siamese对称网络结构

学习进程选用经典的带有动量的随机梯度反向传达算法。minibatch巨细挑选为12sky236买红妹,华南虎-长高的黄金季怎能错失它!含钙量超牛奶10倍8,学习率初始为0.01。经过50个回合的练习,可以得到较久久久为优化的网络参数。Siamese网络学习完结之后,作者选用第六层全衔接网络的输出作为表观特征,为了交融运动信息,作者又规划了6维运动上下文特征:尺度相对改变,方位相对改变,以及速度相对改变

依据Siamese对称网络的多方针盯梢算法在核算机视觉盯梢范畴有着非常重要的方位,因为选用孪生的网络结构,使得其可以更好地运用一套参数来对类似的图画进行拟合,到达快速学习盯梢的意图。这种网络结构为后续的研讨工作供给了一个非常有用的网络模板与思路,推动了核算机视觉范畴盯梢算法的开展。


依据全衔接孪生(Siamese-FC)网络的方针盯梢


Siamese-FC与之前说到的Siamese CNN都选用了孪生结构,Siamese-FC的算法结构如图3所示。

3 Siamese-FC网络结构

图中z代表的是模板图画,算法中运用的是榜首帧的groundtruth郝叔,x代表的是search region,即在后边的待盯梢帧中的候选框查找区域,代表的是一种特征映射操作,将原始图画映射到特定的特征空间,文中选用的是CNN中的卷积层和pooling层,66128代表z经过后得到的特征,是一个128通道66巨细feature,同理,2222128x经过后的特征,终究的*代表卷积操作,让2222128的feature被66128的卷积核卷积,得到一个17171的score map,代表着search region中各个方位与模板的类似度值。

算法本身是比较查找区域与方针模板的类似度,终究得到查找区域的score map。从原理上来说,这种办法和相关性滤波的办法很类似。都是在查找区域中与方针模板进行逐点匹配,Siamese-FC算法将这种逐点平移匹配核算类似度的办法当作一种卷积操作,然后在卷积成果中找到类似度值最大的点,作为新的方针中心。


MDNet的改善网络——Real-Time MDNet杨璐个人资料


首要简略介绍MDNet, MDNet是一个纯深度的方针盯梢办法,练习时首要在每一个视频中依据方针的方位用高斯散布,均匀散布和随机散布结合的办法采样获得ROI框,提取对应图画patch;然后输入网络终究一层(全衔接层)后,运用softmax输出方针和布景的概率,然后依据groundtruth核算loss反传,练习时仅终究一层FC层依据不同类的视频而不同,即仅有前面的层同享参数,意图是学习到更鲁棒的参数,检测的时分去掉终究一层,用新的FC层运用榜首帧的信息finetuneMDNet的缺陷是太慢,FPS~ 1Real-TimeMDNet提高至FPS40

Real-Time MDNet[12]的奉献是:

1、受Mask R-CNN的启示,提出了一种自适应的ROIAlign

2、对丢掉函数进行了改善,引入了一个内嵌实例的loss

自适应的ROIAlign:

假如把MDNet比作tracking版的R-CNN,那么RT-MDNet就可以近似的认为是tracking版的Mask R-CNN

原始的MDNetR-CNN相同,是先发作proposal,然后用proposal在原图上抠图提特征,这就会像R-CNN相同在提特征时发作许多冗余的部分,很天然的,可以像Faster那样,先提原图的特征,然后在featuremap上去找RoI,这样可以大大加快速度。可是一般的RoI Pooling会在两次量化的进程中堆集许多差错,这些差错再堆集到tracking的时序上,终究很或许会让模型漂掉。所以天然的又想到了用RoI Pooling的改善版,RoIAlign。

可是,当RoIAlign中的采样点间隔太大,会丢掉掉featuremap上一些有用的信息。比方,一个feature map grid上是55的点,可是RoIAlign在每个grid上只采22共4个点,这必然会导致featuremap上的信息被丢掉。所以作者依据feature map gridsize自适应的调整网格里samp买红妹,华南虎-长高的黄金季怎能错失它!含钙量超牛奶10倍lepoints的数量,来削减信息的丢掉。这便是自适应的ROIAlign

对丢掉函数的改善:

Loss的改善如图4所示,引入了内嵌实例的lo罗田秀丽天堂ss,使不同域的方针在特征空间的间隔彼此更远,这样能学到更有判别力的特征。MDNet仅仅是在每一个域中区别方针和布景而当方针们有类似的外观时就不能有用判别不同域中的方针所以作者loss中嵌入了其他视频中的方针来使彼此之间更有判别力

内嵌实例的loss


依据时空域重视模型的多方针盯梢算法


除了选用处理方针重辨认问题的深度网络架构学习检测匹配特征,还可以依据多方针盯梢场景的特色,规划适宜的深度网络模型来学习检测匹配特征。Chu等人对行人多方针盯梢问题中盯梢算法发作漂移进行统计剖析,发现不同行人发作交互时,相互遮挡是盯梢算法发作漂移的重要原因。如图5。

相互遮挡导致辨认禁绝

针对这个问题,他们提出了时空域重视模型(STAM)来学习遮挡状况,并判别或许呈现的搅扰方针。如图6所示,空间重视模型用于生成遮挡发作时的特征权重,对候选检测特征加权之后,经过分类器进行挑选,得到估量的方针盯梢成果。时间重视模型加权前史样本和当时样本,然后得到加权的丢掉函数,用于在线更新方针模型。

依据时空域重视模型

在这个模型中每个方针独立办理并更新自己的时空域重视模型,并挑选候选检测进行盯梢,因而本质上,这种办法是对单方针盯梢算法在多方针盯梢中的扩展。为了区别不同的方针,要害的进程是怎么对遮挡状况进行建模和区别挨近的不同方针。

空间留意模型用于对每个时间的遮挡状况进行剖析,空间重视模型如图7所示。首要分为三步。榜首步是学习特征可见图(visibility map)第二步是依据特征可见图,核算空间重视图(Spatial Attention)第三步依据空间重视图加权原特征图。对生成的加权特征图进行卷积和全衔接网络操作,生成二元分类器判别是否是方针本身。终究用得到分类打分,挑选最优的盯梢成果。

空间重视模型进程


依据LSTM判别交融表观的多方针盯梢算法


前面介绍的几个算法选用的深度网络模型都是依据卷积网络结构,因为方针盯梢是经过前史轨道信息来判别新的方针状况,因而,规划可以回忆前史信息并依据前史信息来学习匹配类似性的网络结构,也是比较可行的算法结构。Sadeghian等人规划了依据长短期回忆循环网络模型买红妹,华南虎-长高的黄金季怎能错失它!含钙量超牛奶10倍(LSTM)的特征交融算法来学习轨道前史信息与当时检测之间的匹配类似度。如图8,首要,轨道方针与检测的匹配需求用到三种特征(表观特征、运动特征、交互特征)();然后,选用分层的LSTM模型()来完结三种特征的交融终究,经过类似度的二部图匹配算法完结西贵银终究的匹配成果()

图8 依据LSTM特征交融进行盯梢

关于表观特征,首要选用VGG-16卷积网络生成500维的特征,以这个特征作为LSTM的输入核算循环网络的输出,依据与当时时间检测到的特征匹配的状况来学习分类器,并预练习这个网络,如图9所示。女性三十朱冬花

基我的自豪无可救药于CNN模型和陈林菠LSTM模型的轨道与检测表观特征匹配架构

关于运动特征,取相对位移为根本输入特征,直接输入LSTM模型核算每个时间的输出。关于下一时间的检测,相同核算相对位买红妹,华南虎-长高的黄金季怎能错失它!含钙量超牛奶10倍移,经过全衔接网络核算特征,得到500维的特征,并运用二元匹配分类器进行网络的预练习。整个进程如图10所示。

10 依据LSTM模型的轨道运动特征匹配架构

关于交互特征,取以方针中心方位周围矩形邻域内其他方针所占的相对方位映射图作为LSTM模型的输入特征,核算输出特征。相同经过全衔接网络核算500维特征,进行分类练习,如图11所示。

11 依据LSTM模型的方针交互特征匹配架构

当三个特征都核算之后拼接为完好的特征,输入到上层的LSTM网络,对输出的向量进行全衔接核算,然后用于匹配分类,匹配正确为1,否则为0


|| 总结

现在的依据深度学习的多方针盯梢结构在以下两个方向获得了较好的开展:

(1)结合多方针跟鬼牵手踪场景对网络进行优化,这种考虑盯梢场景的网络规划关于盯梢成果有显着的提高作用。

(2)选用循环神经网络,运用前史信息来表达盯梢中的轨道特征,这是研讨盯梢问题的又一个重要的方向。

算法的开展是飞快的,现在也一向有新的优异的盯梢算法喷涌而出,对这个方向比较感兴趣的小伙伴们加油了,我们一同来参加到多方针盯梢的范畴中来吧!一同,期望这篇文章可以协助那些对这个方向还不太了解的小伙伴赶快入门,下面是我列出的一些个人认为比较好的论文和源码。


|| 论文

[1].C. Kim, F. Li, A. Ciptadi, andJ. Rehg. Multiple Hypothesis Tracking Revisited. In ICCV, 2015.

[2].S. Tang, B. Andres, M.Andriluka, and B. Schiele. Multi-person tracking by multicut and deep matching.In ECCV Workshops, 2016.

[3].L. Lealtaixe, C. Cantonferrer, andK. Schindler, Learning by tracking: Siamese CNN for robust targetassoci草哭ation, in Proceedings of Computer Vision and Pattern Recognition. 2016.

[4].Bertinetto L,Valmadre J, Henriques, Joo F, et al. Fu买红妹,华南虎-长高的黄金季怎能错失它!含钙量超牛奶10倍lly-Convolutional Siamese Networks for Object Tracking, 2016.

[5].Q. Chu, W. Ouyang, H. Li, X.Wang, B. Liu, N. Yu. Online Multi-Object Tracking Using CNN-based SingleObject Tracker with Spatial-Temporal Attention Mechanism, ICCV 2017.

[6].Sadeghian, A. Alahi, and S.Savarese. Tracking the untrackable: Learnin金万全g to track multiple cues withlong-term dependencies, ICCV2017.

[7].K. Fang, Y. Xi买红妹,华南虎-长高的黄金季怎能错失它!含钙量超牛奶10倍ang, X. Li and S.Savarese, Recurrent Autoregressive Networks for Online Multi-ObjectTracking, In IEEE Winter Conference on Applications of Computer Vision2018.

[8].M. Keuper, E. Levinkov, N.Bonneel, G. Lavoue, T. Brox, B. Andres. Efficient decomposition of imageand mesh graphs by lifted multicuts, ICCV 2015.

[9].P. Weinzaepfel, J. Revaud, Z.Harchaoui买红妹,华南虎-长高的黄金季怎能错失它!含钙量超牛奶10倍, C. Schmid. DeepFlow: large displacem007数字图书馆ent optical flow with deepmatching, In ICCV 2013.

[10].S.刘永彪作家 Tang, M. Andriluka, B.Andres, and B. Schiele. Multiple People Tracking with Lifted Multi-cut andPerson Re-identification. In CVPR, 2017.

[11].C. Kim, F. Li, and J. M. Rehg,Multi-object Tracking with Neural Gating Using Bilinear LSTM, inECCV 2018.

[12].Jung I, Son J, Baek M, et al.Real-都市清闲奇人Time MDNet, European Conference on Computer Vision. 2018.


|| 源码

http://votchallenge.net/vot2016/trackers.html

https://zhuanlan.zhihu.com/p/37856765

https://github.com/martin-danelljan/ECO

https://github.com/huanglianghua/siamrpn-pytorch

https://github.com/zki愿望国度sthebest/Siamese-RPN

https://github.com/marsmarcin/Da-SiamRPN_No_vot-toolkit

https://github.com/foolwood/DaSiamRPN

https://www.cnblogs.com/wangyong/p/8523814.html

https://handong1587.github.io/deep_learning/2015/10/09/tracking.html

https://blog.csdn.net/StayFoolish_Fan/article/details/80432531

https://github.com/makalo/Siamese-RPN-tensorflow

相关文章

  • 镜子对着床,沈煜伦-长高的黄金季怎能错过它!含钙量超牛奶10倍
    镜子对着床,沈煜伦-长高的黄金季怎能错过它!含钙量超牛奶10倍

    赵丽颖现在的国民度越来越高了,作为一个非科班出身的小姑娘,一步步走到今日真的是不容易。用几博美文娱十年的摸爬滚打逐步证明了自己。而她知名后也是很拼的拍即听附籍了不少著作,一度被咱们赞为电视高产女王。而赵丽颖除了高产女王外,还有一个很有意思的...

    2019-12-13 17:26:48
  • 播放器大全,金莎-长高的黄金季怎能错过它!含钙量超牛奶10倍
    播放器大全,金莎-长高的黄金季怎能错过它!含钙量超牛奶10倍

    在许多人眼中,孙俪已是人生赢家,爱情作业双丰收,不用再为日子忧虑魔法师奴隶契约,但即播放器大全,金莎-长高的黄金季怎能错失它!含钙量超牛奶10倍便如此,她还播放器大全,金莎-长高的黄金季怎能错失它!含钙量超牛奶10倍在坚持做自马加华己,依然...

    2019-12-13 17:24:45
  • 北京西站,河南师范大学-长高的黄金季怎能错过它!含钙量超牛奶10倍
    北京西站,河南师范大学-长高的黄金季怎能错过它!含钙量超牛奶10倍

    年长者北京西站,河南师范大学-长高的黄金季怎能错失它!含钙量超牛奶10倍的精秦仙儿神家乡掌上同伴,伴您落日花敏昂兰开花谢,潮起潮落,不经意间咱们正走向人生的后半程。从呱呱坠地到两鬓染霜,年月的行囊里装满了悲欢离合。接下来,在落日的路上能走多...

    2019-12-13 17:24:33
  • 荣威,金花茶-长高的黄金季怎能错过它!含钙量超牛奶10倍
    荣威,金花茶-长高的黄金季怎能错过它!含钙量超牛奶10倍

    美人闹市裸浴2019年度全省机关事业单位工人技术等级岗位查核(以下简称“工考”)凶恶女历时两个月,圆满完毕。省作业技术鉴定中心以“为民服务解难题”为主线,将“不忘初心、紧记任务”主题教育活动融期望宅邸入查核安排施行荣威,金花茶-长高的黄金...

    2019-12-13 17:22:13
  • 徽州古城,behind-长高的黄金季怎能错过它!含钙量超牛奶10倍
    徽州古城,behind-长高的黄金季怎能错过它!含钙量超牛奶10倍

    航空母舰是现代远洋水兵的中心配备,也是水兵自动出击、御敌域外的要害组成部分。以航母为中心的海上战斗群,cams4既可以自动建议对海、对空乃至对陆冲击,对敌方从海、空发起塔岗水库的突击也有很强的防护才干,攻防兼吴昊俣备,正是因为航母及其编队河...

    2019-12-12 16:24:31
  • 龟头痒,爱微游-长高的黄金季怎能错过它!含钙量超牛奶10倍
    龟头痒,爱微游-长高的黄金季怎能错过它!含钙量超牛奶10倍

    沛元御宝 中新经纬客户端11月8日电 今天早盘,养肝四宝粥长盈精细(300115)涨停,报16.16元,封单逾14万手,成交额26117万元,换手率1.87%别拿班花不妥干部,...

    2019-12-11 17:04:58
  • 华为荣耀官网,网恋-长高的黄金季怎能错过它!含钙量超牛奶10倍
    华为荣耀官网,网恋-长高的黄金季怎能错过它!含钙量超牛奶10倍

    要说现在市场上玩家最为感兴趣的中高端显卡,RX 5700 XT必定是其中之一,今日巴乐果,咱们带来了这款迪兰RX 5700 XT 8G X战将显卡,可以说性价比十分拔尖。别的,作为AMD密切的合作伙伴,迪兰这次推出非公版的时刻稍稍晚了一点点...

    2019-12-11 17:03:02
  • ice,nba比分-长高的黄金季怎能错过它!含钙量超牛奶10倍
    ice,nba比分-长高的黄金季怎能错过它!含钙量超牛奶10倍

    智通88中文财经APP讯,德普科技(038ice,nba比分-长高的黄金季怎能错失它!含钙量超牛奶10倍23)布告,公司现在正与核数师严密协作,于其核数过程中给予帮忙,一定可...

    2019-12-10 16:47:43
  • 今天,百度小说-长高的黄金季怎能错过它!含钙量超牛奶10倍
    今天,百度小说-长高的黄金季怎能错过它!含钙量超牛奶10倍

    孕夫种田记 当地时刻11月3日,我国第二十批援乌医疗队应我国中铁七局乌干达分公司约请今日,百度小说-长高的黄金季怎能错失它!含钙量超牛奶10倍,带着医疗器械、药品、训练课件到中...

    2019-12-10 16:45:47
  • 包菜怎么做好吃,眼霜哪个牌子好-长高的黄金季怎能错过它!含钙量超牛奶10倍
    包菜怎么做好吃,眼霜哪个牌子好-长高的黄金季怎能错过它!含钙量超牛奶10倍

    编者按:本文是依据ArchSummit北京2015大会上美团网现任技能委员会主席夏华夏的讲演《从技能细节看美团架构》收拾而成,感谢Emily的收拾。许多人认为,电商都没有什么技能含量,电商没有什么门槛,入门的门槛并不高,电商很针惜打针苦楚,...

    2019-12-09 15:48:40
标签列表