火狐直播:依据数字集成电路的智能监控与辨认追寻体系

　　作者：张 建1，牛丽婷1，王宜楠2 （1.武汉大学物理科学与技能学院，武汉 430072；2.南京师范大学，南京 210046）

　　：本规划依据FPGA硬件渠道完成了对一个区域场景的侵略检测与追寻辨认，对检测到的运动物体作出人与动物的区别，能够经过无线办法发送警报，且体系检测具有较高的鲁棒性。本体系以FPGA为中心单元，首要由五个模块构成：OV5640摄像头模块，DDR3数据贮存模块、图画数据处理模块、蜂鸟E203 RISC-V SoC片上体系。体系整合与调试成果显现，本规划在FPGA上选用了适宜的算法树立体系，能对视频图画中的运动方针进行实时、精确的辨认与追寻。

　　近年来，跟着数字电子技能的不断开展前进，依据图画处理的主动监控技能逐步走进咱们的视界，大众的安全与社会的安稳由此遭到必定的确保。传统的视频监控体系首要是经过一些传感器来收集数据，但需求有操作员长期调查显现器，并经过人脑的判别来对其进行相应辨认，非常消耗精力。因而，引进智能监控与辨认追寻技能非常有必要。本规划运用移动侦测，一旦收集得的图画数据中移动程度超越了检测阈值，且判别移动的物体是人而不是动物，体系即主动宣布报警及时告诉监测人员，并完成摄像头的跟从移动监控，然后大程度进步监测功率。

　　作者简介：张健（1999—），男，汉，首要从事机器视觉，图画处理，FPGA，RISC-V等方面的研讨。

　　本团队所规划的机器人的全体架构规划框图如图1所示。由图可见，体系分为彼此联络的摄像头模块、DDR3 SDRAM 数据存储与通讯模块、图画处理模块以及蜂鸟 E203 RISC-V SoC 片上体系。

　　布景差分法是先设定一张图画作为布景图画，然后经过比照布景图画和接下来每一帧图画数据的联系，设阈值做差分来别离出运动方针概括的一种办法。布景差分法是当时被广泛选用的一种动态方针检测办法。运用布景差分法检测运动物体首要需求树立布景模板M(x,y)，预先贮存一帧图画画面作为布景图画，然后接下来收集到的每一帧图画T(x,y) 要与布景模板M(x,y)进行减法运算，在设定一个适宜的阈值P 的前提下，减出来的数值假如在阈值之内，则阐明画面停止；假如超出了阈值，则表明这个像素点是运动方针的其间一个点，将两种成果进行二值化，终究成果设为B(x,y)。[1]

　　布景差分法完成的关键是布景模型的获取和更新。布景获取算法一般要求在场景中存在运动方针的状况下获取布景图画，更新进程使布景能够习惯场景的各种改动和搅扰, 如外界光线的改动, 布景中方针的扰动和固定方针的移动，暗影的影响等。一种典型的布景建模办法是用混合高斯模型描绘布景图画像素值的散布，方针检测进程中判别图画的当时像素值是否符合该散布，若是被判为前景点，否则为布景点。一起依据新获取的图画，对布景图画参数进行自习惯更新。

　　在本规划中，咱们将布景差分法与下文介绍的帧差法相结合，防止光照改动等状况对运动方针的漏检和误检，取得体系检测的鲁棒性。

　　在运用布景差分法来完成对运动区域的检测时，需求经过接连k 帧的区域反应辨认物体的移动。本规划经过对实践图画建模树立布景模板，将获取的图画数据与之比较，取约1 000 个不一起刻的像素值与原有数据求均匀值，然后求出k 的最优解，即k 为多少时，能够较好地符合数据动摇，并使k 尽或许地小，然后能承认取接连多少张布景图时，能最敏捷且最高效地完成布景差分法检测运动物体（如图2）。

　　补白：算法所指均匀值为“实时均匀值” avertime算术均匀值称为“实在均匀值” averreal

　　关于一个相对安静的场景，咱们将比如光线明暗改动和风吹叶动称为环境的固有动摇，归于环境的固有特点。而关于500 万像素的OV5640 拍照出来的图画，像素点的小规模动摇称为硬件动摇。在处理一个运动场景，要想别离出有用的运动方针，就要战胜环境固有动摇和硬件动摇。[2]

　　本规划充沛核算了这两种不行消除的动摇散布，大致分为四个场景：光线亮堂、光线暗淡、色彩多杂和纯色布景。关于这四种不同场景，咱们选取的阈值是不同的，充沛进步监控设备的运动侦测敏感度的一起，尽量做到不误报。

　　方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在核算机视觉和图画处理中用来进行物体检测的特征描绘子。它经过核算和核算图画部分区域的梯度方向直方图来构成特征。Hog 特征结合SVM 分类器现已被广泛运用于图画辨认中，尤其在行人检测中取得了极大的成功。[3]

　　在一副图画中，部分方针的表象和形状（appearance and shape）能够被梯度或边际的方向密度散布很好地描绘。（实质：梯度的核算信息，而梯度首要存在于边际的当地）。

　　首要将图画分红小的连通区域，咱们把它叫细胞单元。然后收集细胞单元中各像素点的梯度的或边际的方向直方图。终究把这些直方图组合起来就能够构成特征描绘器。

　　把这些部分直方图在图画的更大的规模内（咱们把它叫区间或block） 进行比照度归一化（contrastnormalized），所选用的办法是：先核算各直方图在这个区间（block）中的密度，然后依据这个密度对区间中的各个细胞单元做归一化。经过这个归一化后，能对光照改动和暗影取得更好的效果。[4]

　　2) 选用Gamma 校正法对输入图画进行色彩空间的标准化（归一化）；意图是调理图画的比照度，下降图画部分的暗影和光照改动所构成的影响，一起能够按捺噪声的搅扰；

　　3) 核算图画每个像素的梯度（包括巨细和方向）；首要是为了捕获概括信息，一起进一步弱化光照的搅扰。

　　5) 核算每个cell 的梯度直方图（不同梯度的个数），即可构成每个cell 的descriptor；

　　7) 将图画image 内的一切block 的HOG特征descriptor串联起来就能够得到该image（你要检测的方针）的HOG 特征descriptor 了。这个便是终究的可供分类运用的特征向量了。

　　运用人脸几许特征和sobel 边际检测算法，对在有布景的灰度和五颜六色人脸图画中主动检测与定位人眼的操作。经过读取输入的图片并将其存储在RGB 矩阵内，接着对图片人脸区域进行辨认；然后选用sobel 算法对人脸区域进行边际提取，并在存储边际概括的矩阵中结合脸部边际特征定位眼睛。

　　OV5640 摄像头首要由镜头、图画传感器、板载电路及下方的信号引脚组成。镜头部件包括一个镜头座和一个可旋转调理间隔的凸透镜，经过旋转能够调理焦距，正常运用时，镜头座掩盖在电路板上遮光，光线只能经过镜头传输到正中央的图画传感器，它收集光线信号，然后把收集得到的数据经过下方的信号引脚输出数据到外部器材。

　　Pmod Step 板驱动步进电机，带动摄像头延伸板底座随之滚动，然后完成摄像头的全方位跟从监控。

　　本团队着手从反应速度、视界规模和移动方针漏检率等方针来衡量一个监控检测侵略体系的功用好坏，并得出以下定论

　　为消除环境动摇给布景别离进程带来的影响，咱们取16 帧图画为一次处理进程，核算出均匀动摇值并和阈值比较。因而，机器人处理一次环境动摇所需时刻

　　此机器人所用OV5640 摄像头监控视点大约为44.096 ° ( 差错不超越5 °)， 引荐可监控的直径为0.2~5 m，抱负间隔为2 m。不难核算，机器人的视界规模为0.162 2~4.054 m，抱负间隔下的视界宽度为1.622 m。在这样较开阔的视界下，能有用确保监控到室内的每个旮旯，并能有杰出的监控效果。

　　移动方针漏检方针，是用来表征监控设备对高速和低速运动物体检测才能。抱负间隔（2 m）下方针以速度Vmax 快速横向穿过监控视界（1.622 m），所用时低于反应速度即不被机器人捕捉到，可核算得机器人在抱负监控间隔下的最大检测速度Vmax=6.589 m/s。设停止环境动摇值为M0，则机器人所设阈值为120% M0。此刻方针以速度Vmin 缓慢在监控视界内横向移动，若方针移动导致的环境动摇低于阈值，则可不被监控辨认到。此刻速度应满意不等式

　　人在抱负监控间隔下的最小检测速度Vmin=0.658 9 m/s。同理可得最小和最大监控间隔下的理论方针速度规模，如表1。

　　经实践丈量，上述理论剖析值牢靠可信。由此可得，本机器人适用于绝大多数室内监控侵略场景，可检测规模包括了悉数方针或许移动速度，能够根本做到在较极点场景下的不漏检，即有较高的功用鲁棒性。

　　本规划中对人和动物的区别部分选用了多重模块一起效果，然后确保判别成果愈加精确。别的，口罩色彩辨认模块还能承认人脸的口罩佩带标准状况。因而，本规划中多重承认的模块一起发挥效果，使得人和动物的辨认判别愈加精确和牢靠( 如图5)。

　　体系具有两种运转状况: 正常监控状况和侵略报警监控状况。正常监控状况下不对监控视频进行存储和编码传输，侵略报警监控状况下具有触发相应的报警装置并记载监控视频和向上一级监控中心编码传输监控视频的功用。

　　当收集得的图画数据中检测到移动物体时，本规划中赤色LED 灯亮起，提示侦测方针的呈现。当上位机操控云台监控电机向左滚动时，蓝色LED 灯亮起；向右滚动时，绿色LED 灯亮起。

　　本规划经调试可完成智能盯梢、主动跟拍移动方针的功用，经过操控Pmod Step 板驱动步进电机，带动摄像头延伸板底座随之滚动，然后完成摄像头的主动滚动盯梢功用。

　　当收集得的图画数据中被检测有移动物体且方针为人时，WiFi 模块发送警报信息传递至上位机，引起监测方的留意。

　　作为微电子专业的大二学生，在参与这次全国大学生集成电路立异创业大赛中，除了专业才能的训练，视野视角的开阔外，给咱们最大的影响其实是思维层面。

　　比赛中，偶尔听得辅导教师“AI 已死”，“软件界说芯片”的观念，深感震慑，并对未来智能化的开展心驰神往。

　　我知道Robei公司不仅仅是一家EDA 公司，也是一家芯片规划公司，我也知道了，本次赛题电路可重构，设备可重构，它真实的姓名叫做“可重构机器人”，是真实的未来机器人比赛。我还知道，在华为被美国绞杀的今日，咱们需求这样的东西，而这样的东西也需求咱们去支撑完善。