1.一种基于全方位视觉的动物行为检测装置,其特征在于:所述基于全方位视觉的动物行为检测装置包括全方位视觉传感器和用于对全方位视觉传感器所拍摄的全景图像以及相关输入信息对动物的活动量、姿势、动作以及行为进行分析处理判断的微处理器;所述全方位视觉传感器安置在动物经常活动的环境中间的上方,用于拍摄整个监控环境中动物活动的的视频图像;所述的全方位视觉传感器通过网络与所述的微处理器进行连接,所述的微处理器包括:视频图像读取单元,用于通过网络接口读取全方位视觉传感器所拍摄的全景图像,并将读取的全景图像提交给视频图像展开单元和视频图像存储单元;
视频图像展开单元,用于将全景图像进行柱状展开,展开后的全景柱状图像提交给前景对象检测单元;
空间位置定义单元,用于定义和命名在全景图像中动物活动的环境空间位置;
环境元素输入单元,用于将所述的空间位置定义单元所定义的空间位置与环境元素建立映射关系;
环境元素与空间位置关系数据库,用于存放环境中各元素与空间位置的映射关系;
前景对象检测单元用于检测在全景柱状展开图像中存在的前景动物对象,具体采用MHI算法来计算前景动物对象,然后在柱状展开图像上用矩形框框住前景动物对象,并将矩形框提交给动物对象跟踪单元;
动物对象跟踪单元,根据前景对象检测单元所提交的矩形框采用增强的Camshift算法对动物对象进行跟踪;
动物姿势解析单元,根据动物对象跟踪单元的结果采用动物模型算法估算出动物目前的姿势,并将当前的时刻、空间的位置和姿势的分析结果写入动物姿势、动作数据库中;
动物动作解析单元,根据动物姿势、动作数据库中前几帧中动物的姿势和当前动物的姿势分析得到动物的动作;
动物姿势、动作数据库,用于存放某一时间、空间内的动物的姿势元素编码、动作元素编码和环境元素编码;
动物行为分析单元,用于根据动物姿势、动作数据库中某一时间、某一空间内动物的一系列姿势和动作的变化,根据PAE模型来分析与判断动物的行为;
动物行为数据库,用于存放动物行为编码,动物行为编码用PAE模型来表达。
2.如权利要求1所述的基于全方位视觉的动物行为检测装置,其特征在于:所述微处理器还包括:新的动物行为发现单元,根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时,然后通过所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为,如有新的动物行为,则将新的动物行为保存到所述动物行为数据库。
3.如权利要求1或2所述的基于全方位视觉的动物行为检测装置,其特征在于:所述的前景对象检测单元中,采用基于MHI的背景更新模型,利用YCbCr与亮度图像分别分割然后进行综合得到运动前景图像,最后利用后处理实现动物的分割与定位;
所述的基于MHI的背景更新模型,MHI的更新方式如公式(2)所示;
式中,mhi为运动历史图像,ts为当前时间,sih为图像的掩模,动物运动发生的地方取非零值,dur为运动跟踪的最大持续时间;
用公式(3)将图像由RGB空间转换到YCbCr空间,滤除Y分量,用Cb、Cr颜色来分割得到前景图像;
阴影去除算法如下:
Step1:用较大的和较小的亮度阈值分别对背景减除的结果图像进行二值化,分别记为ImgL和ImgS;
Step2:利用背景减除之后的Cr和Cb图像分别进行二值化,分别记为ImgCr和ImgCb,得到的前景都去除了阴影,Cr得到的是红色色差分量,Cb得到的是蓝色色差分量,将两个色差结果取或得到去阴影的结果图像,记为ImgC=ImgCrOR ImgCb,得到色差分割结果;
Step3:由于只靠色差分量得到的目标容易丢失没有颜色信息的目标,需要融合其亮度分量;取亮度阈值较大的二值化图像与色差二值化图像作或运算,记为Img1=ImgC OR ImgL;
Step4:上述处理得到的结果容易有噪声,将ImgS作膨胀记为ImgS’,然后将Img1与ImgS’取与运算得到最终结果图像,Img=Img1 AND ImgS’,由此得到的目标作为最终的运动目标前景;并将运动目标前景对象的中心位置和大小自动递交给所述的动物对象跟踪单元中CamShift算法以实现时而静止时而运动的动物对象的稳定跟踪。
4.如权利要求1或2所述的基于全方位视觉的动物行为检测装置,其特征在于:所述的动物对象跟踪单元中,根据所述的前景对象检测单元所提交的矩形框采用增强的Camshiff算法对动物对象进行跟踪;
所述的增强的Camshifi算法如下:
步骤1:以所述前景对象检测单元中检测出的动物对象目标为基础,设定目标跟踪的ROI;
步骤2:计算ROI内的目标颜色概率密度分布;
步骤3:迭代Mean Shift直到收敛,记录其位置 和零阶矩
步骤4:对下一帧图像,以 为搜索窗中心位置,并根据 的函数确定搜索窗大小,根据动物对象目标外接矩形确定ROI大小,转步骤2;
在Camshiff算法的步骤2中,采用Bayesian概率法则获得目标在图像中的颜色概率密度分布,计算方法如公式(4)所示:式中:C为像素点在HSV空间的颜色值,即像素点的(H,S)值;O为目标,B为背景,P(O)+P(B)=1,P(O)为目标对象面积和除目标对象外的背景面积的比值;P(C/O)和P(C/B)可分别从目标对象和背景的直方图获得;按公式(4)获得目标对象在图像中的颜色概率密度分布,再按公式(5)把概率分布区间从[0,max(P(O/C))]归一化到[0,255]区间中,从而获得最终进行Mean Shift迭代的颜色概率密度分布图像P′(O/C);
式中,P′(O/C)为归一化的目标对象颜色概率密度分布,P(O/C)为目标对象颜色概率密度分布;
在改进Camshift算法的步骤4中,根据上一帧跟踪结果的零阶矩 的函数确定新的搜索窗的大小s,以适应目标在视频图像中的尺度变化,如公式(6)所示;
式中,s为搜索窗的大小,K为常数,本发明中选择K∈[230,240];
根据动物对象目标运动的空间连续性,在所述的动物对象目标实时跟踪中,动物对象目标在下一帧的位置位于前一帧中同一动物对象目标位置附近,因此定义适当位置和适当大小的ROI,动物对象目标跟踪在ROI内完成;
CamShift算法过程如下:
1):在颜色概率分布图中选取范围为R的搜索窗W;
2):计算x和y的零阶矩、一阶矩、二阶矩,计算方法如公式(7)、(8)、(9)所示;
3):计算搜索窗的质心位置计算方法由公式(10)所示,
(xc,yc)=(M10/M00,M01/M00) (10)
4):重新设置搜索窗的范围R;
5):如果不收敛且循环次数小于预设值,则返回2),否则结束;
算法中的收敛条件为:质心位置偏移量小于预定义阈值;
另外,被跟踪目标长轴方向角用公式(11)计算,
则得到被跟踪对象的长轴、短轴的长度用公式(12)、(13)计算,
5.如权利要求1或2所述的基于全方位视觉的动物行为检测装置,其特征在于:在所述的全方位视觉传感器中采用具有无线通信功能的无死角的水平方向不变形的全方位视觉传感器,所述的全方位视觉传感器中的摄像机通过视频接口与无线通信网络单元进行连接,无线通信网络单元中包括嵌入式数字信号微处理器、麦克风、有线和无线数字传输模块、用于把模拟视频标准TV信号转换成数字视频YUV信号的A/D芯片;有线和无线数字传输模块中的传输软件基于TCP/IP网络协议,无线通信使用802.11g(b)协议,并支持无线和有线传输,支持公网、专网、局域网静态IP地址接入,提供图像和声音的压缩及传输功能,压缩算法采用H.264或者MPEG4;嵌入式数字信号微处理器连接SD存储卡。
6.如权利要求1或2所述的基于全方位视觉的动物行为检测装置,其特征在于:所述的空间位置定义单元中,对监控环境的空间进行网格化处理,从获取的全景图像上定义和命名环境空间的网格,作为一种简单的定义和命名方式是采用大小相近的网格将可视范围内的环境空间进行分割,命名采用两位英文字母,从全方位视觉传感器的中心从内圈向外圈逆时针开始顺序编排,第一位英文字母表示相距全方位视觉传感器中心的距离,第二位英文字母表示环境元素所处的方位。
7.如权利要求1或2所述的基于全方位视觉的动物行为检测装置,其特征在于:所述的环境元素输入单元中,表1为位置空间编号与环境元素对应表,如表1所示, 空间位置编号 环境元素
BD 水流中部
BE 水池右边
AL 竹林右侧
PI 竹林左侧
TK 假山
IO 喂食槽
JQ 小山坡
TO 围栏左侧
TP 围栏右侧
… …
表1。
8.如权利要求1或2所述的基于全方位视觉的动物行为检测装置,其特征在于:所述的动物姿势、动作单元中,将动物出现的空间位置、时间和姿势信息写入到动物姿势、动作数据库中内,动物姿势、动作数据库的表格式如表2所示;
表2
表2中的时间是根据微处理器内的时钟以年月日小时分秒14位数据格式来设定的,即YYYYMMDDHHMMSS;对象编号是根据所述的动物对象跟踪单元中跟踪的动物来命名的,用6位数字表示,对于新出现的对象系统自动产生一个新对象编号;空间编号是根据所述的动物对象跟踪单元中所得到跟踪焦点所处的空间位置来确定的;姿势编码是根据所述的动物姿势解析单元中所得到的动物姿势识别结果来设定的;动作编码是根据所述的动物动作解析单元中所得到的动物动作识别结果来设定的;为了减少数据的冗余,如果动物跟踪对象消失或者静止的情况不产生记录;如果动物跟踪对象有活动情况时每条记录的间隔时间为
10秒;
动物姿势的识别是通过动物跟踪框的高宽比来确定的,比如对于某种动物站立姿势的高宽比约为1∶1.5,坐姿势的高宽比约为2∶1,横躺姿势的高宽比约为1∶1.2;
动物动作的解析是通过当前动物相对静止状态开始追溯到上一次动物相对静止状态,从两次间隔的相对静止状态的过程来识别得到的。
9.如权利要求1或2所述的基于全方位视觉的动物行为检测装置,其特征在于:所述的动物行为分析单元,是根据动物姿势、动作数据库中记录的某个动物个体的姿势元素、动作元素以及环境元素的组合来进行分析的,组合的方式由公式(1)表示,bi=pi∩ai∩ei (1)式中,pi、ai和ei分别是集合P、A、E的元素或子集;动物的各种行为是由动物的各种姿势元素pi、各种动作元素ai和各种环境元素ei组合而成;
将动物行为分为三大类,即生存行为、繁殖行为和社会行为;在生存行为中再分为六小类,即摄食行为、排遗行为、调节温度行为、休息行为、运动行为和杂项行为;在繁殖行为中再分为四小类,即发情行为、交配行为、分娩行为和育幼行为;在社会行为中再分为三小类,即对抗行为、通讯行为和分群行为;每一种行为都可以归纳为姿势元素、动作元素以及环境元素的不同组合;将目前已经解明的某种动物各种行为编码以矩阵的方式B′i存放在动物行为数据库中,在所述的动物行为分析单元中计算所得到的行为编码以矩阵的方式B表示,然后将B与B′i进行相减得到差分矩阵,得到差分矩阵D(B,B′i);接着用Frobenious范数表示动物行为分析单元中计算所得到的行为编码和动物行为数据库中动物某一行为编码的距离,计算公式由(14)表示,T
dis(B,B′i)=trace((D(B,B′i))D(B,B′i)) (14)式中,dis(B,B′i)为Frobenious范数,如果dis(B,B′i)小于所规定的值F,我们就认为目前检测的动物行为和数据库中动物某一行为是一致的。
10.如权利要求2所述的基于全方位视觉的动物行为检测装置,其特征在于:所述的新的动物行为发现单元,根据所述的动物行为分析单元中在动物行为数据库中没有找到相匹配的动物行为时,然后通过一系列所保存的动物姿势元素、动作元素以及环境元素经人机界面的确认方式来发现是否是新的动物行为;具体做法是:如果在动物行为数据库中存放着N个动物的行为编码,那么在所述的动物行为分析单元中要遍历N次如公式(14)的检测判断过程;当遍历了N次检测判断后,如果没有找到相一致的动物行为编码就将该结果发送给新的动物行为发现单元,同时将该信息发送给告知单元,管理者或者研究者接受到该信息后,通过人机界面确认一系列所保存的动物姿势元素、动作元素、频度以及环境元素,如果判断是一种新的动物行为就将该行为编码写入到动物行为数据库中;如果判断是在动物行为数据库中已经存在的行为编码,就需要适当地修改动物某一行为编码或者是F值,以便今后的检测更为准确。