1.一种视频通信中的音频处理方法,其特征在于,包括:
步骤S1,数据获取单元获取接收端的一段视频通信影像数据;
步骤S2,数据处理单元提取步骤S1中视频通信影像数据中的视频数据和音频数据,数据处理单元对视频做帧处理,对音频以字节为单位进行时间戳标注;
步骤S3,中控单元比对一个字节对应的视频帧的时间戳和该字节对应的音频的时间戳是否一一对应,若是,则跳转到步骤S1以对下一段视频通信影像数据进行分析,若否,则继续步骤S4;
步骤S4,所述中控单元统计该段视频及对应的音频中的多个字节对应的音频数据的合格率并将统计的合格率与预设合格率进行比对以判定该段视频和音频对应是否存在问题,若是,则继续步骤S5,若否,则将时间戳不能一一对应的字节的视频和音频进行对应性调整;
步骤S5,所述中控单元分析接收端整体网络的下行是否存在网络延迟,若是,则整体调整音频的时间戳以使该段视频和音频一一对应,若否,则继续步骤S6;
步骤S6,所述中控单元分析发送端整体网络的上行是否存在网络延迟,若是,则使用步骤S5的方法整体调整音频的时间戳以使该段视频和音频一一对应,若否,则继续步骤S7;
步骤S7,所述中控单元对发送端和接收端的硬件设备进行缓存清理。
2.根据权利要求1所述的视频通信中的音频处理方法,其特征在于,所述中控单元在所述数据处理单元完成对视频数据和音频数据的处理时,比对一个字节对应的视频帧的时间戳和一个字节对应的音频的时间戳是否一一对应,若是,所述中控单元判定该段视频通信影像数据合格;
若否,所述中控单元判定该段视频通信影像数据不合格。
3. 根据权利要求2所述的视频通信中的音频处理方法,其特征在于, 在所述中控单元判定该段视频通信影像数据不合格时,中控单元统计该段视频及对应的音频中的多个字节对应的音频数据的合格率P,设定P=Y/Yz,其中,Y为时间戳合格的字节对应的音频数据的数量,Yz为多个字节对应的音频数据的总数量,所述中控单元中设有预设合格率P0,中控单元将P与P0进行比对,若P≥P0,所述中控单元判定该段视频和音频对应不存在问题并将时间戳不能一一对应的字节的视频和音频进行对应性调整;
若P<P0,所述中控单元判定该段视频和音频对应存在问题。
4.根据权利要求3所述的视频通信中的音频处理方法,其特征在于,当所述中控单元判定该段视频和音频对应存在问题时,中控单元分析接收端整体网络的下行是否存在网络延迟,若是,所述中控单元整体调整音频的时间戳以使该段视频和音频一一对应;
若否,所述中控单元分析发送端整体网络的上行是否存在网络延迟。
5.根据权利要求4所述的视频通信中的音频处理方法,其特征在于,当所述中控单元判定接收端整体网络的下行存在网络延迟时,中控单元整体调整音频的时间戳以使该段视频和音频一一对应,中控单元提取单个字节对应的视频的时间戳Ts和音频的时间戳Ty并计算Ts与Ty的差值△T,设定△T=|Ts‑Ty|,所述中控单元设有第一时间戳差值△T1、第二时间戳差值△T2、第一时间戳调节系数α1、第二时间戳调节系数α2以及第三时间戳调节系数α3,其中△T1<△T2,0.1<α1<α2<α3<0.3,若△T≤△T1,所述中控单元使用α1调整音频的时间戳;
若△T1<△T≤△T2,所述中控单元使用α2调整音频的时间戳;
若△T>△T2,所述中控单元使用α3调整音频的时间戳。
6.根据权利要求5所述的视频通信中的音频处理方法,其特征在于,当所述中控单元使用αn对音频的时间戳进行调节时,设定n=1,2,3,中控单元将调节后的音频的时间戳记为Ty1,若视频的时间戳Ts早于音频的时间戳Ty,则设定Ty1=Ty×(1‑αn);
若视频的时间戳Ts晚于音频的时间戳Ty,则设定Ty1=Ty×(1+αn)。
7.根据权利要求4所述的视频通信中的音频处理方法,其特征在于,当所述中控单元判定接收端整体网络的下行不存在网络延迟时,中控单元分析发送端整体网络的上行是否存在网络延迟,若是,所述中控单元使用步骤S5的方法整体调整音频的时间戳以使该段视频和音频一一对应;
若否,所述中控单元对发送端和接收端的硬件设备进行缓存清理。
8.根据权利要求3所述的视频通信中的音频处理方法,其特征在于,当所述中控单元判定该段视频及对应的音频中的多个字节对应的音频数据的合格率P≥P0时中控单元将时间戳不能一一对应的字节的视频和音频进行对应性调整,中控单元提取不能一一对应的字节的视频的时间戳Ts’和音频的时间戳Ty’,若视频的时间戳Ts’早于音频的时间戳Ty’, 所述中控单元在音频发生的最早的时间戳前删除对应字节的空格;
若视频的时间戳Ts’晚于音频的时间戳Ty’, 所述中控单元在音频发生的最早的时间戳前增加对应字节的空格。
9. 根据权利要求8所述的视频通信中的音频处理方法,其特征在于,当所述中控单元单独对时间戳不能一一对应的字节的视频和音频进行对应性调整时,其调整的对应字节的数量L的计算方法为,设定L= |Ts’‑Ty’|/ Tz,其中,L为调整的对应字节的数量,Tz为单个字节对应的时间戳。
10.一种根据权利要求1‑9任一项所述的视频通信中的音频处理方法的处理系统,包括:数据获取单元,用以获取视频通信影像数据;
数据处理单元,其与所述数据获取单元相连,用以对视频通信影像数据进行处理;
中控单元,其与所述数据处理单元相连,用以对视频和音频的对应性进行判断并在判断视频和音频不能一一对应性时对网络环境进行检测,若网络环境不存在网络延迟,所述中控单元对发送端和接收端的硬件设备进行缓存清理,同时,对不能一一对应的视频和音频进行对应性调整。