1.一种基于情景感知的低延迟高分辨率移动增强现实系统,其特征在于,包括有场景内容特征提取模块、网络状态信息监控模块,配置搜索引擎模块,下采样模块及超分辨率处理模块;所述场景内容特征提取模块用于采集用户拍摄视频内容特征信息;所述网络状态信息监控模块采集移动设备到服务器的可用上下行带宽及传输延迟信息;所述配置搜索引擎模块根据场景内容特征提取模块及网络状态信息监控模块输出的场景内容特征及网络状态特征,预测不同超分辨率配置下的延迟及用户观感分数,并根据提前定义的用户体验分数=用户观感分数/延迟,选取用户体验分数最大值配置,该配置包含移动端下采样倍数,超分辨率模型,及超分辨率还原频率;所述下采样模块用于对配置搜索引擎输出的下采样倍数对移动设备拍摄的高清图像进行下采样处理;所述超分辨率处理模块根据配置搜索引擎输出的配置对视频内容进行超分辨率处理;
所述配置搜索引擎模块,该模块核心为线下预训练的延迟预测模型和用户观感分数预测模型;模型训练过程包括:首先在线下对海量高清视频进行下采样处理,获取所有高清视频在不同清晰度下的视频,然后将所有视频上传到服务器中,对不同清晰度视频选择对应的超分辨率模型并按照不同的帧间隔进行高清还原处理,并对还原后的高分辨率视频进行目标检测、视频渲染,最后将渲染后的视频帧下载到服务器中;记录处理时间、和对应的用户观感分数,观感分数用视频质量多方法评价融合VMAF进行度量;最后将场景内容特征提取模块采集的场景内容特征以及所述的网络状态信息监控模块采集的网络状态信息协同记录的处理时间和对应的用户观感分数输入到深度模型中进行训练;由此分别构建延迟预测模型和用户观感分数预测模型;最后对不同配置下预测的延迟及视频质量多方法评价融合VMAF进行处理,获取用户综合体验分数=视频质量多方法评价融合VMAF/延迟,输出用户综合体验分数最大的配置,其中包含:
1)在移动端的视频下采样配置;
2)在服务器端的选择的超分辨率处理模型,该选择同下采样配置相关;
3)在服务器端进行超分辨率处理的帧间隔,被选中的帧进行高清分辨率处理,其余帧直接进行上采样还原。
2.根据权利要求1所述一种基于情景感知的低延迟高分辨率移动增强现实系统,其特征在于,所述场景内容特征提取模块采集的视频内容特征信息包括:1)抽取拍摄场景图像空间复杂度、2)抽取拍摄场景图像时间复杂度、3)抽取拍摄场景图像亮度、4)抽取拍摄场景图像关键点个数、5)抽取拍摄场景图像大小、6)抽取拍摄场景图像对比度和7)抽取拍摄场景图像饱和度。
3.根据权利要求1所述一种基于情景感知的低延迟高分辨率移动增强现实系统,其特征在于,所述网络状态信息监控模块,该模块在移动用户提出使用移动增强现实系统服务时,向服务器发出网络状态测试数据,并根据服务器反馈信息确定当前网络上行带宽,下行带宽及往返时延。
4.根据权利要求1所述一种基于情景感知的低延迟高分辨率移动增强现实系统,其特征在于,所述下采样模块根据输出的下采样配置,对用户拍摄的高分辨率视频进行下采样处理。
5.根据权利要求1所述一种基于情景感知的低延迟高分辨率移动增强现实系统,其特征在于,所述超分辨率处理模块根据输出的超分辨率处理模型及超分辨率处理的帧间隔对上传到服务器中的视频内容进行超分辨率处理。
6.根据权利要求1所述一种基于情景感知的低延迟高分辨率移动增强现实系统,其特征在于,所述的高清视频为4K或8K。