1.基于深度学习与眼神跟踪的无人超市售货系统,其特征在于:包括:设置在无人超市入口的双目摄像头与虹膜摄像头,无人超市内部设有货架,货架的顶点设有摄像头A;
货架上从上至下设有至少两排置物板,置物板的底部设有重力传感器;
货架的每行置物架上分别均设有摄像头B和摄像头C;
货架的一端设有人机交互模块;
双目摄像头、虹膜摄像头、摄像头A、摄像头B、摄像头C及重力传感器均连接后台上位机。
2.根据权利要求1所述的基于深度学习与眼神跟踪的无人超市售货系统,其特征在于:所述人机交互模块包括电子广告屏、语音模块及补货提醒模块。
3.根据权利要求2所述的基于深度学习与眼神跟踪的无人超市售货系统的售货方法,其特征在于:具体包括如下步骤:步骤1,用户进入无人超市前,在APP上注册个人账号,通过虹膜摄像头进行虹膜识别后进入无人超市;
步骤2,根据步骤1所得的识别结果判断该用户是否有未支付订单,决定该用户是否可以开始挑选商品;若有未支付订单,则需支付后方可继续购物;若无,则可直接进入无人超市并开始挑选商品;
步骤3,当用户进入挑选商品环节时,由于用户站在货架前,利用设置在货架上的摄像头C对用户进行眼神跟踪,并将跟踪结果发送给后台上位机,后台上位机对用户的在一个商品前的眼神停滞时长进行分析;
步骤4,用户取走放置在置物板上的商品,设置在该商品置物架底部的重量传感器将感知的重量变化信号发送给人机交互模块,使人机交互模块向后台上位机发送补货提醒;
步骤5,摄像头A采集顾客所挑选的待支付商品图像并跟踪待支付商品去向;摄像头B,检测并跟踪未付款用户去向,摄像头A和摄像头B将采集的信息发送给后台上位机,在后台上位机中,利用关联算法对摄像头A和摄像头C采集的信息进行处理,得到步骤4所选商品所需支付的费用,并将该费用发送至APP中;
进行处理,得到用户所需支付的费用并发送至APP。
步骤6,用户离开无人超市,APP提醒用户支付费用,待用户支付完成或系统自动扣费,购物结束。
4.根据权利要求2所述的基于深度学习与眼神跟踪的无人超市售货系统的售货方法,其特征在于:所述步骤3的具体过程为:步骤3.1,用户走向目标商品,设置在货架上的摄像头C跟踪顾客眼神,摄像头C将采集的信息发送给后台上位机,通过后台上位机对摄像头C检测到信息进行分析,计算用户在目标商品前停留的总注意力时长;
步骤3.2,后台上位机对步骤3.1计算的注意力时长及步骤3.1中所述目标商品的历史购买记录进行分析归纳,选出历史购买记录最多及用户注意力停留最长的商品;
步骤3.3,将步骤3.2所选商品信息发送到人机交互模块中,在人机交互模块的电子广告屏上展示该商品的信息。
5.根据权利要求4所述的基于深度学习与眼神跟踪的无人超市售货系统的售货方法,其特征在于:所述摄像头A和摄像头B中均采用SVM+HOG跟踪算法。
6.根据权利要求4所述的基于深度学习与眼神跟踪的无人超市售货系统的售货方法,其特征在于:所述步骤5中采用关联算法Apriori算法,将摄像头A采集到的待支付商品图像和摄像头B采集的未付款用户图像进行关联匹配,后台上位机将待支付商品的付款金额发送给摄像头B采集到的未付款用户的APP中。