行人航迹推算方法具有实时性强、对抗复杂环境鲁棒性高的特点，广泛应用于民用和军用定位服务(Location Based Service，LBS)领域。民用市场得益于5G和XR技术的发展，数字孪生、元宇宙等新兴概念的出现，使得仅XR市场就有望达到千亿元规模，而实时定位是耦合数字与现实世界的关键。军事应用则更为明确，如在火场营救方面，由于现场环境恶劣，为了更好地保护消防战士，指挥中心需准确掌握其位置，便于二次营救;而在协同作战中，突击队员凭借行人航迹推算观察队员间的实时位置，便于团队协同，提升整体战力。
近年来，国内外在PDR方面展开了广泛而深入的研究。其中，惯导里程计(Inertial Odometry，IO)利用对惯性传感单元(Inertial Motion Unit，IMU)中加速度和角速度的积分处理获取运动轨迹，但其因开环无法克服自身传感器噪声和偏置带来的指数级误差积累难题。Chen等[1]提出了IONet算法，利用深度循环神经网络(Deep Recurrent Neural Networks，DeepRNN)打破了连续积分的误差传播周期，将IMU航迹追踪转变为数据顺序学习问题，仅需向已训练的神经网络输入IMU数据，即可得出运动轨迹。PDR通过步伐检测，利用步长航向角模型计算航迹，有效地将漂移误差从指数级积累转为线性积累，提高了追踪精度。Kang等[2]提出的SmartPDR扩展了PDR应用，利用智能手机自带的IMU传感单元实现室内行人轨迹追踪。但原有的IO和PDR仅基于IMU，缺少对外部环境绝对坐标信息的参照，只能采用昂贵的高精度传感器来减少误差积累，难以靠自身克服漂移问题，实现闭环校准。为此，一些团队提出了将GPS，Wi-Fi，UWB等定位系统融合。刘宇等[3-4]提出了基于遗传算法优化的BP神经网络的融合算法，借助Wi-Fi定位约束地磁匹配进行组合定位，将结果通过训练BP神经网络与PDR推算航位的融合处理，使其精度相较单一的航迹追踪方式提高了约47%，但此方法需提前设置基站。为了解决这个问题，研究者提出了融合机器视觉，如被广泛应用于XR行业的视觉惯性里程计(Visual Inertial Odometry，VIO)。Mur-Artal等[5-6]提出的ORB-SLAM3是利用特征点匹配的视觉里程计，通过后端束调整(Bundle Adjustment，BA)融合IO实现高鲁棒性的SLAM系统。然而在实际应用中，视觉里程计在大尺度旋转和高速运动中的可靠性大幅下降，此时需要IO作为主里程计，而IO的指数级误差积累问题依然存在。Li等[7-8]提出GNSS/INS/单目视觉紧耦合滤波模型，在GNSS信号受干扰时可抑制导航误差漂移，提高定位精度，但在复杂环境下长时间丢失GNSS信号和视觉特征时定位精度也会受影响。
本文提出了一种融合在线学习反向传播神经网络的卡尔曼滤波框架，将RGB-D深度相机的VO测量数据和IMU数据作为样本集训练BP神经网络，在VO失效时充当其替身实现多源数据融合，从而提高不同使用者和使用环境下航迹追踪的精度。
1 VPO算法总体方案
2 PDR算法及数据处理
3 VO算法及序列同步处理
4 BP神经网络设计
5 扩展卡尔曼滤波器设计
6 实验结果
7 结语
本文提出一种融合VO和BP神经网络的行人航迹推算方法。由于基于消费级IMU的PDR算法存在较大的误差积累问题，VPO方案利用EKF融入VO，优化了追踪轨迹。然而，针对视觉容易受到环境干扰的问题，VPO引入BP神经网络，通过学习不同使用者运动特征和视觉里程的关系，可在视觉丢失情况下作为替代VO的有效数据，导入EKF中优化追踪结果，从而提升系统的精度和鲁棒性。实验结果表明，VPO优于原有算法，其误差降低至1.026‰，且在视觉丢失情况下依然能对PDR的漂移起到抑制作用。该方法较原有的PRD和VO算法有更高的定位精度和鲁棒性，有望推广应用于商超、行人导航、游戏娱乐行人定位等场景。但目前VPO系统仍为二维系统，后续研究工作将考虑引入新的传感器，实现三维化改进。
参考文献
[1] CHEN C, LUC X, WahlstromJ, e tal. Deepmeuralnetwork based inertial odometryusing low-cost inertial measurement units[J].IEEE Transactions on Mobile Computing, 2021, 20(4): 1351-1364.
[2] KANG W, HAN Y. SmartPDR: Smartphone-based pedestrian dead reckoning for indoor localization[J]. IEEE Sensors Journal, 2015, 15(5): 2906-2916.
[3] 刘宇,惠鸿飞,路永乐,等.基于遗传算法优化神经网络的多源信息融合室内定位方法[J].中国惯性技术学报,2020,28(1):67-73.
[4] 刘宇,汤家万,李俊林,等.一种惯性/简化室内GIS组合的行人定位系统(英文)[J].中国惯性技术学报,2019,27(5):637-645.
[5] MUR-ARTAL R, TARDOS J D. ORB-SLAM2: An open-source SLAM system for monocular, stereo, and RGB-D cameras[J].IEEE Transactionson Robotics, 2017, 33(5): 1255-1262.
[6] MUR-ARTAL R, MONTIEL J M M, TARDOS J D. ORB-SLAM: A versatile and accurate monocular SLAM system[J].IEEETransactionson Robotics, 2015, 31(5): 1147-1163.
[7] LI T,ZHANG H,GAO Z, et al.Tightfusion of a monocular camera, MEMS-IMU, andsingle-frequency multi-GNSS RTK for precise navigation in GNSS-challenged environments[J]. Remote Sensing, 2019(11): 6106.
[8] LI T, ZHANG H, GAO Z, et al. High-accuracy positioning in urban environments using single-frequency multi-GNSS RTK/MEMS-IMU Integration[J]. Remote Sensing, 2018(10): 2052.
[9] RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//IEEE International Conference on Computer Vision, NewYork, 2011.
[10] QIN T, LI P, SHEN S. VINS-Mono: A robust and versatile monocular visual-inertial state estimator[J]. IEEETransactionson Robotics, 2018, 34(4): 1004-1020.
李晋1 陈威2 刘羽鹤2 高瑞雪3 冯立辉2
1.北京理工大学北京学院
2.北京理工大学光电学院信息光子技术工信部重点实验室
3.北京理工大学集成电路与电子学院 |
