基于增强现实技术的动态说明书系统

随着AR技术的飞速发展，利用AR技术开发的应用越来越多。我们将内容投放在AR设备中，当用户戴上设备时，设备上的摄像头会将待识别物体拍摄并识别，然后将识别出的物体相关信息显示在设备中，同时用户还可以在识别展示界面中进行手势操作，实现人机交互。我们使用Unity进行模型设计，使用Hololens2作为识别和展示平台。我们创新地在AR设备中使用目标检测技术对周围物体识别并向用户展示出物体相关信息，同时可交互界面也方便了用户的使用，拓展了AR技术的使用场景。

AR 技术当前被广泛使用于各类行业，如教育[1]、医疗、游戏等，它凭借着良好的适用性结合了许多传统的应用场景。近年来，利用AR 技术结合传统纸质介质承载的应用场景成为新的研究方向[2]。目前，网络上已经存在多种基于增强现实技术的动态展示系统，如汽车维修辅助系统[3]、复杂装备的装配系统[4]、视频网站浮迹系统[5]等。它们都利用AR 技术将应用场景中所需的各类信息均放在AR 设备中显示，以此方便用户戴上头戴式设备后虚实结合地执行操作、获取信息，但是它们大多存在着识别目标物体准确率不高、显示信息偏少等缺点，同时大量的图形计算也对承载它们的AR 设备造成了较大的压力。

本项目提出采用将较为成熟的目标检测技术与增强现实技术相结合的办法， 使用目标检测技术对AR设备摄像头采集的图像进行识别，并用前端技术将识别结果和被识别事物的说明信息展示在AR 设备显示屏上，以此提高目标物体识别准确率并增加所显示的信息。

2. 开发方法 2.1. Hololens2 设备陈述 微软公司于2019 年推出了第二代混合现实设备Hololens2，它有着更强大的计算能力和更多品类的传感器，新增了手动跟踪、眼动跟踪、语音交互、空间映射等多种技术，因此成为了研究增强技术的优良平台。Hololens2 还可与Unity 等开发引擎相配合，微软公司也提供了Hololens2 开发的相关开发包， 这些都大大减轻了开发人员的负担[6]。(图1) Figure 1. Hololens2 equipment diagram [7] 图1. Hololens2 设备图[7]