研究人员表示，低分辨率3D跟踪限制了AR眼镜在手术中的使用

 
当公司发布新的增强现实眼镜时，大多数人关注的关键细节是用户视野内的AR显示器的尺寸和分辨率。头戴式耳机的增强“窗口”越大越大越好。但是，瑞士医学研究人员现在在允许在手术等关键程序中使用AR时，将3D跟踪性能作为未得到充分重视的规范而引起关注。
据苏黎世大学，苏黎世联邦理工学院和巴尔格里斯特大学医院的一组研究人员称，可以使用诸如Microsoft的HoloLens之类的AR头戴设备来改善脊柱融合手术，使外科医生可以将数字生成的3D解剖图放置在患者的手术部位上，而不是使用侵入性辐射来识别位置。但是，关键问题在于，第一个HoloLens并不是为高保真3D跟踪而制造的，即使佩戴者试图将头部的移动减至最小，它也会受到全息图漂移和应用程序不稳定的影响。
将现实世界与数字世界无缝结合一直是增强现实硬件开发人员的最终目标，但事实证明，实现这一壮举非常棘手，大多数系统只是将数字对象叠加在真实对象之上，而不是“封闭”数字对象。前景中的真实物品。当在虚拟沙发上添加虚拟枕头时，这可能是一项艰巨的任务，这是另一个挑战。在这种情况下，正确设置毫米级精确的定位以便医生可以插入脊柱融合螺钉。
瑞士研究人员通过从现实的但“幻像”的脊柱模型中收集骨骼表面区域的3D映射点云来测试他们的系统，而不是使用人类受试者。值得注意的是，幻像被牢固地固定在桌子上，以防止它们在测试过程中移动。
要将HoloLens用于模拟过程，研究人员需要激活“研究模式”以访问头戴式耳机的两个前置环境跟踪摄像头，这些摄像头只能以640 x 480的分辨率运行，然后使用定制的指示设备在手术位置上进行标记和数字化“注册”椎骨。然后，外科医生使用标记的位置和虚拟图像适当弯曲并插入棒以进行脊柱融合。在幻像刺的试验中，研究人员发现AR系统的计时和准确性都可以与最新的非AR替代品相媲美。
也就是说，研究人员希望能够改进软件和硬件，以消除全息图漂移并在高精度6DoF跟踪过程中提供更稳定的应用环境-这些功能可能会为将来企业级AR解决方案的开发人员提供一些有关如何区分的指导他们的眼镜来自今年要面市的价格便宜得多的消费机型。将来，瑞士研究人员计划使用真正的深度感应相机(例如微软的Azure Kinect)来提高手术过程的准确性和自动化程度。