改进的HoloLens帮助教有视力障碍的孩子在社交世界中导航

 
对于盲人或盲人来说，成长起来对孩子来说可能很困难，不仅是因为他们无法与有远见的同龄人阅读相同的书或玩相同的游戏;视觉也是社交互动和对话的重要组成部分。这个微软的研究项目使用增强现实技术来帮助有视力障碍的孩子“看到”与他们交谈的人。
视力障碍者遇到的挑战当然是他们看不见周围的其他人。这样可以防止他们发现和使用人们在对话中看到的许多非语言暗示，尤其是如果这些行为是在很小的时候就没有学到的。
东京计划是微软的一项新举措，研究人员正在研究AI和AR等技术如何对所有人(包括残疾人)有用。并非总是如此，尽管必须说，语音驱动的虚拟助手是许多无法轻松使用触摸屏或鼠标和键盘的人的福音。
该团队几年前开始是非正式的挑战，旨在提高无障碍获取能力，首先是观察参加特奥会的人们，然后是盲人和弱视社区的研讨会。他们的主要认识是几乎在所有情况下视觉环境所给出的微妙效果。
Loro安装在轮椅上的轮椅助手使高科技为残疾人服务
“作为人类，我们对如何与人互动有着非常非常细致而精妙的社会理解，即了解房间里的人，他们在做什么，与我的关系是什么，我如何做。知道它们是否对我有用。”微软研究员Ed Cutrell说。 “对于盲人来说，我们认为理所当然的许多线索就消失了。”
对于儿童来说，这尤其明显，因为他们可能从未学习过相关的提示和行为，他们自己可能表现出反社会的倾向，例如在交谈时将头靠在桌子上，或者在与他们交谈时不面对人。
需要明确的是，这些行为本身并不是“有问题的”，因为它们只是最适合自己的人，但是它们可以抑制与有视力的人的日常关系，因此考虑这些关系如何是一个值得的目标使每个人都更轻松，更自然。
东京项目一直在追求的实验解决方案涉及改进的HoloLens-当然要减去镜头。该设备还是一种高度复杂的成像设备，如果提供了正确的代码，则可以识别物体和人。
用户将设备像高科技头带那样佩戴，并且自定义软件堆栈为他们提供了一系列上下文提示：
当检测到有人时，例如说在右边四英尺远处，耳机将发出喀哒声，听起来好像是从那个位置传来的。
如果知道该人的脸部，则会发出第二声“颠簸”声音，并宣布该人的名字(再次，只能让用户听到)。
如果不知道或看不见脸部，则会播放“拉伸”声音，该声音会随着用户将其头部朝向另一个人的方向而进行调节，并在将脸部对准相机的中心时单击以结束声音(这也意味着用户直接面对他们)。
对于附近的人，LED灯带会在被检测到的人的方向上显示白色，如果已识别出它们，则显示绿色。
其他工具正在评估中，但这只是一个开始，根据对一个12岁的游戏玩家Theo的案例研究，它们可能会非常有帮助。
这种触觉显示使视障用户可以感觉到屏幕上的3D形状
微软在描述该系统以及团队与Theo及其他人合作方面的帖子值得详细阅读，但本质上Theo开始学习该系统的来龙去脉，然后开始使用主要由有识之士使用的线索来管理社交环境。例如，他了解到，他可以通过将头转向某人来故意将注意力转移到某人身上，并开发出了自己的扫描房间的方法，以保持对附近人的控制权-当人的头在桌子上时，这两种方法都不可行。
这种授权是一个好的开始，但这绝对是一个正在进行的工作。笨重，昂贵的硬件并不是您一整天都想要穿的东西，自然，不同的用户会有不同的需求。表情和手势呢?那招牌和菜单呢?最终，东京项目的未来将像以前一样，由构建AI系统和其他现代便利设施时很少咨询的社区的需求所决定。