2018-11-28 20:56:01
帮助盲人导航

帮助盲人导航.jpg

想象一下你自己第一次去了一个不熟悉的超市。如果您是一个可以看到的人,您可以简单地环顾四周指导自己并识别物体和障碍物。然而,盲人必须使用其他感官来寻找新的空间。

很快,由于加州理工学院的研究人员将增强现实硬件和计算机视觉算法结合起来开发能够使对象“交谈”的软件,盲人可能会得到一些导航帮助。该技术作为便携式耳机佩戴,将光学世界转化为普通的英语音频。有一天,该设备可以在银行,杂货店,博物馆和其他地方使用,以帮助盲人通过不熟悉的空间。

这项工作是在Markus Meister(博士,1987年),Anne P.和Benjamin F. Biaggini生物科学教授和神经生物学执行官的实验室完成的,并在11月27日出版的一篇论文中有所描述。期刊eLife。 Meister是加州理工学院天桥和Chrissy Chen神经科学研究所的附属教员。

“想象一下,你处在一个世界上,你周围的所有物体都有声音,可以和你说话,”梅斯特说。 “无论你指向哪个目标,你所关注的不同物体都会被激活并向你说出你的名字。你能想象在这样一个世界中出行,执行我们通常使用视觉系统的许多任务吗?那就是我们在这里做过 - 给对象发出声音。“

在研究生杨柳的带领下,科学家团队开发了一个他们称为CARA的系统,即认知增强现实助手。 CARA是为微软开发的名为HoloLens的可穿戴式耳机计算机开发的,可以扫描用户的环境并识别个人物品,如笔记本电脑或桌子。使用CARA,环境中的每个对象都会发出声音,并根据用户的命令“说出”其名称。该技术利用所谓的空间化声音,这使得物体根据它们在房间内的位置而发出不同的声音。例如,如果对象位于用户的左侧,则其声音听起来就像是来自左侧。此外,物体越近,其“声音”的音高越高。

为了避免一次性说话的声音,刘和他的团队用几种不同的模式对CARA进行了编程。在第一个称为聚光灯模式的情况下,对象仅在用户直接面对它时才显示其名称。当用户转过头去面对各种物体时,每个物体都会说出自己的名字,物体声音的音高提供了一个关于它与用户相对距离的听觉线索。通过这种方式,视力受损的用户可以“环顾四周”来探索他们的环境。在称为扫描模式的第二模式中,环境从左向右扫描,对象相应地说出其名称。第三种模式是目标模式,其中用户可以选择其中一个对象专门进行通话,并将其用作导航指南。

为了测试CARA的实际应用,研究人员通过加州理工学院的Beckman行为生物学大楼为盲人志愿者设计了一条测试路线。为了完成任务,科学家们首先开发了一条通过建筑物的路线,并在佩戴HoloLens的同时跟踪它,HoloLens扫描环境并将其保存到记忆中。然后,盲人志愿者被要求使用CARA作为指导来导航。当每个志愿者开始时,一个似乎从路线前方位置发出的声音叫出“跟我来”,同时还告诉用户有关楼梯,扶手,转弯角等等。在CARA的带领下,所有七名志愿者在第一次尝试时成功完成了任务。

CARA仍处于早期阶段,但将受益于计算机视觉算法的快速发展。研究人员已经在实施新的方案来实时识别物体和行人。最终,他们希望像银行,酒店和购物中心这样的地方能够为盲人客户提供CARA设备。

除了与CARA合作之外,该团队还开发了一种新的“标准化测试”,用于评估盲人各种辅助设备的性能。该方法提供了虚拟现实环境,世界上任何地方的研究人员都可以使用它来对设备进行基准测试,而无需重建真实的物理空间。

猜您喜欢的其它内容