雷网空间
雷网空间
雷网空间>人类科学>StorySign应用程序将儿童书籍中的文本转换为手语

StorySign应用程序将儿童书籍中的文本转换为手语

发布时间:2018-12-06 00:02:01

StorySign应用程序将儿童书籍中的文本转换为手语.jpg

华为AI的一个研究人员和工程师团队提出了一种独特的方式来帮助聋儿学习阅读手语 - 通过使用人工智能和增强现实来解读印刷书籍。他们还有一种方法可以帮助聋儿在阅读中获得乐趣。

该应用程序的想法是对许多父母在试图向他们的聋哑孩子读书时感到沮丧的回应 - 在大多数此类情况下,听证会的父母试图将他们的聋儿包括在一项自动通过的活动中对于那些没有听力障碍的人。为了解决这个问题,华为的研究人员提出了利用人工智能帮助孩子读书的想法。 AI / AR系统嵌入在名为StorySign的应用程序中,可以在手机或平板电脑上运行 - 父母或孩子将手机放在页面上,并在文本旁边叠加化身并通过签名解释单词。

随着故事的进展,应用程序突出显示正在签名的单词,帮助孩子理解单词与用于表示它们的符号相关联。研究人员报告称,他们还开展了大量工作来开发儿童可能涉及的化身。他们与Aardman Animations合作创建了一个名为Star的化身,它不仅仅展示手势 - 她还使用身体和面部表情来传达情感,帮助孩子更好地理解书中材料的背景性质。有一点需要注意的是,该应用程序仅适用于某些儿童书籍,全部由Penguin Random House出版。

该应用程序是在欧洲聋人联盟和英国聋人协会的支持下开发的。它是免费的,适用于10个欧洲国家的10种语言的Android和Apple产品。开发人员说,如果该应用程序受到欢迎,它将在更多地区和更多语言中提供。

上一篇:无人机通过有限的通信协作探索场景 下一篇:反映反铁磁安排 猜您喜欢的人类科学
©雷网空间 粤ICP备15074401号-1