项目名称:手语灵巧手

组 别: 中学组 奖 项: 北京市青少年机器人竞赛一等奖
代表团: 北京 参赛队:
队 员: 姜睿曦 辅导教师: 高山 高凯

项目摘要:

在科技高速发展,社会文明不断进步的今天,社会的和谐发展一定少不了任何一个群体的参与和分享。然而,聋哑人作为一个特殊的群体,受先天或各种因素的影响,与外界的交流成为了他们无法回避的困难,这其中最为关键的就是聋哑人手语与自然语言的交互。因此,我想通过努力,开发一种方便实用且性价比高的手语交互助手系统,帮助聋哑人学习使用手语,并与正常人的自然语言形成更好的交互。 通过开发调研和查阅资料发现聋哑人群之间的手语交互是非常方便可行的方式,但手语与自然语言的交互需要专业的人士参与,导致很多场合我们正常人无法理解聋哑人,无法给予他们及时合理的帮助,甚至会给双方造成很大的困惑。因此,我想把这个方向作为我的“手语灵巧手”项目的研究重点。我针对手语日常基本词汇的表达进行分析,并结合聋哑人群的表述习惯深入了解,再结合灵巧手设计的结构特点,控制系统原理,提出一种新的构思,采用多自由度全3D打印的简易灵巧手设计,并在控制系统后台构建基于常用词汇的数据库,采用残差的算法结构,与前台的词汇点选以及语音输入相匹配,同时借助科大讯飞AIUI智能语音平台,完成对语音语义的快速识别计算,以及对灵巧手控制系统的反馈。从而实现了,以机械手臂为平台的,聋哑手语与自然语言的交互。 在设计开发的过程中,针对交互助手系统特征定义进行构思,提出两种设计方案,并分别对其进行了初步的设计与实验、分析。在辅导老师的帮助下,对设计方案进行了交互体验,语音表达,语义判定等多个方面的分析,最终确定所选方案,并通过实验验证了原型方案的可行性,从而保证了手语灵巧手系统的功能应用满足设计要求。

演示视频:

演示图片: