香港中文大学(中大)语言学及现代手语及聋人研究中心、Google、日本财团(Nippon Foundation)和关西学院大学于2021年「国际手语日」(9月23日)正式推出全球首个结合人工智能和手语语言学理论的多语言网络游戏「手语村」,其测试版本已在今年5月在香港和日本发布,并已累积逾8,500人使用。
开发「手语村」是团队在2020年开启的「Shuwa计划」中首个重点项目,为求突破目前手语识别技术模型的瓶颈。「手语村」的开展相信能成功为自动手语识别及翻译技术奠下基础,提升大众对手语及聋人社区的认知,推动聋健共融。
「手语村」是一款网络游戏,融合了有趣的场景和生动的设计,玩家需在一个以手语为主要语言的虚构小镇上,通过电脑和网络摄像镜头一边打手语一边完成各种日常生活任务,如「为旅行准备物件」、「寻找住宿的酒店」、或「在餐厅点菜」等。过程中,人工智能识别系统会对玩家所打手语的准确度作出回应,并通过在游戏中随处可见的手型模样可爱公仔,向玩家解释「手语」、「聋人」和「聋人文化」的概念。不论健听或聋人皆能以轻松的方式,随时随地学习手语和聋人文化,以及香港和日本两地手语。
手语识别技术和「Shuwa计划」
长期以来,手语自动识别技术领域都未有较大突破。究其主要原因在于过去的方法在分析视觉—姿势语言信息时未能结合手语语言学在此方面的优势。在手语语言学中,除了手部动作,其他肢体信息,如身体动作、面部表情、头部位置和动作、嘴形等在语法中均具有重要性。如在表达手语词汇、短语或句子中,缺少上述的任何参数信息,都有可能导致手语不符合文法规范或无法诠释。虽然世界各地手语的语言有不同,但当中的语言特徵如手型、方向、动作等却是相通的,而这些语言特徵的组合变化有限,可以透过电脑识别。由于手语是三维空间运动,包括上下左右移动以及前后深度,以往需要使用特殊三维摄像镜头和带传感器的手套等复杂设备,才能识别手语,令技术难以普及。
「Shuwa计划」的团队就以上痛点,以香港及日本手语作起点,成功构建可透过一般摄影镜头识别不同肢体信息等三维动作的机器学习模型,追踪及分析手部动作、肢体动作和面部表情的特徵,继而应用在「手语村」。计划的下一步是制作包含搜索功能,基于人工智能技术协助学习和纪录手语的手语词典平台。团队的最终目标是开发一个自动翻译模型,能够利用常见的电脑或智能手机的镜头识别手语中的自然对话,将其翻译为口语。
中大手语及聋人研究中心副主任施婉萍教授展望:「我们的长期目标是建立一个无障碍社会,包容聋人和能受益于手语交流的人。虽然还有很长的路要走,但『手语村』能为世界各地的人们打开一道让他们有更多机会在现实生活中学习和了解手语的大门。未来,将会有不同国家的手语加入『手语村』,用家不仅可以学到更多的手语,亦能了解它们之间的不同。利用先进的技术,建构一个平等、包容及和谐的社会。」
日本财团常务理事桦沢一朗表示:「我想对中大、Google和关西学院大学表示诚挚的谢意,没有他们的参与,『手语村』就不可能实现。我希望聋人作为社会的一员,可以用手语积极参与社会、经济、文化和其他活动,达至一个真正共融的社会。」
关西学院大学手语研究中心主任松冈克尚教授表示:「能够参与Shuwa计划的技术开发是一件非常高兴的事。计划现还处于初步阶段,潜力还是未知之数,但在未来,我们可能透过人工智能开发日本和香港两地手语间的自动翻译模型,也可能开发予医疗机构和法律界的专家版本学习工具,这些都是值得我们探索的。」
负责技术开发的Google 代表Joe FRY表示:「我们很高兴能与日本财团、香港中文大学、关西学院大学合作,为这别具意义的计划出一分力。随着计划的发展,我们期待有更多新的合作伙伴加入,不断拓展计划及改进技术。」
如欲了解更多有关计划详情,请浏览以下网页:
「Shuwa计划」:http://projectshuwa.org
「手语村」:https://sign.town
「手语村」平台手语识别技术源代码:https://github.com/google/shuwa
关于国际手语日
每年的9月23日为国际手语日,它于2017年12月19日在联合国大会中通过,作为呼吁承认和重视手语这一聋人语言的日子。9月23日是世界聋人联合会(World Federation of the Deaf)在1951年成立的日子。世界聋人联合会是世界上历史最悠久的国际级残疾人组织,致力于通过手语促进聋人参与社会。目前,该会在全球有120多个国家设有其下属组织。
关于香港中文大学手语及聋人研究中心
手语及聋人研究中心于2003年11月在中大成立,是语言学及现代语言学系下属的研究中心之一。自成立以来,中心一直在开展广泛的研究和培训项目,以促进手语语言学在香港和亚洲其他地区成为一门学术学科。中心还旨在促进手语在聋人教育中的应用,通过学术培训增强聋人的能力,通过在社区层面普及手语学习来改善健听与聋人之间的沟通,并就有利于聋人社区的政策改革向政府当局提供建议。
关于日本财团
自1962年成立以来,日本财团一直是日本最大的社会贡献财团,支持跨领域和国界的公共利益项目。为了实现一个「人们互相支持的社会」,日本财团活跃在儿童、残疾、灾害、海洋和国际合作等领域。 https://www.nippon-foundation.or.jp/
关于关西学院大学
关西学院大学成立于1889年,是一所综合性大学,提供基于基督教原则的教育。手语研究中心(SLRC)成立于2015年4月,是日本大学中第一个手语机构。在日本财团的支持下,该中心从2016年开始活跃。 SLRC通过选择日本手语(JSL)单词和收集JSL数据用于机器学习,为这个项目作出贡献。