你所在的位置: 首页 > 正文

践行科技向善,腾讯优图发布AI手语翻译机

2019-07-12 点击:857
bt365亚洲

Original title: Practice technology to good, Tencent excellent map release AI sign language translation machine

The heart of the machine is released

On May 16th, on the occasion of the Global Accessibility Promotion Day, Tencent U-Lab announced that it has overcome the challenge of AI sign language recognition technology and jointly launched the “U-Map AI Sign Language Translator” in Shenzhen Information Accessibility Research Institute. Establish an accessible communication platform for the hearing impaired.

According to Yang Zhaoyang, a researcher of the AI Sign Language Recognition Project Team of Utopia Lab, the Uto AI sign language interpreter uses a common camera as a sign language acquisition device, and relies on a high-performance computer for background computing. The user only needs to face the camera to complete the sign language expression. The screen interface can quickly convert words into words, help the hearing impaired and hearing people to communicate normally. In the future, it is expected to deploy applications in public places such as airports, high-speed rails, and civil affairs windows to help the construction of information-accessible cities.

This is another embodiment of Tencent’s philosophy of “Science and Technology to Goodness” after the introduction of artificial intelligence technology to help the police find more children who have been abducted for more than 10 years, and Tencent’s computer vision field. A technological breakthrough.

7e03f7d1c8a14ab9bd01e2d0af756076.jpeg

优图 AI Sign Language Interpreter Interface

Overcome the problem of sign language recognition, self-developed algorithms to solve communication problems

According to the 2017 forecast data of the Beijing Hearing Association, there are 72 million hearing-impaired people in China, and 27 million of them have to communicate through sign language. Although China's investment in information accessibility is gradually increasing, some of the needs of the hearing-impaired people are still not met, especially in public environmental facilities and service experience.

xx为了解决这个问题,Uto团队将计算机视觉技术应用于手语识别场景,这次发布的“Utto AI Sign Language Translator”,使用普通相机和高性能计算机,可以识别出手语识别听力障碍。并快速识别翻译成文本。

据赵阳介绍,手语翻译的核心技术是手语识别(SLR)。通过计算机算法,它可以自动区分手语表达中的各种手势,动作,手势和动作,最后将手语翻译成单词。此前,一些团队已探索使用人工智能来缓解听障人士的沟通障碍,但往往需要使用一些额外的设备或传感器,这不仅增加了使用门槛,而且还不能保证识别率。复杂的手语表达。不仅如此,手语的独特区域性,复杂性和多样性使得手语识别技术仍然面临着巨大的挑战,难以应用。

优秀的地图AI手语翻译产品通过自主开发的算法实现了对复杂手语表达的识别。该算法涉及诸如手势识别,动作识别和序列转换的高级技术。它考虑了手语的区域和多样性表达,并包含不同的表达习惯和速度。

模型特征

数据集和高级手语识别算法与听障人士的手语表达高度一致,是对翻译机的强大支持。总之,手语翻译算法的实现特点主要包括以下几点:

更大更完整的手语识别数据集

更强大的功能提取器

挖掘句子表达中的词级信息

单句分词并充分考虑句子中的语境信息

627752a7d530422d9d7a4a04d53a8b4f.jpeg

手语识别算法的一般框架

首先,U-Lab的手语识别数据集涵盖了近千种日常用语和900种常用词汇,是中国最大的手语识别数据集。同时,U-Map进一步分析和推广数据,使U-Grain AI手语翻译能够实现整个句子的识别和翻译。当用户表达它时,可以一致地表达整个句子而不设置特定结束或开始动作而不必故意暂停或减慢句子。

其次,对于特征提取器,Utopia 信息组合起来产生最终的特征表达。

在拥有强大的特征提取器之后,我们还应该关注单词级别的信息。因为听力受损者在进行手语表达时是基于句子的,所以该词是手语的最小表达单位。为此,UTU Labs在视频帧和最终输出之间添加了一个词级信息提取单元。字级信息提取单元使用LSTM来充分考虑由特征提取器提取的信息,并组合视频中的相邻信息。计算单词级别的特征表达式。

最后,在提取单词级信息的基础上,该算法还需要综合考虑整个句子的上下文信息,然后输出最终的识别结果。这对于识别手语中表达的多样性很重要,因为相同的动作只能在上下文的上下文中最终确定。

实践技术以实现善意

“Youtu团队将继续扩大语料库并优化算法,进一步探索机场和民政等公共服务的部署,并提供无障碍通信解决方案,以促进听障人士的日常交流。”腾讯杰出科学家Tenya教授说。

为了进一步渗透听力障碍群体,了解手语,优化数据和识别算法,腾讯U-Lab与深圳信息无障碍研究协会建立了联合AI手语识别项目团队。双方将基于手语数据收集和产品算法优化。如长期深入合作,通过与听力障碍者或手语用户进一步联系,扩大数据容量,改进数据规范,促进后续产品和服务的部署。

深圳市信息无障碍研究会秘书长杨伟表示,腾讯Youtu提供的技术可以在一定程度上缓解听障人士的沟通障碍,为听障人士提供更好的服务。

e841a730d4ff47888f835ebc72a13e24.jpeg

Youtu和深圳信息无障碍研究协会AI听力受损无障碍联合项目团队

事实上,这并不是腾讯在人工智能+无障碍建设方面的首次尝试。腾讯一直坚持推动“一个不能少”和“无信息”的传播。自2009年以来,腾讯一直在探索信息可访问性。截至目前,其大部分产品,如QQ,微信,腾讯,应用,企鹅FM,都已针对用户进行了优化。腾讯的各种产品都是基于社交,娱乐,新闻等方面共同努力,为残疾人建立友好的信息社会。

看看更多

日期归档
bt365亚洲 版权所有© www.345workout.com 技术支持:bt365亚洲 | 网站地图