有了这个手套，手语就能转换成可播放的语音

原创 Charles 果壳

对于无法出声的人，用手势向别人表达自己的意思是非常困难的。近日，《自然》杂志的子刊《自然·电子学》报道了一套可穿戴的“手语翻译器”，能够将手势实时翻译为语音。这个装置大约只有半个鸡蛋那么重，成本只要 50 美元。

视频 | Jun Chen Lab/UCLA

这套系统的重点在于线状的传感器，它由五根可拉伸的线组成，能够很好地贴合五指，测量出各种手势。

可穿戴的手语翻译器 | 参考文献

根据每根线的拉伸程度，传感器会输入不同的电信号，当一根 3 厘米的线被完全拉伸到 6 厘米时，能够产生大约 2V 的电压。

传感器的拉伸程度不同时，产生的电压也不同 | 参考文献

随后，这些信号由手腕处的印制电路板进行调制、处理，并通过蓝牙传输到手机；手机客户端则将信号转换为语音，播放出来。这些传感器强韧且耐久，不管是每秒拉伸 4 次，还是拉伸 6000 次后，抑或是被浸泡在汗液中，都能产生稳定的信号。

研究者目前测试了 11 种手势。这个系统通过对每种手势 40 次示范的学习，建立起一套算法，将每种手势的五指电信号与手势的意思对应起来。

可穿戴的手语翻译器 | 参考文献

当手机客户端内嵌这个算法之后，就能够将手势转换为字词，并用语音播放。测试结果表明，对这 11 种手势，系统的准确率高达 98.63%。

目前，这个翻译器只能应用于这 11 种手势；加之各国各地的手语也不同，它离广泛应用还有一定的距离。但这种材料的稳定和耐用，为这些应用带来了可能性。

最近科学家在捣鼓啥？又有什么值得关注的科学研究？AI 开设了一个新栏目，每期推送一篇短小的论文解读。来吧，我们一起在科学的路上走远一步。

参考文献

Zhilao Zhou, Kyle Chen, et al. Sign-to-speech translation using machine-learning-assisted stretchable sensor arrays. Nature Electronics (2020). https://doi.org/10.1038/s41928-020-0428-6

作者：Charles

原标题：《有了这个手套，手语就能转换成可播放的语音》

阅读原文