新加坡南洋技术大学（NTU新加坡）的科学家开发了一种人工智能（AI）系统，该系统通过将类似皮肤的电子设备与计算机视觉相结合来识别手势。
该团队由NTU新加坡和悉尼大学（UTS）的科学家组成自然电子在六月。
在过去的十年中，人工智能系统对人的手势的认可一直是一项有价值的发展，并且在高精度外科机器人，健康监测设备和游戏系统中已被采用，报告NTU新加坡。
通过整合可穿戴传感器的输入，一种称为“数据融合”的方法可以改善最初仅视觉的AI识别系统。可穿戴的传感器重新创建了皮肤的传感能力，其中一种被称为“体感”。
有关的Tactigon一个可穿戴的手势和运动控制器，带有人工智能
但是，手势识别精度仍然受到可穿戴传感器到达的数据质量低的质量，通常是由于它们的笨重和与用户的接触不良以及视觉上阻塞的物体和不良照明的影响。进一步的挑战是由视觉和感官数据的整合表示，它们代表了不匹配的数据集，这些数据集必须分别处理，然后在末尾合并，这效率低下，导致响应时间较慢。
To tackle these challenges, the NTU team created a ‘bioinspired’ data fusion system that uses skin-like stretchable strain sensors made from single-walled carbon nanotubes, and an AI approach that resembles the way that the skin senses and vision are handled together in the brain.
The NTU scientists developed their bio-inspired AI system by combining three neural network approaches in one system: they used a ‘convolutional neural network’, which is a machine learning method for early visual processing, a multilayer neural network for early somatosensory information processing, and a ‘sparse neural network’ to ‘fuse’ the visual and somatosensory information together.
结果是一个可以比现有方法更准确，更有效地识别人类手势的系统。
该研究的主要作者，NTU材料科学与工程学院的Chen Xiaodong教授说：“我们的数据融合体系结构具有其独特的生物启发功能，其中包括类似于体感 - 视觉融合等级制度的人造系统脑。我们认为，这样的功能使我们的架构对现有方法的独特性。”
“与与用户没有足够亲密接触以获得准确数据收集的刚性可穿戴传感器相比，我们的创新使用可伸缩的应变传感器，可舒适地连接到人类皮肤上。这允许高质量的信号获取，这对于高精度识别任务至关重要。
为了从手势捕获可靠的感觉数据，研究团队制造了一个透明的可拉伸应变传感器，该传感器粘附在皮肤上，但在相机内看不到。
作为概念的证明，该团队使用手势通过手势控制的机器人控制测试了他们的生物启发的AI系统，并通过迷宫进行了引导。
有关的使用Tap Strap 2，您可以通过手势控制任何支持蓝牙的设备
结果表明，由生物启发的AI系统提供动力的手势识别能够引导机器人通过零错误通过迷宫，而基于视觉的识别系统造成的六个识别错误。
NTU研究团队现在正在寻求基于开发的AI系统建立一个VR和AR系统，以在需要高精度识别和控制的领域中使用，例如娱乐技术和家庭的康复。
