王舒禹/赵玉良团队AIS：水凝胶传感+AI对软体机器人多模态识别

一、【导读】

如何让软体机器人像人体皮肤一样多模态感知是当下研究的热点。不同模态如触碰、应变和温度触碰、应变和温度在软体机器手指传感时彼此耦合。但如果将柔性传感技术与机器学习结合起来，赋予软体机器人多模态自主感知能力,潜在可以解决软体机器的模态解耦问题。

二、【成果掠影】

近日，以东北大学秦皇岛分校控制工程学院研究生孙照佳第一作者的研究论文”Discriminating Soft Actuators’ Thermal Stimuli and Mechanical Deformation by Hydrogel Sensors and Machine Learning”在WILEY旗下的人工智能旗舰期刊Advanced Intelligent Systems（AIS）上发表，指导教师与通讯作者为王舒禹老师。

三、【数据概览】

图 1 软体机器手指上集成两个水凝胶可拉伸传感器，感知应变、温度、触碰信息。这些信息被AI模型处理进而判断是否为自由弯曲、触碰、触碰热物体、扭曲、拉伸，这五个状态

该研究用基于PAAm的可拉伸水凝胶材料，具有对应变的响应和低滞后性，并且它对温度极为灵敏（TCR = -3.8%/^oC）。用其制成传感器能够实时将来自自身形变（弯曲、扭曲、拉伸）和外部环境（温度，物体接触）的刺激转换成双通道电信号，使软体机器人拥有自主感受的能力。

图 2自由弯曲、触碰、触碰热物体、扭曲、拉伸，这五个状态所分别对应的传感器的采集信息。

机器学习可以从大量复杂的传感器数据中自动学习，以进行智能决策。该课题组进行大量实验，通过采集数据集搭建机器学习模型进行训练后，达到对软机器人弯曲、接触物体，接触热物体、扭曲以及拉伸五类动作准确识别。综上，将机器学习算法与柔性传感器相结合可以实现软体机器人对于自身以及外部环境的智能感知，为软体机器人实现自主感知提供了新思路。

图 3 (a)机器学习模型框架。(b)将分类结果用tSNE映射到低维空间 (c) 混淆矩阵表示对不同状态的分类

该研究得到了国家自然科学基金、河北省省自然基金委的资助，东北大学秦皇岛分校与河北省微纳精密光学传感与检测技术重点实验室为通讯单位。论文在发表过程中得到了美国Virginia Tech(现在在Michigan Ann Arbor)的Lei Zuo 教授的大力支持。

研究成果链接：https://onlinelibrary.wiley.com/doi/10.1002/aisy.202200089