TBSI付红岩团队: 基于仿生传感阵列的机器学习辅助识别

2022-04-06

环境感知在未来人机交互和虚拟现实的应用中有广泛前景。其中,具有多模态、高分辨率传感,和有助于大面积扩展的智能柔性界面仍然是一个挑战。以简约器件设计集成不同感知机制并利用数据驱动在大量数据中提取高阶数据特征用以完成闭环人机交互任务,是解决这一挑战的关键。近年来,研究人员从人类皮肤中汲取灵感,它能以多层结构集成不同的感受器,用来感知多种外界刺激如压力、材料纹理等。其受体以级联方式将传感电信号传入大脑。然而,相关仿生多层传感器阵列仍然面临结构复杂,不同传感器之间的串扰等问题。


图片
图1. 仿生软传感器阵列

近日,清华-伯克利深圳学院付红岩副教授团队在ACS Nano上发表了基于仿生设计的传感阵列的机器学习辅助识别的交叉学科研究(Machine-Learning-Assisted Recognition on Bioinspired Soft Sensor Arrays)。其设计了一种仿生柔性传感阵列(BOSSA),传感材料为具有良好拉伸性能的多空硅胶。摩擦电发电原理使其集成了有压力和材料传感的能力。此外,利用机器学习网络(多层感知机)提取了BOSSA高阶数据特征以此实现基于压力和材料的用户(98.9%)和物体识别(98.6%)。

图片
图2. 基于仿生软传感器阵列的不同物体放置和拿取识别

该团队利用嵌入在多孔PDMS中级联的行列电极来模拟人体皮肤的传感性能。多孔PDMS在物理性能如柔性和拉伸性等方面良好,且有利于在传感过程中产生复原力,提供更多时域信号。BOSSA对压力和材料的传感能力来源于摩擦电传感机理,其中不同的材料得失电子能力不同,表现为不同的摩擦电输出。值得一提的是,BOSSA在电极设计方面也采用了行+列的方式,极大地精简了电极设计。4000组BOSSA的传感数据用多层感知机进行训练和学习,提取高级信号特征如压力、材料。并基于此实现不同形状、材质的物体识别。未来,BOSSA 在用于智能环境的大面积传感方面有进一步研究的价值。

图片
图3. 基于仿生软传感器阵列的闭环式人机交互

研究团队进一步验证了BOSSA在识别十个日常用品方面的能力。由于接触和分离时摩擦电输出方向相反,BOSSA可进一步识别物体的放置和拿去。如图展示了十个具有不同质量、形状和材料的物体。每个物体的采用两种放置方向用以验证放置方向对物体识别的影响。此外,还展示了BOSSA的概念验证式应用,如识别不同物体和不同物体的数量变化,这有助于进一步开发工作、娱乐等领域的交互界面。此外,将物体识别与现今电子设备如蓝牙音箱,手机等结合起来,可以建立闭环的交互体验,如提醒人们日常小物件(如耳机,钥匙等)的放置位置等。

该工作结合了器件设计、信号处理、和数据分析方面的突破,提出了新颖的仿生传感系统。并以简约设计集成了压力和材料传感。数据驱动算法有助于传感器提取高阶信号特征以更好的感知环境信息。该工作的进一步研究可以致力于多模态传感的集成以及传感机理的解耦。总而言之,该仿生柔性传感阵列在未来的沉浸式人机交互有较好的应用前景。

相关论文发表在ACS Nano上,TBSI硕士研究生罗阳为文章的第一作者,付红岩副教授为通讯作者,其他作者包括加州大学洛杉矶分校20级博士生肖潇、陈俊教授和北京大学信息工程学院副教授李倩


论文链接:

https://pubs.acs.org/doi/10.1021/acsnano.2c01548


来源:ACS材料X
编辑:李满园