基于摩擦纳米发电机的人机交互检测传感系统的开发
2026-11-19 10:49:10 点击:次
摘要
摩擦电触觉感知从实验室演示向实际机器人平台的转化,仍受限于高阻抗信号采集、机械集成、表面覆盖物以及机器人自身干扰。本文设计了一种基于摩擦纳米发电机(TENG)的感知方法,旨在实现具身机器人感知,通过在模块化社交机器人JARI中展示一种端到端触觉接口,将人类触摸转化为可用于行为决策的信息。所提出的系统结合了空间分布的单电极和接触分离式摩擦纳米发电机,以编码物理交互的强度、时间动态和空间范围。双通道信号通过高阻抗接口采集,由ESP32数字化,并通过蓝牙或有线串口直接传输至桌面计算机,在计算机上执行CNN-BiLSTM推理和ROS 2通信。一种混合卷积与双向长短期记忆网络可将五种触觉状态分类为:无接触、手指抚摸、手掌抚摸、手指轻敲和手掌轻敲。识别出的状态通过ROS 2发布,并映射到不同的表达响应,从而完成从感知到行为的闭环。与传统的台式评估不同,该系统在传感器物理安装于JARI机器人后,分别在静止和移动状态下进行了评估,以测试织物对传感器配置的影响。与有线串行采集相比,电池供电的蓝牙采集具有更好的信号完整性。当集成到静止机器人中时,该系统实现了高达94.8%的特定条件准确率,而在机器人运动期间准确率最高可达90.6%。另一种织物配置在静止时准确率为92.0%,运动时为85.0%。由于每种部署条件都是使用独立获取的数据集、特定条件的预处理参数以及单独训练的模型进行评估的,因此这些结果应被视为在所评估的运行条件下可行性的证据,而非跨条件的直接性能基准。桌面电脑上的神经推理每处理一个准备好的序列需要0.73–1.74毫秒。这些结果表明,基于TENG的稳健触觉感知依赖于传感器、机械接口、采集电子设备和智能处理架构的联合设计。所提出的框架为从自发摩擦电信号到社交与辅助机器人中实时、上下文感知的物理交互建立了一条切实可行的路径。摩擦纳米发电机; 触觉感知; 人机交互; 深度学习; CNN-BiLSTM; ROS 2; 嵌入式智能; 自供电传感器
图文摘要1. 引言
触觉感知对于与人类进行近距离物理接触的机器人至关重要,特别是在社交和辅助场景中,触觉可以支持更自然、更具响应性的交互[1]。除了检测接触的发生,机器人系统还必须解释其强度、持续时间、空间分布和时间动态,以区分轻拍、按压或抚摸等交互[2,3,4]。这种能力在社交、辅助和软体机器人领域尤为重要,因为这些领域经常通过顺应性、柔性或织物覆盖的表面进行物理交互[5,6]。然而,分布式触觉感知的实现仍面临挑战,因为传统的传感架构可能需要外部激励和复杂的电子设备,这使得它们难以集成到大面积且节能的机器人接口中[6,7].]摩擦纳米发电机(TENGs)通过接触起电和静电感应将机械交互转化为电信号,提供了一种极具前景的替代方案[8,9]。它们的柔韧性、结构简单、材料兼容性广以及对低频机械刺激的敏感性,支持了它们在可穿戴设备、手势识别、人机界面、智能传感系统以及在弱机械激励和低频机械激励下运行的自供电监测平台中的应用[7,10,11与其它传感器不同,TENG不需要外部激励源即可产生传感信号。尽管如此,相关的采集、通信和处理电子设备可能仍需外部电源。因此,将TENG更准确地描述为自发电传感元件,而非完全自供电系统。
不同的TENG工作模式提供了关于物理接触的互补信息。单电极配置对与外部物体(包括人体)的直接交互特别敏感,因此适用于检测轻微的接触事件,如触摸和滑动动作[12]。接触分离配置在正常的机械变形下会产生显著的电响应,使其适用于检测更强的冲击或压力事件[13]。结合这两种机制可以提供编码接触强度、时间演变和空间分布的触觉特征。
尽管具有这些优势,将TENG集成到功能性机器人平台中仍然具有挑战性。正如摩擦电传感系统广泛报道的那样,它们的高阻抗输出是瞬态的,并且高度依赖于接触力、速度、有效面积、表面特性和机械耦合[14,15]。当集成到机器人中时,这些信号还会受到织物覆盖物、结构振动、电磁干扰和机器人运动的影响。因此,相似的接触可能会产生不同的响应,而不同的交互可能会产生重叠的信号振幅。目前,用于阈值和信号识别的传统方法不足以实现多类触觉识别,因为它们未能充分利用摩擦电信号中包含的时间和空间信息。摩擦电信号包含的信息远不止其峰值振幅本身。每个波形的形状、持续时间、频率成分和演变过程都反映了机械交互是如何发生的[16],而多个传感通道之间的关系可以提供额外的空间信息。基于简单阈值的方法对于检测事件是否发生很有用,但它们难以区分产生相似振幅、主要在时间动态上有所不同的接触。
机器学习和深度学习方法为解释这些更丰富的信号模式提供了工具,使TENG传感器不仅限于接触检测,还能实现对更复杂物理活动和交互的识别[17,18]。卷积神经网络在识别局部信号特征(包括冲击峰值和短时振荡)方面特别有效,而循环架构则能捕捉区分持续性动作与简单轻触的时间依赖性[19,20]。这种协同作用推动了基于摩擦纳米发电机(TENG)的手势识别、活动监测和人机交互领域的重大进展[2,3,6]。最近的研究进一步将摩擦电传感与深度学习相结合,以增强机器人的感知能力。例如,Mu等人结合了摩擦电、视觉和触觉传感,在不同压力下以94.4%的准确率识别出18种材料,同时还支持空气和水下的非接触式通信[21]。混合摩擦电-电容传感器通过将表面敏感的摩擦电响应与硬度的电容测量相结合,同样展示了物体识别能力[22]。最近,安装在机器人指尖的AI增强型摩擦电传感器实现了对材料、曲率、压力和物体柔软度的同时识别,准确率超过94%[23].
然而,目前基于摩擦纳米发电机(TENG)的机器人感知主要集中在以物体为中心的感知,包括材料属性识别、施加压力或抓取状态识别 [2,21,22]。在这些系统中,传感器通常安装在机器人指尖或夹持器上,并通过与预定义样本的受控接触进行评估。相比之下,以人为中心的触觉感知受到的关注较少,在这种情况下,机器人必须解释用户施加在其身体表面的直接触摸。在这些场景中,摩擦电信号在集成到织物覆盖层下方后必须可靠地保留,高阻抗信号采集在附近存在电子和机电子系统时必须保持稳定,并且必须将触觉交互与机器人运行期间产生的结构振动区分开来。尽管先前的研究已经展示了基于摩擦纳米发电机(TENG)的软体机器人传感[12],智能人机界面[2,4],以及机器人手指的触觉感知[21,23],在运行中的社交机器人中集成TENG机制、电气隔离采集和机器人技术仍相对缺乏探索。
本文提出了一种端到端触觉感知框架,该框架集成了由空间分布的单电极和接触分离式TENG组成的系统、高阻抗采集、无线传输、基于CNN-BiLSTM的分类,以及在JARI(一种最初为与自闭症谱系障碍和多动症儿童进行多模态交互而开发的模块化社交机器人)中的机器人操作系统2(ROS 2)通信 [1本研究采用了JARI的增强版本,通过集成额外的传感器和执行器来提升其交互能力。所提出的系统能够识别人类与机器人之间的有意物理交互,并区分无接触、手指抚摸、手指轻敲、手掌抚摸和手掌轻敲。关键的是,该平台在物理集成到JARI后,分别在无覆盖、织物覆盖、静止和移动的条件下进行了评估。结果表明,机器人的触觉感知依赖于摩擦电传感器、电气接口、表面覆盖层和推理架构的协同设计。电气隔离的无线采集在机器人集成后显著提高了信号完整性,而织物层直接调节了触觉刺激的传输与识别。该系统在静止且未覆盖的机器人上实现了94.8%的最大准确率,使用替代织物时保持92.0%,在织物覆盖的机器人运动期间达到85.0%。这些发现将基于摩擦电纳米发电机(TENG)的智能扩展到了实验室规模的对象分类之外,并为社交机器人从自发摩擦电信号到实时、行为就绪的触觉感知建立了一条实用路径。
2. 材料与方法
所提出的框架被设计为一个端到端的触觉感知流水线,可将物理接触转化为机器人可直接用于行为的信息。人类的触摸首先通过摩擦电传感单元转换为双通道电信号。这些信号由ESP32采集并数字化,然后直接传输到台式电脑,在那里使用训练好的CNN-BiLSTM模型进行预处理和分类。生成的预测结果随后通过有限状态机进行稳定处理,并通过ROS 2发布,从而使JARI的协调器和表达模块能够生成相应的机器人响应。因此,在报告的实验中实现的完整工作流程可总结为:TENG传感 → 基于ESP32的采集与传输 → 基于台式电脑的CNN-BiLSTM推理 → 预测验证 → ROS 2发布 → 机器人响应。以下章节将介绍该流程的各个阶段,从传感器制造和信号采集,到神经分类以及与JARI的集成。2.1. 系统架构
触觉感知系统的实验装置由三个主要单元组成:双摩擦电传感器系统、嵌入式信号采集与无线传输,以及基于边缘的分类。两个摩擦电传感单元通过高阻抗调理电路连接到ESP32-WROOM-32D。每个单元提供一个采集通道,并放置在机器人的不同位置,以捕捉接触的空间分布。这两个通道由ESP32进行数字化处理,并通过经典蓝牙(或在有线配置下通过串口线)直接传输至台式电脑,电脑对数据进行预处理,运行训练好的分类模型,并通过ROS 2发布预测的接触结果。完整的实验装置如图所示1a。
图1。摩擦电触觉感知系统的架构与机器人集成。()系统架构展示了手指和接触-分离(CS)摩擦纳米发电机传感器、基于ESP32的信号采集、无线数据传输、基于桌面端的信号处理、CNN-BiLSTM推理以及ROS 2通信,这些共同构成了最终演示的流程,并结合了JARI机器人平台及其主要组件。() 展示了两个TENG传感区域和ESP32采集硬件的台式原型。在本文报告的最终演示中,原始设计中显示的树莓派并未用于处理。() 将触觉传感系统集成到增强型JARI平台中,展示了覆盖织物应用前后的传感器位置。数据采集与处理流程使用Python 3.10实现,并采用了NumPy、pandas、SciPy、scikit-learn、TensorFlow/Keras和PySerial。ESP32固件在Arduino环境中开发,而最终的机器人集成则在ROS 2中实现。) Bench-top prototype showing the two TENG sensing regions and the ESP32 acquisition hardware. The Raspberry Pi shown in the original design was not used for processing in the final demonstrations reported in this study. (c) Integration of the tactile sensing system into the enhanced JARI platform, showing the sensor locations before and after application of the textile covering. The acquisition and processing pipeline was implemented in Python 3.10 using NumPy, pandas, SciPy, scikit-learn, TensorFlow/Keras, and PySerial. The ESP32 firmware was developed in the Arduino environment, while the final robotic integration was implemented within ROS 2.
摩擦纳米发电机(TENG)设备安装在机器人的外表面下,而调理和采集电子设备则位于其内部。该集成工作是在原始JARI机器人的增强版本上完成的[1],该版本集成了额外的传感器和执行器,以提升其交互能力。在最终配置中,传感区域被构成JARI柔性外表面的织物所覆盖,如图1所示。这种织物将用户的手与活性摩擦电层隔开,因此成为了机械接触界面的一部分,可能会影响施加力的传递和空间分布。实验原型及其最终集成到机器人中的情况展示在1分别为b和c。
为了研究外表面对触觉识别的影响,在集成到JARI后评估了三种配置:无织物覆盖的裸露传感器、JARI原始织物下的传感器,以及另一种织物下的传感器。另一种织物——一种印有柔和色调几何(六边形)图案的薄合成织物——被选作替代覆盖物,同时保留了与机器人进行物理交互所需的柔顺表面。原始织物覆盖的配置如图1c所示。
该系统首先在台式原型机上进行评估,随后在集成到JARI后,分别在静止和移动操作状态下进行测试。每种物理条件均使用有线串口和蓝牙通信进行测试,共产生14种实验配置。这种实验设计使得能够分别评估电耦合、机器人集成、织物覆盖以及机器人运动产生的影响。完整的实验矩阵见表S1.
虽然该系统最初设计使用树莓派进行数据接收、推理和ROS 2通信,但最终演示和结果部分报告的实验使用了台式机来执行这些功能,因为现有的树莓派4 Model B无法维持所需的预测更新频率。
2.2. 摩擦电触觉传感器设计
触觉界面由四个摩擦纳米发电机组成,分为两个空间分离的传感单元。每个单元结合了两种互补的TENG配置:单电极传感器(此处称为手指TENG)和垂直接触-分离TENG。这两种配置的分层结构和传感机制如图所示图2.
图2。摩擦电触觉传感器的设计、结构和物理实现。()手指摩擦纳米发电机(TENG)传感器的分层示意图和原型。()接触-分离(CS)摩擦纳米发电机(TENG)传感器的分层示意图和原型。示意图标明了由PDMS和PVA层、铜电极以及电气接线端子组成的结构。()制备完成的传感器闭合视图。() 开放视图显示内部层和电极表面。() 传感器安装在其支撑结构上,以便集成到机器人平台中。) Closed view of the fabricated sensor. (d) Open view showing the internal layers and electrode surfaces. (e) Sensor mounted on its supporting structure for integration into the robotic platform.
手指TENG旨在检测低强度交互,包括手指滑动和轻触。它由沉积在铜电极上的柔性PDMS层组成。在物理交互过程中,人体充当外部摩擦起电物体,通过单电极机制产生电响应。
接触分离式TENG旨在更高强度的法向交互(如敲击或冲击)中提供更强的贡献。它包含两个由柔性PET结构分隔的相对摩擦起电表面。机械压缩使各层接触,而一旦移除施加的力,弹性恢复则使它们恢复到原始分离状态。由此产生的接触和分离循环会产生特征性的双极电压响应。
摩擦电对基于作者此前描述的系统[24,25],采用聚二甲基硅氧烷(PDMS)作为电子受体材料,聚乙烯醇(PVA)作为电子供体材料。由于铜片具有高导电性和机械柔韧性,被用作集电电极,而PET则作为柔性结构基底和机械隔层。本研究中使用的物理TENG器件,包括开放和封闭的接触分离结构、手指TENG以及最终的传感器组件,如图图2b–e所示。
每个TENG的机械设计都根据其传感功能进行了定制:柔性手指TENG针对微弱和滑动接触进行了优化,而较硬的接触-分离TENG则对更强的交互产生更广泛的响应,同时限制了ADC饱和。这两种机制被结合在两个空间分离的采集通道中,提供了关于接触强度和面积的互补信息。由此产生的251个双通道信号被用于分类五种触觉状态:无接触、手指252滑动、手指轻敲、手掌滑动和手掌轻敲。分类是基于253完整的时域波形而非预定义的振幅阈值进行的。
2.3. 信号调理与嵌入式采集
手指和接触分离(CS)摩擦纳米发电机(TENGs)的输出信号通过连接到ESP32-WROOM-32D微控制器的无源高阻抗接口进行采集(图S1)。每个传感单元的指尖传感器和接触分离传感器通过一个无源电阻网络共享单个ADC通道:指尖传感器的正极通过10 MΩ的读档电阻直接连接到ADC引脚(上部/第一区域为GPIO34,下部/第二区域为GPIO32),而接触分离传感器的正极则连接到3.3 V与地之间由五个电阻(每个10 MΩ)组成的电阻分压器中间节点,使其获得20 MΩ的有效读档;两个传感器的负极均连接到地。这种配置允许给定区域内的两个传感器共同贡献于同一个ADC读数。两个传感器的电气连接、电阻网络以及ADC输入在图S1.两个传感通道的静止ADC读数分别约为0.50 V和0.49 V。这些数值被记录为测得的基线水平。采集接口未使用运算放大器来产生-0.5 V的偏置。因此,测得的信号反映了TENG传感器、无源接口和ADC输入特性的综合响应。
传感器信号使用ESP32-WROOM-32D标称的12位ADC进行数字化。尽管系统最初设计的目标是实现10 kHz的采样率,但使用专用测量脚本(medicion frecuencia muestreo real.py)进行的实验评估表明,所实现的系统维持了约4 kHz的有效采样率,并伴有轻微波动。采集到的数据通过经典蓝牙以配置的921.6 kbit/s通信速率传输至树莓派。−1.
评估了两种数据采集模式。模式1在ESP32与处理单元之间使用有线串行连接,而模式2则使用经典蓝牙进行无线数据传输。无线配置减少了高阻抗传感接口与机器人电子设备之间的直接电耦合,有助于缓解在有线操作期间观察到的振荡和伪瞬态现象。TENGs无需外部激励;数据采集和通信电子设备通过受控的5V电源由两块并联的18650电池供电。
数据主要由一名操作员收集;在少数未记录的情况下,另外两名实验室成员在记录期间也进行了触摸交互。然而,独立记录会话的数量以及每类物理触摸事件的数量并未分别记录。触摸位置、速度、持续时间和施加的力均未通过仪器控制或记录。因此,该数据集是基于记录和标记的序列来描述的,而不是作为一组独立计数、标准化的触摸事件。
2.4. 数据获取与标记
监督数据直接从双通道触觉系统获取。每次观测都包含两个传感区域的同步电压值以及手动分配的交互标签。生成的记录以CSV文件形式存储,用于预处理和神经网络训练。考虑了五种交互动作:无接触, 手指滑动, 手指轻点, 手掌滑动,以及手动敲击 (图3)。在录制过程中,操作员通过键盘命令选择活动类别,同时反复执行相应的交互动作。录制会话通常持续10到15分钟,并为每个类别重复进行,以改善类别平衡。

图3。 () 混合CNN-BiLSTM架构。每个时间窗口由共享卷积层独立处理,生成的特征序列在进行多类softmax分类前由双向LSTM进行整合。()代表性归一化双通道信号,分别对应手指划动、手指轻点、手掌划动、手掌轻点以及无接触条件。b) Representative normalized two-channel signals for finger stroke, finger tap, hand stroke, hand tap, and no-contact conditions.
手动标注实现了连续数据采集,但可能会在键盘指令与物理交互之间引入时间偏移。因此,随后应用了特定类别的事件检测,以剔除那些不包含与其分配类别一致的信号模式的序列。
通过高振幅峰值识别点击事件。当明显瞬态主要出现在单个通道时,被视为有效的指尖点击;而手掌点击则需要在两个通道中出现时间相关的峰值。使用较低的振幅阈值来筛选滑动事件。指尖滑动与单个通道中的低强度活动相关,而手掌滑动则需要在两个感应区域中都有活动。无接触样本是从两个通道均未包含相关事件的时间间隔中提取的。
使用scipy.signal.find_peaks方法进行峰值检测,峰值之间最小间隔为100个样本。在每个检测到的事件周围提取多个时间偏移序列,以降低对接触瞬态与分割边界之间对齐的敏感性。各类别保留的归一化信号示例展示在图3.
2.5. 信号预处理与序列生成
连续的双通道信号被划分为1000个样本的非重叠窗口,在4 kHz的有效采样频率下,这大约对应250毫秒。三个连续的窗口被组合成一个3000个样本的序列,大约对应0.75秒的触觉活动。该时间间隔捕捉到了短促的冲击事件以及与划动手势相关的较长时域演变。对于无接触类别,使用步长为一个窗口的滑动窗口生成连续序列,因此每个新序列都会复用前一个序列中三个窗口里的两个。对于接触类别,则围绕每个检测到的事件生成多个时间偏移序列,如第2.4节所述,从而在源自同一底层信号段的相邻序列之间产生可比或更高程度的重叠。
这种重叠是在每段连续记录中独立引入的。对于每种部署条件,用于模型开发和最终评估的序列均源自独立的连续记录;因此,训练/验证记录与评估记录之间没有共享任何信号样本或重叠窗口。然而,在模型开发记录中,重叠序列是在随机分配到训练和验证子集之前生成的。因此,可能源自同一物理触摸事件的相邻序列可能同时存在于两个子集中,这可能导致了过于乐观的验证估计。这一局限性将在以下部分进一步讨论:第2.8节和第3.9节.
每个输入序列都由一个张量表示:
∈ ℝ ∈ ℝ3×1000×2,
其中第一维代表三个连续的时间窗口,第二维对应每个窗口中包含的样本,第三维代表两个空间感知通道。
信号根据以下方式对每个通道分别进行了归一化:
- 上一篇:包含可再生能源、储能和需求响应的孤岛微电网能量管理优化
- 下一篇:返回列表
