Chinese
Adv Search
Home | Accepted | Article In Press | Current Issue | Archive | Special Issues | Collections | Featured Articles | Statistics

2019,  1 (2):   219 - 232   Published Date:2019-4-20

DOI: 10.3724/SP.J.2096-5796.2019.0001
1 引言 2 空间液桥遥科学实验概述 3 Oculus Rift DK2沉浸式环境与手势识别算法 3.1 Oculus Rift DK2沉浸式环境 3.1.1 模型创建与位姿变换 3.1.2 液柱绘制 3.1.3 双手位置提示 3.2 基于位置控制的手势识别算法开发 3.2.1 手势识别算法 3.2.2 模糊控制算法 4 交互效果评估 4.1 手势识别准确率实验设计 4.2 操作准确率实验设计 4.2.1 实验流程 4.2.2 实验结果及数据分析 5 视触融合反馈实验 5.1 视触融合平台搭建 5.2 基于拉桥操作的两种反馈实验 5.3 基于注液操作的两种反馈实验 6 总结与展望

Abstract

Space liquid bridge experiment is a typical space telescience experiment, which has the potential to synchronize the interaction between the human users and remote space laboratory equipment, and has high requirements on manipulation accuracy and real-time interactivity. Typical tasks in space liquid bridge experiment include bridge pulling, and clearance process etc. In order to achieve the effect of natural and immersive interaction for these tasks, a control strategy based on Leap Motion gesture interaction control and vibrotactile feedback is developed. A gesture recognition algorithm and fuzzy control algorithm based on position control are developed, and the experimental results show that the algorithms have a small memory load and a high recognition accuracy of 97.68%. We perform comparative experiments on single visual feedback and visual-tactile feedback, which verifies that the interactive effect of the visual-tactile feedback is superior to the single visual feedback. Experimental results validate that by combining Leap Motion multi-finger recognition, vibrotactile feedback and immersive display, the proposed syatem is able to achieve the goal of natural interaction for space telescience experiment.

摘要

液桥操作是空间站遥科学实验的重要内容,为保证人与远程空间实验设备的同步交互操作需求,对交互操作精确性和实时性有严格要求。针对空间液桥实验中拉桥、清桥等典型操作的随动控制任务,为达到自然沉浸的交互式效果,研制了基于Leap Motion手势交互控制并融合振动触觉反馈的三维沉浸式液桥实验系统。提出了一种基于位置控制的手势识别算法与模糊控制算法,实验验证该算法记忆负荷小,识别准确率为97.68%。实验结果表明视触融合的交互性效果优于单一视觉反馈效果,将Leap Motion多手势识别、振动触觉反馈与三维沉浸显示有机融合,为空间遥科学实验提供了新型的自然交互方式。

Content

1 引言
空间遥科学实验将空间实验舱内的实验装置、地面控制与操作人员连接在一个回路中[1],从而在线控制实验进程,有利于提高空间应用的效率,降低系统成本,特别适合无人操作和频繁操作的工况,目前已经成为国际空间站中大规模开展空间科学实验的重要手段。
空间站中宇航员参加空间实验的时间十分有限,因此开发空间遥科学操作系统是十分必要的[2]。现阶段,空间遥科学操作系统主要包括操作者、计算机和机器人三个部分,操作者通过键盘、手柄等外设向计算机中的虚拟机器人发送控制指令,然后虚拟机器人合成指令发送给空间站中的真实机器人进行实验操作。相比于前人研究中直接由操作者向空间站中真实机器人发送指令的控制模式,此种操作者—虚拟机器人—真实机器人组成的系统可以有效提高交互实时性,在一定程度上减弱遥操作中的时延问题。丑武胜[3],Sone[4]和Liang[5]等人均进行了相关研究。然而,经过不断改进的遥科学实验操作系统仍然存在一定的局限性:(1)虚拟机器人采用算法合成并直接显示于计算机屏幕,无法为操作者提供直观的三维感受,沉浸感较弱,不利于提高工作效率和工作积极性;(2)发送或确认指令的外设主要是鼠标、键盘、手柄等桌面式输入设备,在一定程度上限制了操作者的运动范围,增加了操作负担,随着自然人机交互概念的普及,用户不满足于单纯利用外部设备与虚拟机器人进行交互,而是希望不需要借助任何外界设备(例如操作鼠标、键盘或操作手柄)即可以对场景进行操作。针对上述局限性,考虑将三维头戴式显示设备HMD(Head Mount Display)与手势跟踪设备引入操作系统,其中,HMD负责提供沉浸式的虚拟环境,手势跟踪设备为用户双手操作实验场景、发送指令提供可能。
2016年被称为虚拟现实元年,HMD如Oculus Rift DK2[6]、HTC Vive[7]、PlayStation VR[8]、Gear VR[9]等相继出现,为构建虚拟现实平台提供了强有力的支持。考虑到上述四款设备的性能以及开放性,Oculus Rift DK2是目前性能较好、性价比较高的一款三维头戴式显示设备。手势跟踪设备主要有Leap Motion和Kinect,但是Kinect更适用于捕捉全身大范围运动,而Leap Motion[10]较为适合捕捉精细运动,更适用于双手交互的操作场景。将Oculus Rift DK2与Leap Motion相结合可以实现操作者利用双手操作三维场景的目的,现阶段,基于Unity 3D平台开发的两者相融合的技术广泛应用于中风患者的康复性训练中。Lupu等[11]利用Oculus Rift DK2使患者沉浸在利用Unity3D构建的虚拟环境中,采用Leap Motion作为输入设备与系统交互,并利用触觉模块为患者提供触觉反馈来引导患者的康复性训练,Connelly等[12]也进行了类似的研究。虽然基于Unity引擎构建的场景更加逼真,开发周期更短,但是存在交互精度差、定时器不准确等弊端。由于空间遥科学实验有实时性及精确性的要求,故而这些局限性限制了该技术在遥科学实验中的应用。
空间液桥热毛细对流实验是空间遥科学实验之一。Roddrick A. Colvin在国际空间站上进行液桥热毛细对流的在轨试验[13]。Velten等[14],Lim等[15]和Kang等[16]也进行了类似的研究,但是上述实验均采用宇航员在空间站直接操作的方式。本文以空间液桥实验为例,将遥操作方式引入其中,利用C++集成Oculus Rift DK2的沉浸式显示和Leap Motion的多手指识别,采用位置控制的思想解决了液桥实验过程中的随动控制需求,便于操作人员变换不同的运动步长及速率,防止因步长移动过大而超过目标值,导致操作准确率的降低,同时避免了使用Unity引擎带来的实时性及精确性较差等问题。主要针对人机交互中的手势控制算法及虚拟环境对指令响应的实时性等问题进行研究,不涉及改进虚拟机器人向真实机器人即地球向太空发送指令部分的时延。其余部分安排如下:第二部分主要介绍空间液桥实验操作需求,明确需要实现的主要功能及性能指标;第三部分详述Oculus Rift DK2沉浸式环境的搭建和基于位置控制的Leap Motion手势识别算法和模糊控制算法;第四部分详述视觉与振动融合的具体措施,并设计实验验证手势识别的准确率和操作准确率;第五部分进行了单一视觉反馈与视触融合反馈的对比实验;第六部分对全文进行了总结与展望。
2 空间液桥遥科学实验概述
空间液桥实验是一项在空间环境中开展的流体物理实验,其目的是研究液桥热毛细对流的流动规律和振荡机制,这对于人们认识和开发空间资源具有重要的意义。在实验过程中,需要有计划分步骤地实施注液、液桥拉伸或降低、上下液桥的升温和降温等操作,并随时依据实验状态对参数进行调整。参与液桥实验的主要零部件包括上桥、下桥以及上下桥之间的液柱。针对液桥的操作主要分为五种,分别为拉桥、注液、上桥升温、下桥降温和清桥。其中,进行拉桥操作时,上桥在电机的带动下以一定的速率向上运动,同时液柱在维持总体积不变的前提下随上桥升高;进行注液操作时,上桥的位置不变,液柱在维持高度不变的前提下半径增大;进行上桥升温操作时,上桥的颜色随着不断加热逐渐变为红色;进行下桥降温操作时,下桥的颜色随着不断降温逐渐变为蓝色;进行清桥操作时,上下桥位置不变,中间的吸油圈上下运动3次,将液柱全部清空。液桥在不同操作模式下发生变化的示意图如图1所示。
根据空间液桥实验的功能需求,整体系统分为如下三个部分:(1)实现拉桥、注液、上桥升温、下桥降温和清桥的交互手势定制;开发基于Leap Motion的准确稳定的手势识别算法;(2)基于Oculus Rift DK2建立空间液桥实验的沉浸式场景,并根据交互过程实时更新场景;(3)要求HMD中显示的三维场景能够准确跟踪头部转动和操作者身体的移动,从而实现多角度观察。
根据空间液桥实验的性能需求,整体系统需要满足如下要求:
(1) 手势识别稳定可靠,无歧义,并满足10Hz的实时性要求;
(2) 手势识别算法的CPU占用率小于10%;
(3) 准确完成液桥实验操作,其中拉桥电机分辨率为1mm,注液电机分辨率为0.005mm,温控分辨率为1℃;
(4) 提供Oculus Rift DK2沉浸式显示的底层API接口;
(5) 正常负载情况下,软件无故障连续运行支持 7 × 24 h ,满足实验鲁棒性。
3 Oculus Rift DK2沉浸式环境与手势识别算法
3.1 Oculus Rift DK2沉浸式环境
大多数针对三维沉浸式显示的研究都是基于Unity3D平台搭建的,因为Unity3D开发周期短并且可以部署到不同的环境中,如Windows,Andriod,Mac等,兼容性较好。然而,由于空间遥科学实验对实时性、准确率和稳定性的要求较高,Unity3D存在交互精度差、定时器不准确等弊端,无法满足遥科学实验操作需求,因此选择OpenSceneGraph (OSG)[17]进行开发。OSG是一个开源的三维引擎,被广泛应用于可视化仿真、虚拟现实、游戏制作等场合。作为一个跨平台的图像渲染引擎,OSG可以在所有操作系统上运行,并可以与大多数框架融合,包括MFC和.NET。本文主要基于MFC框架开发,利用OSG搭建空间液桥实验的沉浸式显示系统。如图2,沉浸式场景分为模型创建与位姿变换、太空场景渲染、液柱绘制、双手位置提示及文字显示五个部分:
3.1.1 模型创建与位姿变换
为了在虚拟环境中模拟空间液桥实验,需要将实验所需设备预先放置在虚拟场景中。模型创建工具种类繁多,如3DS Max、SolidWorks等,本文利用SolidWorks2014完成零部件建模及装配。由于整体系统采用OSG引擎,而OSG支持的模型格式主要为*.osg或*.ive,故需要对SolidWorks创建的模型格式进行一定的转化。通过Deep Exploration将*.sldprt转化为.max格式,然后将3DS Max2010转换为.osg格式。液桥实验装置共有59个零件,但是只有4个零件参与实验,因此将剩余55个零件作为一个整体导入场景。由于五个模型的位姿与理想位姿有一定的差距,所以需要通过位姿变换矩阵实现模型位姿的调整(图3)。
模型导入后的位姿坐标系为j,期望坐标系为i,故需将j转化为i
i j R = R Z A , α R Y A , β R X A , γ = c α c β c α s β s γ - s α c γ c α s β s γ + s α c γ s α c β s α s β s γ + c α c γ s α s β c γ + c α c γ - s β c β s γ c β c γ
i j T = T r a n s i O j P R K , θ = R i j P i O j 0 0 0 1
公式(1)、(2)中的参数及矩阵均与具体模型相关。调整后的模型如图4
3.1.2 液柱绘制
空间液桥实验拉桥、清桥等操作均会对液柱的形态造成一定的改变,液柱外围的变化可以近似用Nurbs曲面模拟,但是通过CPU占用率测试,Nurbs曲面会产生较大的计算压力,造成场景卡顿,降低交互效率,妨碍操作者的体验。为了避免大量计算和尽可能细致真实地模拟液柱形态的变化,提出了一种利用三角片网格绘制液柱表面并用二次曲线模拟液桥表面形状变化的方法(图5)。该曲线遵循二次函数的规则,根据二次曲线公式(3)的计算得到的二次曲线即可在相应的软件中得到对应的二次曲线绕固定轴y轴旋转产生的液柱。
x = a y 2 + b y + c
其中:diff代表二次曲线顶点与y轴的距离,height代表液桥的高度,radius代表液桥的半径。通过上述三个参数,可以解算出二次曲线的坐标,A(-raidus, height),V(-diff, 0.5height)和B(-radius, 0)。
当接收拉桥操作命令时,系统通过同时增加液体的高度和减小曲线顶点和y轴之间的距离来改变液体的形状(图6b),反之,通过减小液体高度和增加距离进行对液柱的压缩。注液操作是通过固定液柱高度和增加距离来模拟(图6c),反之则模拟清桥操作,当距离低于设定的最小阈值时,液柱消失。液柱形态变化如图6所示。
3.1.3 双手位置提示
手势交互是一种自然人机交互方式,用户的双手在手势交互中起到至关重要的作用。但当进行实验操作时,操作者需要佩戴Oculus Rift DK2,无法观察周围的真实环境。在这种盲操作的情况下,操作者由于无法准确感知双手的位置从而无法满足利用手势精确控制液桥实验的需求。所以,帮助操作者感知双手位置是十分必要的。为了解决这个问题,方法一是设计一个框架限制人手的运动,方法二是在沉浸式场景中放置提示性信息。本文选用第二种方式。
Leap Motion的视场是以装置为中心的大约8立方英尺的倒锥形的可交互式3D空间区域,有效工作范围的竖直高度在设备上方1英寸到2英尺的区域内。在软件设计中,将Leap Motion倒金字塔区域的限制近似为圆锥区域的限制。圆锥限制区域如图7所示,其中,粉色的小球代表操作者的左手,绿色的小球代表操作者的右手。当操作者的双手均不在Leap Motion的工作区域内即绿色与粉色小球均不在圆锥区域内时,圆锥的颜色为红色(图7a);当操作者单手在其中时,圆锥的颜色为黄色(图7b);当操作者双手在其中时,圆锥的颜色为绿色(图7c),通过辨识圆锥的颜色以及在圆锥内部小球的颜色,操作者能够判断出当前双手是否在工作区域内从而不断调整双手位置。
操作者观察屏幕中的小球,看到的是小球所处位置的三维空间,但是深度感的存在可能会造成用户对两者竖直高度差判断不准确的现象,所以在圆锥的下方有两个圆柱,圆柱上套有两个圆环,左右圆环分别代表左右手,通过观察圆环所处的高度差即可判断实际中左右手所处的高度差(图8)。从而在观察数值变化速率的同时观察圆环的位置,对高度差进行一个简单的判断,进而控制运动速率。在进行操作时,一方面观察小球是否超出圆锥范围,另一方面通过圆环的高度差确定当前手掌的高度差,不断调整,从而获取用户需求的变化速率。
3.2 基于位置控制的手势识别算法开发
针对空间液桥实验的操作任务,手势识别算法的开发有以下难点:
(1) 手势识别的精度低,控制能力较弱,但是操作任务需要精确控制和快速响应;
(2) 作为主从控制系统,操作任务需要具有实时交互和高度可靠性的特点;
(3) 制定的手势需要容易学习和记忆,符合自然手势交互要求。
由于Leap Motion设备自身的限制,使其无法在手指间发生遮挡时进行识别[18](图9a)。大拇指放置的位置不对也可能发生识别错误,如将4指识别为5指(图9b)。
3.2.1 手势识别算法
前人基于手势识别算法进行了一系列的研究,Bernardos等提出了一个基于神经网络(NN)的实时手势识别系统,识别准确率高于96%[19]。Vamsikrishna等使用支持向量机Support Vector Machine (SVM)和一系列离散的隐马尔可夫模型Hidden Markov Model (HMM)来对康复训练中获得的手势序列进行分类[20]。Mohandes等提出了阿拉伯手语识别系统,利用贝叶斯分类器可以达到98%的分类准确率,利用多层神经网络Multi-layer Perceptron (MLP)可以达到超过99%的准确率[10]。Wang等提出了基于隐半马尔可夫模型的动态手势识别,可以在手势完成前根据手势规律进行识别,识别准确率约为94.875%[21]。但HMM、SVM等算法相对复杂,包括手势预处理、模型训练、模板匹配等阶段,并且对训练模型的样本数量及姿态具有一定的要求,适用于需要对较多手势进行判定的场合。本研究的液桥遥操作系统虽然对操作的精确度及实时性存在一定的要求,但是其交互种类较少,只有5种基本操作,不需要采用HMM等较为复杂的算法,故希望在保证操作准确度的前提下开发新的算法以尽可能降低算法的复杂程度,提高识别效率。为满足盲操作、精确位置控制、高鲁棒性、高准确率等需求设计如下手势识别算法:
设定5种不同的手势分别对应液桥的5种操作,其算法主要针对左右手及手指个数进行判断,具体对应方式如图10(a-e)。
整体佩戴效果图如图11a。Leap Motion使用两个高精度红外摄像头和3个LED灯捕获在其有效工作范围内的手部信息。以拉桥操作为例,双手保持在Leap Motion追踪范围内,每只手伸出5根手指,屏幕右方的第一行文字显示为Height,代表进入拉桥状态。在拉桥过程中,使左右手掌有一定的高度差,如图11b。
当完成操作任务后,应该对操作结果进行确认避免误操作,因此增加了确认手势(图10f)。
不同手指个数是触发不同操作的标志,但是当进入既定操作后,需要采用一定的控制模式使液桥形态或颜色随手部的运动发生一定的变化。控制方式分为位置控制、速度控制、加速度控制等。若选用速度控制,则需建立人手运动速度与液桥变化速度之间的关系,由于大部分操作者无法准确感知自己双手移动的速度,从而造成操作结果不准确、精度差等问题;若选用加速度控制,后续处理时有可能因为对加速度积分引入操作误差。若选用位置控制,则需建立人手掌高度差与液桥运动速度之间的联系,与速度控制和加速度控制相比,人类对高度的认知能力相对较强,即对当前双手所处高度差有一个大致的判断,但是由于人手存在抖动,为了达到手势精确控制的需求,需要对双手所能达到的高度差进行区域划分,保证在手部出现抖动时不影响操作的精度及准确率。故选用位置控制方式。
d e l t a = p r y - p l y
r a t e = 0 d e l t a < t h r e d e l t a - t h r e × s c a l i n g e x p d e l t a t h r e
其中: p l 代表左手掌心坐标, p r 代表右手掌心坐标, d e l t a 代表掌心高度差, t h r e 代表阈值, s c a l i n g 代表缩放比例, r a t e 代表液桥变化速率,exp代表比例系数。
通过公式(5)实现手掌高度差与液桥变化速率之间的映射,经过反复试验,最终确定参数值: r a t e = 40 , s c a l i n g = 0.04 , e x p = 0.8 。阈值定为40,即左右手高度差的绝对值低于40mm时液桥不发生变化,防止双手抖动产生误操作从而影响操作结果。在这种参数状态下,阈值处于操作者反应时间0.15-0.4s内,避免虚拟场景中液桥变化速率过快导致的操作者反应不及时造成操作失误。选用比例函数是因为比例函数变化较平稳,有利于操作的连贯性,使各个操作结果逐渐平稳过度,避免出现操作速率过快的情况。
3.2.2 模糊控制算法
由于前述Leap Motion存在一定的局限性,在利用手指个数触发特定操作时,有可能存在对手指个数进行误判的情况,故需要设计一个模糊控制算法,即在一段时间内选取出现次数较高的手势作为触发操作标志,从而提高手势识别的准确率,整体流程图如图12所示。
不同操作下的液桥形态如图13所示。
4 交互效果评估
空间液桥实验包括5种操作,由于清桥操作是将液桥中的液柱全部清除,不存在通过达到设定操作数值从而完成操作的目的,故本节主要对其余4种操作即拉桥、注液、上桥升温、下桥降温操作进行实验设计。
4.1 手势识别准确率实验设计
本文基于位置控制思想设计的手势识别算法具有简单的逻辑结构,时间复杂度低,并且加入了模糊控制的思想。针对识别准确率的实验设计如下。
招录10名被试(5男5女),手部均没有功能性障碍。让被试熟记5种操作手势(不包括确认手势),连续测试5天,每天每名被试做同一种手势20次共计1000次。表1得出手势识别平均准确率达到97.68%。
手势识别准确率
手势 实验次数/次 准确识别次数/次 准确率 平均准确率
拉桥 1000 983 98.3% 97.68%
注液 1000 969 96.9%
上桥加热 1000 975 97.5%
下桥制冷 1000 981 98.1%
清桥 1000 976 97.6%
手势检测和识别算法的效率大约为每秒200帧,可以简单有效地识别正确手势,提高手势识别的准确率与鲁棒性,避免误操作,CPU的占用率大约4%,操作精度为0.1mm,满足操作需求。
4.2 操作准确率实验设计
4.2.1 实验流程
以拉桥操作为例,招录10名被试(5男5女),手部均没有功能性障碍。在正式开始实验之前,让被试熟记6种操作手势,并进行5min的预实验,使被试熟悉操作环境。本实验主要是测试在只有视觉图像、文字提示当前液桥高度的前提下,达到预期设定值(h0=15mm)的偏差率的平均值及标准差。每名被试进行10次实验,并记录每次实验结果及液桥高度的具体值h1–h10。平均值及标准差计算如下:
μ i = j = 1 j = 10 h j - h 0 h 0 10
σ j = 1 10 j = 1 j = 10 ( μ j - μ i ) 2
其中, μ i 为被试i操作偏差率的平均值, σ j 为相应标准差。
注液、上桥升温、下桥降温操作测试方式与拉桥操作测试方式相同,只是预期设定值分别为液桥体积(V 0=15ml)、上桥温度(T 0=40℃)、下桥温度(T 1=10℃),其中上桥、下桥的初始温度均为25℃。
4.2.2 实验结果及数据分析
4种操作实验结果如图14所示。
10名被试在拉桥、注液、上桥升温、下桥降温操作中偏差率平均值的范围分别为:2.45%—9.81%、2.89%—9.26%、2.12%—9.19%、2.26%—8.14%,标准差的范围分别为:0.026—0.059、0.012—0.061、0.026—0.037和0.023—0.076,说明不同个体之间存在差异性,对实验的适应程度和反应速度均有一定程度的差异。同一被试对不同操作的偏差率和标准差不同,说明同一个体对不同手势的接受度不同。
上述实验结果表明,交互手势定制自然性有待加强,交互手势的设计应该使操作者进行不同操作任务时达到大致相同稳定的操作结果,后续应针对人类对不同手势的接受程度进行研究,将生理学、心理学等融入液桥实验操作中;单纯依靠视觉反馈进行操作,准确率未能达到98%以上,并且部分被试的操作波动较大,这种现象的产生可能是由于被试对数字信号的处理要经过大脑的反馈,且部分操作者对数字的敏感程度不够,无法第一时间判断数字的变化趋势,导致对设定值的误判,从而降低操作准确率。故在下一节中致力于开发视触融合平台并基于该平台进行实验,验证不同信道对操作准确率及稳定性的影响,寻求一种高准确率、高鲁棒性的操作模式。
5 视触融合反馈实验
5.1 视触融合平台搭建
随着多通道技术的迅速发展,为视觉、触觉、听觉等多种信道融合提供可能。上述均是基于Oculus三维沉浸式显示与Leap Motion多手指识别相结合的纯视觉状态下的操作。由于凭借单一视觉反馈达到精确控制的难度较大,且反馈途径略单一,没有发挥操作者多种感官的优势,故在此基础上开发视触融合平台,以此来研究视触融合反馈与单一视觉反馈对操作偏差率造成的影响。其中,振动反馈是触觉反馈的一种,通过振动刺激给操作者带来的体验更为直观,故选用通过振动反馈带给操作者的震感提示当前所处状态。
具体实施过程如下:操作者左右手均带手套,左右手手套的上方和下方各安装一个振动电机。当感知双手手套上方电机振动越强烈时,代表向上移动的过程中距离设定的目标值越接近;感知双手手套下方电机振动越强烈时,代表在向下移动的过程中距离设定的目标值越接近,达到设定的目标值后,电机停止振动。振感越强烈代表离目标值越近,通过振感强弱提示操作者合理改变双手掌心位置的高度差,降低液桥装置的变化速率,从而精确稳定地完成操作任务。
这种方法的优点是符合操作者的主观认知,上电机振动提示操作者减缓向上移动的步长,下电机振动代表减缓向下移动的步长。缺点是手套在一定程度上会降低运动测量的精度,经过反复测试,选用与人手贴合度较好的工具手套,在本实验中,降低的精度在预期范围内,对实验结果产生的影响较小。故而选择上下电机振动的方法进行振动反馈的引入。
利用stm32核心板控制4个振动电机的振动,在已编写完成的液桥程序中向串口发送指令,如090900000ab,其中前9位分别对应1—9号电机,ab为停止位。本实验中采用1—4号电机,其中1、3号电机装在手套的上方,2、4号电机装在手套的下方。视触融合实验平台如图15所示。
以拉桥为例,当上桥当前高度(如12.5mm)接近预期值(如15mm)时,左右手手套的上方振动电机振动幅度越大即振感越强,通过不断增强的振动告知操作者需要降低上桥的移动速率,即将双手的竖直高度差降低以此降低上桥变化速率,直至达到或者超过目标值15mm,振动电机才停止振动。由此可以实现视触融合,既可以通过屏幕中的具体数值显示,又可以通过振动感知下一步需要采取的措施。同理,当液桥向下移动时,左右手手套的下方振动电机振动,告知操作者需要减小向下移动的步长。
空间液桥实验包括5种操作,此处只对拉桥和注液操作进行实验数据的分析与处理。
5.2 基于拉桥操作的两种反馈实验
(1) 单一视觉反馈状态下的测试
与3.2.1中实验流程与数据处理流程相同,本实验主要是测试在只有视觉图像、文字提示当前液桥高度的前提下,达到预期设定值(h0=15mm)的偏差率的平均值及标准差。
(2) 视触融合反馈状态下的测试
被试相同,测试在视觉图像反馈与电机振动反馈相结合的情况下,达到预期设定值的偏差率的平均值及标准差。
由图16可知,10名被试在单一视觉反馈状态下和视触融合反馈状态下的偏差率平均值的范围分别为2.45%-9.81%和1.12%-7.54%,标准差的范围分别为0.41-0.94和0.29-0.73,说明不同个体之间确实存在差异,表现为对实验的适应程度及反应的快速性;10名被试在视触融合状态下偏差率的平均值和标准差均低于单一视觉反馈状态,说明被试在视触融合反馈情况下操作稳定性提高,失误率降低,增加振动前后的作用效果明显,即视触融合的交互性效果优于单一视觉反馈效果。
5.3 基于注液操作的两种反馈实验
被试相同,与4.2.1中实验流程与数据处理流程相同,测试在视觉图像反馈与电机振动反馈相结合的情况下,达到预期设定值的偏差率的平均值及标准差。
由图17可知,10名被试在单一视觉反馈状态下和视触融合反馈状态下的偏差率平均值的范围分别为2.89%—9.26%和2.46%—9.02%,标准差的范围分别为0.41—0.94和0.32—0.87,10名被试在视触融合状态下偏差率的平均值和标准差均低于单一视觉反馈状态,说明视触融合反馈平台具有一定的效果。
针对拉桥和注液两个操作方式的平均值和标准差的方差分析(ANOVA)结果如下:
(1) F(2,18)=50.873,p<0.05,不同反馈条件对拉桥偏差率平均值存在着显著影响;
(2) F(2,18)=41.193,p<0.05,不同反馈条件对拉桥偏差率标准差存在着显著影响;
(3) F(2,18)=62.942,p<0.05,不同反馈条件对注液偏差率平均值存在着显著影响;
(4) F(2,18)=35.192,p<0.05,不同反馈条件对注液偏差率标准差存在着显著影响。
这种现象的产生可能是由于被试对数字信号的处理要经过大脑的反馈,且部分操作者对数字的敏感程度不够,无法第一时间判断数字的变化趋势,导致对设定值的误判,从而降低操作准确率。而加入振动刺激后,在操作者对视觉信号进行处理的同时,对振动信号也需要进行处理,而且震感与靠近目标值的距离成正比,距离目标值远,振动较弱;距离目标值越近,振动越强,振动的整体趋势是从1级到9级,到达或者超过目标值后振动停止。与单一视觉感知相比,操作人员对振动的感知更加明显,而且振动涉及到生物刺激等方面,可能与反射弧等生物量相关,这也是需要进一步研究的问题。后续,将对单一级别震感、与目标值距离成正比的震感相比较,判断震感的改变是否影响操作人员的操作准确率,并与生物学相结合进行研究,探求触觉与视觉的不同生理机制对实验结果的影响。
实验结果表明视触融合算法识别准确率高,程序容错性较高,拉桥、制冷等操作过程稳定,鲁棒性好。
6 总结与展望
本文面向液桥遥科学实验需求,利用Oculus实现三维场景的沉浸式显示,使操作者身临其境;利用Leap Motion采集操作者手指个数与手掌位置信息,从而触发不同的操作模式;将位置控制思想引入系统中,提出了一种将左右手掌心高度差通过特定模型转化为液桥变化信息的算法,从而实现利用手势控制实验操作的目的;在此基础上引入了模糊控制算法,避免由于外设采集信息的不准确或者操作者手势不规范造成的误操作;整套系统采用C++集成,相比于前人基于Unity引擎开发的Oculus与Leap Motion控制程序,C++的定时器更加精准,实时性更好,在多线程优化方面有较强的探索性;通过实验验证基于位置控制的手势识别及模糊控制算法识别准确率高,平均为97.68%,算法逻辑结构简单,时间复杂度低,不需要经过采集样本训练模型等过程;提出了一种基于LMC控制和Oculus Rift DK2三维显示的视触融合反馈策略,即利用界面具体数值提醒与振动电机震感提示相结合的方式实现了振动反馈与手势识别的结合。
由于液桥操作中只有拉桥、加热等5种操作,通过判别手指个数完全可以实现触发不同操作的目的,即只需要针对静态手势进行判断。但是若更换其他的遥操作实验场景,当需要增加更多操作时,只对单一的静态手势进行判断无法涵盖所有的操作,故需要针对动态手势的跟踪和识别进行研究。并且本文提出的基于位置控制的手势识别算法没有针对操作者本身的生理阈值进行深入研究,没有判定操作者所能接受的最高高度和最低高度,没有充分利用操作者可感知的操作空间;构建物理模型时,手掌高度差与液桥变化速率的映射关系过于简单,距离高精度的控制需求还有一定差距,后续将考虑人的生理学因素进一步完善映射模型;只探讨了操作者手势输入到虚拟场景做出反应的实时性及准确率,没有针对虚拟场景驱动空间站中的真实液桥变化的实时性进行研究,即没有对遥科学实验中的时延问题提出合理化建议;进行液桥操作时,只凭借单一的视觉反馈判定是否需要调整双手位置,后续应该引入触觉反馈如电机振动、听觉反馈等提示是否趋近目标位置,比较单一视觉反馈与多通道融合反馈对操作准确率的影响。
本文尝试将手势识别技术与三维沉浸式显示技术应用于空间遥科学实验操作中,为未来空间站实现大规模、高水平使用遥科学系统以及开展空间科学实验起到技术积累的作用,后续将对上述内容进行研究,在探索中不断完善相关技术,切实有效的推动空间科学实验的发展。

Reference

1.

Zhang Y, Li G. Concept, application and development of remote science. China Aerospace, 1997, (11), 16–20

张珩, 李庚田. 遥科学的概念、应用与发展. 中国航天. 1997, (11), 16–20

2.

Fiorini P, Manzano J, Castro A. Ground-based Telerobotic Interfaces for Space Telescience. 2015

3.

Chou W, Meng S, Chen J, Li S. Space science experiment robot assists remote operation system. China's space science and technology, 2003, V23(6): 7–13

丑武胜, 孟偲, 陈建新, 李晟. 空间科学实验机器人辅助遥操作系统. 中国空间科学技术, 2003, V23(6), 7–13

4.

Sone Y. Robots, Space, and Place. Japanese Robot Culture. Palgrave Macmillan, US, 2017, 117–138 DOI:DOI:10.1057/978-1-137-52527-7_5

5.

Liang B, Gao X , Pan L, Xu W. A formation rendezvous method of space robotic system for on-orbit service of GEO. Journal of Astronautics, 2016, 37(2): 182–188 DOI:10.3873/j.issn.1000-1328.2016.02.007

6.

Creem-Regehr S H, Stefanucci J K, Thompson W B, Nash N, McCardell M. Egocentric distance perception in the Oculus Rift (DK2). In: Proceedings of the ACM SIGGRAPH Symposium on Applied Perception. Germany, ACM, 2015, 47–50 DOI:10.1145/2804408.2804422

7.

Pino N. Htc vive review. 2016

8.

Nutt C. PlayStation VR: Sony showed lots and lots of games today. 2015

9.

Moro C, Stromberga Z, Raikos A, Stirling A. Combining virtual (Oculus Rift & Gear VR) and augmented reality with interactive applications to enhance tertiary medical and biomedical curricula. In: SIGGRAPH ASIA 2016 Symposium on Education: Talks. Macau, ACM, 2016, 1–2 DOI:10.1145/2993363.2993364

10.

Mohandes M, Aliyu S, Deriche M. Arabic sign language recognition using the leap motion controller. In: 2014 IEEE 23rd International Symposium on Industrial Electronics (ISIE). 2014, 960–965 DOI:10.1109/ISIE.2014.686474

11.

Lupu R G, Botezatu N, Ungureanu F, Ignat D, Moldoveanu A. Virtual reality based stroke recovery for upper limbs using leap motion. In: 2016 20th International Conference on System Theory, Control and Computing (ICSTCC). 2016, 295–299 DOI:10.1109/ICSTCC.2016.7790681

12.

Connelly L, Jia Y C, Toro M L, Stoykov M E, Kenyon R V, Kamper D G. A pneumatic glove and immersive virtual reality environment for hand rehabilitative training after stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2010, 18(5): 551–559 DOI:10.1109/tnsre.2010.2047588

13.

Kawamura H, Ueno I, Ishikawa T. Study of thermocapillary flow in a liquid bridge towards an on-orbit experiment aboard the international space station. Advances in Space Research, 2002, 29(4): 611–618 DOI:10.1016/s0273-1177(01)00651-2

14.

Velten R, Schwabe D, Scharmann A. The periodic instability of thermocapillary convection in cylindrical liquid bridges. Physics of Fluids A: Fluid Dynamics, 1991, 3(2): 267–279 DOI:10.1063/1.858135

15.

Lim E, Hung Y M, Tan B T. A hydrodynamic analysis of thermocapillary convection in evaporating thin liquid films. International Journal of Heat and Mass Transfer, 2017, 108: 1103–1114 DOI:10.1016/j.ijheatmasstransfer.2016.12.111

16.

Kang Q, Duan L, Zhang L, Yin Y L, Yang J S, Hu W R. Thermocapillary convection experiment facility of an open cylindrical annuli for SJ-10 satellite. Microgravity Science and Technology, 2016, 28(2): 123–132 DOI:10.1007/s12217-016-9486-9

17.

Zhou J, Pan L, Ge M. Virtual visual simulation of urban lakes based on OpenSceneGraph. In: 2013 3rd International Conference on Consumer Electronics, Communications and Networks. 2013, 723–726 DOI:10.1109/CECNet.2013.6703433

18.

Potter L E, Araullo J, Carter L. The Leap Motion controller: a view on sign language. In: Proceedings of the 25th Australian Computer-Human Interaction Conference: Augmentation, Application, Innovation, Collaboration. Adelaide, Australia, ACM, 2013, 175–178 DOI:10.1145/2541016.2541072

19.

Bernardos A M, Sánchez J M, Portillo J I, Wang X, Besada J A, Casar J R. Design and deployment of a contactless hand-shape identification system for smart spaces. Journal of Ambient Intelligence and Humanized Computing, 2016, 7(3): 357–370 DOI:10.1007/s12652-016-0363-6

20.

Vamsikrishna K M, Dogra D P, Desarkar M S. Computer-vision-assisted palm rehabilitation with supervised learning. IEEE Transactions on Biomedical Engineering, 2016, 63(5): 991–1001 DOI:10.1109/tbme.2015.2480881

21.

Wang Q, Xu Y, Chen Y, Wang Y, Wu X. Dynamic hand gesture early recognition based on Hidden Semi-Markov Models. In: 2014 IEEE International Conference on Robotics and Biomimetics (ROBIO 2014). 2014, 654–658 DOI:10.1109/ROBIO.2014.7090405