摘要:在实验技术的模拟仿真方面，虚拟现实因其高度模拟真实的特点，在获取用户行为数据、产品评估与模拟仿真等领域具有其他技术无法比拟的优势。为获取用户真实的行为数据，构建自然手势交互的虚拟现实实验环境，其中主要研究内容包括:①构建沉浸性好的四通道融合虚拟现实实验环境;②利用Kinect的深度摄像头与机器训练实现虚拟现实环境下的自然手势交互;③设计人体骨骼信息、位置信息、交互信息与虚拟实验环境的通信方式。方案能够很好地运用于用户行为收集、产品测试与评估以及其他仿真与测试技术方案。
关键词:多通道融合;虚拟实验环境;自然交互;交互信息
0引言
用户真实的需求与行为数据在产品创新设计以及评估中至关重要，用户最真实的数据源于用户与真实产品的自然交互[1]。多通道融合的虚拟实验环境(Multi-channelFusionVirtualExperimentEnvironment，MFVEE)因其高度沉浸性特征使得用户可以与系统和产品进行自然交互，在获取用户真实的行为数据方面具有其他技术无法比拟的优势，也成为目前以及未来人机交互与虚拟现实领域的研究热点。目前MFVEE的交互方式并不自然[2-3]，非自然交互方式难以获取用户真实的行为数据，难以实现用户与系统的自然对话[4]。
为实现自然交互的虚拟实验环境，本文进行了以下研究:①搭建自然真实的软硬件系统。包括构建基于虚拟现实3I特征的MFVEE，利用4面投影融合技术形成的半封闭虚拟空间的硬件上构建真实的虚拟居家场景，用户佩戴3D立体眼镜之后，如同在一个封闭的家居环境中，具有高度沉浸性;②解决交互性问题，包括自然交互以及基于用户数据报协议(UserDatagramProtocol，UDP)的用户姿体信息和各客户端之间的通信问题。本文利用深度摄像头采集人体骨骼信息、位置信息、交互信息并通过采用UDP的通讯方式把用户的这些信息渲染到虚拟空间，并实时交互，得到了与Kinect在平面系统上一致的交互精度。
1相关研究
虚拟现实(VirtualReality，VR)是一种能够创建与体验虚拟世界的计算机系统，通过听觉、视觉、触觉、嗅觉等交互方式给用户提供一种身临其境的体验[5]，在VR的3个典型特征:沉浸性、想象性与交互性中，作为虚拟现实其中一个很重要的特征“交互性”一直是困扰着虚拟现实发展的重要因素[6-7]。目前为止，VR交互的标准尚未形成，各种交互设备大多存在问题，其中解决用户与虚拟空间之间更加自然更多维度的交互技术是关键[8-9]。
在虚拟现实的交互性特征研究方面，1965年，Sutherland[10]首次提出具有交互界面、力反馈和声音反馈的虚拟现实系统，他设想在这种显示技术环境中，用户可以沉浸在计算机生成的虚拟世界中并以自然的方式与虚拟世界的对象交互。此后，关于VR交互的研究逐渐增多[11-12]。2013年，乔思航[13]使用多台Kinect设备完成人体的数据采集，进而重建出个性化虚拟人的三维模型。2016年，曾继平[14]对这个方案进行了进一步改进。2017年，杨竹等[15]研究开发了基于Kinect的Unity3d人机交互接口，利用DLL技术把Unity3d引擎、Kinect体感设备和VisualStudio平台衔接起来，在Unity3d平台上对由Kinect获取到的声源位置进行识别定位，得到的实时数据可用于高级人机交互应用。
2虚拟现实实验环境设计
2.1实验硬件环境设计
本文的VR环境采用C/S结构，采用背投式投影方式，每一台投影机对应一台客户端工作站，客户端工作站负责场景的渲染和融合，把每台客户端的IP地址添加进虚拟空间中，形成一个半封闭式的虚拟空间，所有的交互发生场景都在虚拟空间中。主控端工作站负责交互数据采集，包括:用户姿体信息、用户位置信息、用户交互信息。主控端与客户端组成的系统总体框架如图1所示。
2.2实验软件环境构建
2.2.1系统软件框架构建
MFVEE的软件框架设计如图2所示，其中基础支撑层是虚拟实验环境安全可靠运行的支撑与保障。中间层支撑平台主要完成手势定义识别、碰撞检测识别、数据信息传输、体感信息解析和骨骼信息实时刷新等模块，是自然交互的核心内容，它为顶层应用提供了功能实现的技术支持和调用接口。通过支撑平台，系统应用层可以方便的调用Kinect采集的体感数据并实时驱动虚拟场景中的模型。通过数据分析，模拟出不同手势之间的阈值，从而完成抓取或者调整视角的功能开发。
2.2.2子系统与场景构建
本文构建虚拟居家环境作为系统的交互场景，如图3所示。
2.2.3自然人机交互模块
自然人机交互模块是最重要的一个子系统，交互信息包括物体被手部接触的高亮视觉反馈，物体跟随手势移动等。所有可交互物体都具有“闲置状态-热区接触-操作-恢复闲置状态”4种状态，通过有限状态机(Finite-statemachine，FSM)设定，对象的状态切换模式如图4所示。其中在物体闲置状态时，如果物体为刚体，则进行自由落体和物理碰撞等，如果为非刚体，则执行设定好的旋转或者触发操作。
3虚拟现实环境中虚实数据的交互与通讯
3.1MiddleVR插件
MFVEE环境中，负责采集人体骨骼数据的主控端通过深度摄像头采集人体信息、空间位置信息以及交互行为比如:旋转信息等。负责渲染虚拟空间的4台工作站则承载着所有的虚拟智能居家场景，通过多通道融合技术把4台客户端的场景融合在一起，组成一个半封闭的3D显示环境。这样搭建的好处是以后增加其他摄像头时只需要在主控端进行更新改进即可，而且改进融合技术以及修改模型也比较简单。本文采用Unity引擎进行开发，但是Unity并不能直接驱动多通道的虚拟空间，还需要借助桥接软件驱动，MFVEE环境采用MiddleVR插件作为开发VR应用的中间件，采用UDP通信协议进行信息传输。
3.2基于Kinect的自然交互
虚拟现实环境的3个特征之一就是交互性，本文主要研究自然手势交互，通过手势与虚拟实验环境进行交互。本文采用Kinect摄像头作为用户命令的输入，Kinect把人的身体转换成25个骨骼信息，如图5所示，在人机交互系统中，不同骨骼信息的变化与组合被定义成不同的语义，通过这种方法，用户认知被编码成各类手势语义以传达用户意图。如图5(a)所示，用户的手部被编码成3个特征点，通过3个特征点的组合进行手势语义设计，从而形成系统能够理解的“抓取”、“旋转”、“放大放小”等命令，完成人机交互过程。
3.3基于UDP通信协议的虚实数据通讯
主控端的Kinect扫描人体骨骼数据，通过局域网将采集到的数据通过UDP“广播”到其他的客户端，收到数据后的客户端解析出骨骼数据并实时在客户端渲染出来，其通信机制由3个应用组成，分别是主控端的KinectSender.exe，客户端的Render.exe，以及MiddleVR插件。主控端通过摄像头采集人体信息并实时广播到同一局域网的其他客户端，人体信息组合成字符串以UDP的方式广播到各个客户端。在4台客户端中，把其中一台客户端作为数据接收和分发端口的IPv4地址，此客户端上的程序接收人体骨骼信息、位置信息以及交互消息等，并分发给其他客户端，避免出现因为网络连接不稳定而出现的不同步现象。
4实验分析
MFVEE中，16名被试被要求执行一个交互任务:在虚拟居家中，从冰箱取出一个鸡蛋并放入阿迪锅进行煮食。16位被试由6位研究生学历或在读研究生，以及10位数字媒体专业本科生组成，都属于虚拟现实领域的熟练用户。实验目的是评估冰箱以及阿迪锅的产品用户体验是否良好，并找出产品交互的可用性问题。图6为虚拟实验测试的视频序列帧，图中的叠影和模糊画面是因为视频拍摄虚拟实验环境，如果佩戴3D眼镜就不会出现叠影和模糊的效果。
相关期刊推荐：《实验室研究与探索》杂志是教育部主管、上海交通大学主办的国内外公开发行的综合性技术刊物，全国高校实验室工作研究会会刊之一。追踪实验室工作中的新情况、新经验、新理论，进行研究探索，在推动高等学校实验室建设，提高实验室教学质量和管理水平等方面发挥了积极作用。刊物内容丰富，风格朴实，技术实用，是广大实验室工作者及技术物资工作者之友。有投稿需求的作者，可以直接与在线编辑联系。
每个被试执行任务后被要求做简短的访谈，发现了产品存在的几个问题:①3/16位被试试图旋转锅盖上的按钮来打开锅盖，但是按钮是设计来排气的，证明产品设计存在误导性;②阿迪锅看起来比较复杂，不知道怎么操作，等等。
为证明本文提出的多通道融合的虚拟现实实验环境的沉浸性与交互精确度高等特点，测试了在不同环境下的鲁棒性，分别在光照条件、黑暗条件对每种姿势的进行实验。其识别精度如表1所示，从表中可以看出，本文的方法对动态手势的识别精度较高而且对不同光照的动态姿势识别鲁棒性较好。
以本文方法生成的抓取手势为例，如图7所示，为抓取手势在VisualStudio2015的开发环境下，利用C#语言，将VGB生成的姿势进行检测的结果。
如图8所示，将抓取手势应用于冰箱门的开闭，冰箱的手势操作主要通过手部的伸开和握起来进行基础交互，当手部伸开状态碰到冰箱门把手，则高亮显示门把手部分。当手握起并进行移动时，则进行冰箱门的旋转打开操作。实验过程中交互自然性和精确度较高。
基于自然手势交互构建的虚拟实验环境沉浸性好，精确度高并且受环境影响较小。能够很好地运用于产品测试、行为分析、仿真模拟等。
5结语
本文通过分析当前虚拟现实系统存在的问题，结合实验教育技术的应用，构建了真实、自然的虚拟现实实验环境，本文的主要贡献有两个:(1)自然真实的MFVEE软硬件环境，当用户佩戴了3D立体眼镜之后，就如同站在一个封闭的接近真实的实验环境当中，MFVEE因其高度沉浸性和自然交互的特征使得用户得以与系统进行自然的、无障碍的交互，该实验环境能够用于军事、高危作业、特种设备的应急演练;产品设计、用户行为、用户心理的测试与评估;教育培训、应用游戏、系统仿真等行业;(2)用户以最自然的方式与系统对话，即系统能够理解用户的自然行为并进行正确的反馈，因此能够获取用户自然真实的行为数据并用于各种研究目的。
