摘 要：针对听障儿童自我封闭等心理障碍，设计互动性与体验感较高的增强现实技术的听障儿童智能玩具系统，提高听障儿童的互动兴趣。构建包含客户端与服务器端的系统整体架构，通过客户端的摄像机标定与数据传输模块，采集图像并运算摄像机内外参数，将图像与外参数据向服务器端传输;服务器端的虚实融合模块依据客户端所传输的图像与外参数据，构造背景贴图并实时更新摄像机位置与角度，完成场景的虚实融合，并通过用户交互模块内的运动控制部分，实现听障儿童对智能玩具移动与转动等运动的控制。实验结果表明，该系统的通信同步性与稳定性较高，可实现对智能玩具的高精度控制，平均帧率可达到30.97 f/s，有效保障动态画面呈现的流畅性，可为提高听障儿童的互动兴趣、消除自闭障碍提供有效帮助。
关键词：智能玩具;增强现实;听障儿童;互动兴趣;背景贴图;虚实融合;运动控制
0 引 言
听障儿童因存在生理缺陷，造成他们在不同程度上的自我认知能力不足，因此易出现情绪低落、压抑及自我封闭等性格与心理上的缺陷，长此以往将导致听障儿童在人际交往方面形成障碍[1] 。语言与听力方面的缺陷造成他们更习惯通过视觉感受外界生活与认知世界，因此针对听障儿童所设计的智能玩具更应注重视觉的冲击与交互的体验[2] 。基于此设计的听障儿童智能玩具，可调动听障儿童的情绪，让其注意力集中到同智能玩具的交互中，令他们产生深层次的感觉反应，并有效激发他们的学习兴趣与潜能，消除听障儿童的自我封闭等心理障碍，提高其人际交往能力[3⁃4] 。为实现此目的，需设计一种能够实现听障儿童与智能玩具交互的系统。
基于 Mindstorms 的控制系统通过 UDP 协议完成控制机器人与 PC 的通信，并运用 PD 实现控制，此系统的控制精度高，但其通信同步性与画面呈现的流畅性较差[5] ;基于 WinCE 的控制系统通过远程调试模式与控制器相连，完成在示教器内置的 WinCE操作系统下对机器人的控制，该系统画面呈现的流畅性与通信同步稳定性较佳，但控制精度略差[6] 。增强现实(Augmented Reality， AR)技术属于一种采用计算机视觉技术对摄像机位置和角度进行实时运算，同时向真实图像内叠加计算机所生成的三维虚拟物体或二维图像的技术[7⁃8] 。它不仅对虚拟现实技术的优点予以很好的继承，而且弥补了虚拟现实技术的缺陷之处，与虚拟现实技术相比，其展示效果更加真实[9] 。
综合以上分析，本文设计一种基于 AR 技术的听障儿童智能玩具系统，该系统属于一种虚拟智能玩具交互系统，可实现对真实智能玩具的运动状况与各项功能的精准演示，同时提供交互功能。该系统可通过虚拟智能玩具为听障儿童提供更加绚丽的呈现效果，同时能够代替真实智能玩具的功能，并带来真实玩具无法提供的乐趣，提升了听障儿童的互动能力与自我认知能力。
1 基于 AR 技术的听障儿童智能玩具系统
1.1 系统整体架构
通过分析 AR 技术的听障儿童智能玩具系统需求，运用 C/S 架构创建保护客户端与服务器端的系统整体架构。其中，客户端的主要任务为采集图像、标定摄像机以及运算场景信息等;服务器端的关键职责为搭建与渲染虚拟场景、智能玩具运动控制、场景的虚实融合及用户交互界面显示等。系统的整体架构如图 1所示。图 1 系统整体架构图依据 AR 技术的听障儿童智能玩具系统的现实应用需求，划分该系统的功能需求为基本功能需求与高级功能需求。其中，基本功能需求属于该系统正常运行的根本，采用标定摄像机的方式将摄像机姿态确准，达到智能玩具场景虚实融合的目的;高级功能需求的重点为听障儿童手动操控虚拟智能玩具漫游与指定漫游路线等交互功能。
1.2 系统功能模块划分与设计
1.2.1 摄像机标定与数据传输模块
通过采集一定量具有完整标识图的图像实施摄像机标定，运算出摄像机的内部参数，以 XML 格式的文件储存运算内部参数。通过读取所运算的内部参数，以采集的每帧图像为依据，对摄像机外部参数实施运算，向服务器端发送运算所得的摄像机外部参数及所采集的当前帧图像数据。继续进入下一帧，重复以上过程实施帧循环。通过 Socket实现数据传输，建立同服务器端的 TCP 连接后，分包发送每帧数据，重复操作直至进程完成或终止。摄像机标定与数据传输模块过程如图2所示。
1.2.2 场景虚实融合模块
此模块主要包括虚拟场景搭建与场景虚实融合两部分。系统以真实场景为依据完成虚拟环境的搭建，所搭建的虚拟场景内主要包含：智能玩具三维模型、虚拟摄像机、模型材质、场景光源及虚拟地面等。另外，将自动漫游功能加入到虚拟智能玩具内，令其可在虚拟环境下实施漫游展示。
客户端传输的摄像机外部参数数据与图像数据由服务器端的数据接收模块接收;通过格式变换接收到的图像数据，将格式变换后的图像数据当作当前帧的背景贴图;采用接收到的摄像机外部参数运算出摄像机的位姿和角度，依据运算结果对当前帧的摄像机姿态实施设置;进入下一帧循环执行以上过程，将融合了真实场景和虚拟场景的感官效果展现给听障儿童。场景虚实融合过程如图 3所示。
1.2.3 用户交互模块
在以上两个模块的基础上，设计包含智能玩具运动控制、指定运动路径两部分的用户交互模块，将更好的 沉浸感与真实感提供给听障儿童[10] 。用户交互模块结构如图 4所示。
通过用户交互模块中的运动控制部分，听障儿童可实现以键盘、鼠标或其余输入设备控制智能玩具转动和移动;通过该模块中的指定运动路径部分可实现屏幕的拾取功能，比如听障儿童通过鼠标指定虚拟环境中的某个点，系统能够检测到该指定点的位置，并令智能玩具依据检测到的指定点位置运动[11⁃12] 。
1.4 场景虚实融合
通过设置背景贴图，并对摄像机位置和角度予以实时更新，能够令虚拟场景和真实场景接近一致，实现场景的虚实融合[13] 。
1.4.1 背景贴图构造
融合虚拟场景和真实场景为 AR 技术的关键，以此实现将虚拟物体或图像向实际环境内真实叠加的效果[14] ，故应将由摄像机采集的图像当作虚拟场景的背景贴图。通过运用辅助摄像机的深度渲染层次，在场景内构造背景贴图。以深度值为依据由高到低对物体实施渲染，即为整个虚拟场景内的渲染顺序。设背景贴图的深度值为-1，其他场景元素的深度值均为 1，场景中主摄像机的采集区间设为深度值≥1，辅助摄像机的采集区间设为深度值≤-1，如此整个虚拟场景内除了背景贴图之外的其余场景元素均由主摄像机实施成像，辅助摄像机仅对背景贴图实施成像。当对每帧图像实施渲染时，应先对整个虚拟场景内深度值高的部分实施渲染，再对深度值低的背景贴图实施渲染，获得背景贴图置于整个虚拟场景之后的最终效果。
1.4.2 数据接收与场景更新
完成背景贴图构造后，在场景对每帧实施渲染，通过监听端口接收的图像数据对背景贴图实施更新，同时对虚拟摄像机的位置与角度予以实时调整[15] 。场景更新过程如图 5 所示。采用 New Thread 构建子线程，在子线程内开启监听端口实施监听。当子线程监听端口接收到图像数据后，对其实施相应的坐标转换;通过 GPU 操作依次设定相对位置像素的三通道值，避免了单个设置各个像素值运行效率低的问题;向 Color 数组内存储每个图像的全部像素值，再对当前帧的背景贴图像素值实施设置。
1.5 智能玩具运动控制
为实现对智能玩具的运动控制，需通过客户/服务器模式并基于 TCP/IP 协议设计反馈式增量控制方法，其中，客户端与服务器端分别为下位机与上位机。具体控制过程如图 6所示。
具体控制步骤为：
1)由下位机发出连接请求。
2)上位机对下位机发出的连接请求实施监听。
3)当上位机监听到来自下位机发出的连接请求后，若未给予应答，则返回步骤 1);若下位机得到上位机的连接应答，则继续。
4)下 位 机 对 智 能 玩 具 当 下 的 位 置 数 据 { E, A1 , A2 ,…, A5 }进行读取，其中 A1~A5 表示智能玩具的 5 个旋转自由度，E 表示智能玩具的整体平移自由度，并以数据包格式将其封装之后向上位机发送。
5)当上位机将来自下位机的数据包接收到之后，以设定的运动轨迹为依据，对智能玩具运动自由度下一帧的位移增量{ ΔE,ΔA1 ,ΔA2 ,…,ΔA5 }实施运算，并以指令格式将其封装发往下位机。
6)下位机接收到来自上位机的指令数据之后，将智能玩具各自由度的位移增量数据提取出，并依据设定的增量驱动智能玩具运动。
相关知识推荐：论文发表国际期刊快吗
7)下位机对通信是否断开实施检测，若未断开则转至步骤 4);反之，则转至步骤 1)。
2 实验结果分析
以某公司生产的智能玩具为实验对象(如图 7 所示)，检验本文系统的综合性能。选取基于 Mindstorms 的智能机器人控制系统与基于 WinCE 的开放式 6R 工业机器人控制系统作为本文系统的对比系统，两个对比系统分别为参考文献[5⁃6]系统，将实验智能玩具分别用于三个系统中，对比分析各系统的综合性能。系统测试环境为：
1)服务器端：Microsoft SQL Server 2014 数据库、 Windows Server 2016 服 务 器 操 作 系 统 、Power Builder 9.1及 IIS 6.1信息服务管理工具。
2)客户端：Windows 10、Power Builder 9.1、IE10 及以上版本浏览器。
2.1 通信同步性分析
对于在交互过程中实施对实验智能玩具的运动控制时，上位机与下位机的通信同步性尤为重要，同步性越高则智能玩具对交互过程中的运动控制反映越灵敏，如此能够有效提升听障儿童交互时的真实体验。在此通过通信频率对三个系统的通信同步性实施检测与分析，所得检测结果如图 8所示。通过图 8能够得出，本文系统与 WinCE 系统随通信周期的增加，通信频率并未出现显著波动，而 Mindstorms 系统的通信频率波动现象较为明显;本文系统的整体通信频率明显高于其他两个系统，由此可见，本文系统与 WinCE 系统的通信同步稳定性更好，本文系统的通信同步性更高。
2.2 运动控制性能分析
分别将三个系统中所用的摄像机依次安装于实验智能玩具上，对比各系统交互过程中控制实验智能玩具时的运动控制误差。统计各系统运动控制过程中，实验智能玩具的实际轨迹和设计轨迹间的误差，以此对比各系统的运动控制误差。分别对比 x，y，z三个平移方向的误差，对比结果如图 9所示。由图 9可知，在本文系统控制下，实验智能玩具的 x，y，z 三个方向的平均位移误差依次为 1.96 mm、0.69 mm、0.75mm，三个方向的最大误差依次为 2.41mm、0.98 mm、1.12 mm;在 Mindstorms 系统控制下，实验智能玩具的 x，y，z 三个方向的平均位移误差依次为 3.08 mm、1.76 mm、1.68 mm，三个方向的最大误差依次为 3.86 mm、2.12 mm、2.47 mm;在 WinCE 系统控制下，实验智能玩具的 x，y，z 三个方向的平均位移误差依次为 5.47 mm、2.78 mm、2.71 mm，三个方向的最大误差依次为 6.23 mm、3.66 mm、3.56 mm。由此说明，本文系统对实验智能玩具的运动控制误差更低，能够更好地实现智能玩具的实际运动轨迹与设计运动轨迹重合，控制效果好、精准度高、控制性能优越。
2.3 流畅性能测试
为进一步检验本文系统对动态画面呈现的流畅性能，现对三个系统 30 s内背景贴图更新的帧率状况实施分析图 10中各系统的测试结果能够得出，在实施背景贴图更新过程中，本文系统与 WinCE 系统的平均帧 率分别为30.97 f/s和25.55 f/s，明显高于Mindstorms系统 15.33 f/s 的平均帧率，可见本文系统与 WinCE 系统对于动 态 画 面 的 流 畅 显 示 能 够 给 予 更 有 效 的 保 障 ，而 Mindstorms 系统在呈现动态画面的流畅性方面稍显薄弱。
综合以上 3 组实验测试结果可知，本文系统在通信同步性、运动控制性能及流畅性能三方面的综合表现更为优越，具有非常好的实时交互性能，能够有效提升听障儿童与智能玩具的互动体验感和互动性。
3 结 语
本文设计了一种基于 AR 技术的听障儿童智能玩具系统，针对听障儿童在互动与人际交往等方面的缺陷，提供一种可实现听障儿童与智能玩具间实时交互的系统。通过 AR 技术的虚实融合，实现向真实环境中叠加虚拟物体或图像的目的，为听障儿童提供一个逼真的虚拟交互场景，并结合运动控制方法实现听障儿童对智能玩具的运动控制，提升交互效果，令听障儿童在交互过程中激发对智能玩具的兴趣，消除其自我封闭与压抑等情绪，逐步提升听障儿童的互动能力与人际交往能力。通过实验测试可知，本文系统具有较高的通信同步性能，通信稳定性较好，能够实现对智能玩具的有效控制，控制精度高，同时可有效保障所呈现动态画面的流畅性，提升听障儿童的真实体验感。——论文作者：周玉翠，毛泽民
参 考 文 献
[1] 王秀丽，蒋晓，赵丹琳，等 .基于具身认知的儿童智能玩具交互设计研究[J].包装工程，2019，40(16)：165⁃170.
[2] 赵栅凌 . 聋人文化视域下听障儿童音乐教育现状的审视与突围[J].四川戏剧，2019(7)：161⁃164.
[3] 陈丽兰，王雁，肖少北 . 智力在听障儿童信息加工速度与数量加工间的中介作用[J]. 中华行为医学与脑科学杂志，2019，28 (10)：925⁃929.
[4] 汪梅梅，刘晋宣，万勤，等 .不同视听提示方式对学龄前听障儿童嗓音基频的影响[J]. 听力学及言语疾病杂志，2018，26(6)： 624⁃627.
[5] 程翀，郭晓彬，陈祥磊，等 .基于 Mindstorms 的智能机器人控制系统开发[J]. 武汉理工大学学报(交通科学与工程版)，2018， 42(2)：247⁃252.
[6] 王振华，许琳娜，兰雪艳 .基于 WinCE 的开放式 6R 工业机器人控制系统研究与开发[J]. 组合机床与自动化加工技术，2018 (6)：76⁃80.
[7] 张海森，杨光辉，刘超见，等 .基于 AR 技术的跨平台移动终端的辅助学习系统[J].图学学报，2018，39(1)：85⁃90.
[8] 伊鹏，刘衍聪，石永军，等 .基于增强现实技术的工程图学移动端教学系统设计与开发[J].图学学报，2018，39(6)：1207⁃1213.
[9] 滕健，万福成 . 基于增强现实的产品展示 APP 设计研究[J]. 包装工程，2017，38(14)：219⁃223.
[10] 吴群彪，方海峰，范纪华，等 .基于 VR/AR 技术的机械课程教学方法探索[J].机械设计，2018，35(z2)：432⁃434.
[11] 刘子建，李欣 . 基于增强现实技术的儿童数字化阅读产品设计[J].包装工程，2019，40(8)：197⁃203.
[12] 田元，周幂，夏丹，等 . 基于移动增强现实的学龄前儿童教育游戏研究与设计[J].电化教育研究，2019，40(4)：68⁃75.
[13] 张四方，江家发 . 科学教育视域下增强现实技术教学应用的研究与展望[J].电化教育研究，2018，39(7)：64⁃69.
[14] 杨家博，杨刚，杨猛 .基于深度图像分割与物体跟踪的增强现实系统[J].系统仿真学报，2017，29(11)：2788⁃2795.
[15] 张志利，王超，龙勇，等 .基于核相关滤波器无标识 AR 的目标跟踪仿真[J].系统仿真学报，2018，30(11)：4462⁃4468.
