摘 要 脑机接口是一种变革性的人机交互, 其中基于运动想象 (Motor imagery, MI) 脑电的脑机接口是一类非常重要的脑机交互. 本文旨在探索有效的运动想象脑电特征模式提取方法. 采用在时域、频域同时具有很高分辨率的希尔伯特 – 黄变换 (Hilbert-Huang transform, HHT), 进而提取自回归 (Auto regressive, AR) 模型参数并计算运动想象脑电平均瞬时能量, 从而构造特征向量, 最后利用能较好地适应运动想象脑电单次试验分类的支持向量机 (Support vector machine, SVM) 进行分类. 结果表明在 Trial 的 5.5 ∼ 7.5 s 期间, HHT 特征提取方法平均分类正确率为 81.08 %, 具有良好的适应性; 最高分类正确率为 87.86 %, 优于传统的小波变换特征提取方法和未经 HHT 的特征提取方法; 在 Trial 的 8 ∼ 9 s 期间, HHT 特征提取方法显著优于后两种特征提取方法. 本研究证实了 HHT 对运动想象脑电这一非平稳非线性信号具有很好的特征提取能力, 也再次验证了运动想象事件相关去同步 (Event-related desynchronization, ERD) 现象, 同时也表明运动想象脑电的脑 – 机交互系统性能与被试想象心理活动的质量密切相关. 本文可望为基于运动想象脑电的在线实时脑机交互控制系统的研究打下坚实的基础.
关键词 脑机交互控制, 脑机接口, 运动想象, 脑电, 希尔伯特 – 黄变换
直接用思维来控制机器人或假肢装置而没有大脑外周神经和肌肉的参与, 这一思想萌芽于 1929 年 Berger 发现脑电 (Electroencephalogram, EEG) 信号之后. 然而, 这方面的真正研究始于 20 世纪 70 年代[1] . 在过去的 40 多年里, 这一新方向已经吸引了许多研究者, 一些实验已经表明这样做是可能的, 这就是脑 – 机接口 (Brain-computer interface, BCI)/脑 – 控机器人接口 (Brain-controlled robot interface, BCRI), 该方向已成为国际前沿研究热点和突破点[2−5] .
脑控是近十多年兴起的一种新的控制思想和概念, 在众多脑机交互控制范式中, 基于运动想象 (Motor imagery, MI) 的脑机接口是一类非常重要的脑 – 机交互策略, 其特点是用户通过思维 “想” 或 “感觉” (运动知觉回忆和模拟) 相关的脑信号来控制机器人或外部机器, 有别于用户通过 “看” 或 “听” (视觉/听觉注意和选择) 相关的脑信号与外部设备交互的模式[6] . 然而, 运动想象脑电空间分辨率低 (厘米级)、信噪比低、易受强伪迹的干扰 (如工频干扰、眼球运动引起的眼电、肌肉运动引起的肌电等) [7−8] . 已有研究也表明, 运动想象脑电具有高度的非平稳性和非线性[9] , 这给提取运动想象脑电的特征模式提出了巨大的挑战[10] . 这也是基于运动想象脑电的 BCI 尚没有走出实验室, 没有真正意义上的商业产品的主要原因.
迄今为止, 研究者已提出了若干运动想象脑电特征模式提取方法, 如自回归 (Auto regressive, AR) 模型、自适应自回归 (Adaptive auto regressive, AAR) 模型[11−12]、小波变换 (Wavelet transform, WT)、小波包变换 (Wavelet package transform, WPT)[13−14] 以及共同空间模式 (Common spatial pattern, CSP)[15] 等特征提取方法. 小波等方法的本质是傅里叶变换, 不能同时在时域和频域有高的分辨率. CSP 方法被广泛应用, 该方法在多通道条件下能够取得良好的效果, 近几年也有研究基于 CSP 的改进算法应用到少通道情况下, 并取得了较好的分类效果[16] . 上述这些特征提取方法虽然已取得了一定的成果, 但仍然没有最终解决好运动想象脑电的模式分类问题.
本文针对运动想象脑电信号非平稳非线性的特点, 拟采用在时域、频域同时具有很高分辨率的希尔伯特 – 黄变换 (Hilbert-Huang transform, HHT)[17−21] , 可望有效地提取运动想象脑电的特征模式, 并利用在 Mu 节律 (8 ∼ 13 Hz) 和 Beta 节律 (13 ∼ 30 Hz) 有显著表现的事件相关去同步 (Event-related desynchronization, ERD) 现象[22−24] , 由平均瞬时能量和 AR 模型参数构造特征向量, 最后利用支持向量机 (Support vector machine, SVM) 进行模式分类. 本研究可望为进一步深入研究基于运动想象脑电的在线实时脑机交互控制系统打下坚实的基础.
1 材料和方法
1.1 被试、实验范式和数据采集
实验被试: 性别: 女; 年龄: 25 岁; 健康状况: 良好. 所有的试验 (Trials) 都在同一天进行, 实验包括 7 组, 每组有 40 个 Trials, 总共 280 个. 每个 Trial 持续时间为 9 s, 被试在前 2 s 保持放松状态; t = 2 s 时, 显示器屏幕呈现 “+” 字型图案, 同时有提示音提示被试试验开始, 准备运动想象; t = 3 s 时, 显示器屏幕中央出现向左或向右的箭头, 提示被试按提示的箭头方向想象左、右手的运动. 运动想象脑电采集范式如图 1 所示. 所有实验数据采集于 C3、Cz、C4 三个电极, 脑电信号由双导联方式记录, 采样频率为 128 Hz. 最终的实验数据由 140 个训练样本和 140 个测试样本组成, 训练样本类别已知. 样本数据集都是 1 152 × 3 × 140[25] (实验数据详见文献 [25]).
第 2 组数据来自于第 4 次脑 – 机接口竞赛 Data sets 2b, 包括 3 个训练数据集: B0X01T、B0X02T、B0X03T; 2 个测试数据集: B0X04E、B0X05E. 数据采自于左右手二分类实验[26] .
1.2 数据预处理
已有研究表明, 运动想象诱发的脑电主要在 Mu (8 ∼ 13 Hz) 和 Beta (14 ∼ 30 Hz) 节律段表现显著[22−24] . 本文首先对原始脑电信号数据进行 8 ∼ 30 Hz 的数字带通滤波, 采用椭圆滤波器, 通带截止频率为 8 ∼ 30 Hz, 阻带截止频率为 7 Hz 和 32 Hz, 通带衰减为 0.5 dB, 阻带衰减为 50 dB. 然后对带通滤波后的信号进行线性校正, 目的是消除线性漂移带来的伪迹.
1.3 希尔伯特− 黄变换
脑机交互控制系统中一个关键部分是特征提取, 通过特征提取把能够表征被试想象任务状态或活动的特征量提取出来. 脑活动状态之间差异显著的特征量可以减小模式识别分类器的错误分类率, 从而有效地提高分类的准确率.
希尔伯特 – 黄变换 (HHT) 由美国工程院院士黄锷所提出[27], HHT 能够很好地适用于分析非线性非平稳信号. HHT 主要包括两部分: 1) 经验模态分解 (Empirical mode decomposition, EMD); 2) Hilbert 谱分析 (Hilbert spectrum analysis, HSA).
经验模态分解是为了获得本征模函数 (Intrinsic mode function, IMF), 它具有自适应性、正交性、完备性、IMF 分量的调制特性[28]. EMD 满足如下两个条件[29]:
1) 信号极值点的数量与零点数相等或相差 1;
2) 信号的由极大值定义的上包络和由极小值定义的下包络的局部均值为 0. EMD 过程[29−30] 如下: 1) 对输入信号求取所有的极大值点和极小值点. 2) 对极大值点和极小值点采用三次样条进行拟合, 求上、下包络的曲线, 计算均值函数, 进而求出待分析信号和均值的差值 h.
3) 考察 h 是否满足 IMF 条件, 如果满足, 则把 h 作为第 1 个 IMF; 否则, 对其进行前两步操作, 直到第 k 步满足 IMF 条件, 然后求得第 1 个 IMF, 求出原信号与 IMF 的差值 r.
4) 把差值 r 作为待分解的信号, 直到剩余的 r 为单调信号或者只存在一个极点为止, 得到的表达式如下:
1.4 AR 模型参数特征
利用第 1.3 节的 HHT 方法首先对运动想象脑电信号进行经验模态分解 (EMD), 分解后各阶 IMF 如图 2 所示. 前期实验分析表明, 前三阶 IMF 对分类贡献最大, 包含 Mu 和 Beta 节律信息, 将其结合起来, 可望能提高分类正确率. 所以对前三阶 IMF 采用 Hilbert 变换求取平均瞬时幅值. 本研究使用 3、4、6、8、10、12、16 阶 AR 模型分别求取分类正确率, 阶次为 6 时正好对应了最高的分类结果. 所以, 最后基于 Burg 算法提取 6 阶的 AR 模型系数 AR1, · · · , AR6, 由 C3 和 C4 通道的 AR 模型系数组成 12 维特征向量: {C3AR1, · · · , C3AR6, C4AR1, · · · , C4AR6}.
1.6 支持向量机分类运动想象脑电模式
基于运动想象脑电的脑 – 机接口/脑 – 机交互中: 1) 脑电信号为非线性非平稳信号, 使其线性不可分; 2) 提取的脑电特征和电极组合后, 用于分类的特征向量往往是高维的; 3) 运动想象脑电的单次试验分类往往是小样本, 在线脑 – 机交互系统可供学习的样本往往更少[31] .
支持向量机 (SVM) 是基于统计学习理论的机器学习方法, 在处理分类问题上具有很好的表现. 它利用结构风险最小化理论, 在特征空间中构建最优分割超平面, 尽可能多地将两类数据点分开, 并使分开的两类数据点距离分类面最远; 它可以利用少量支持向量构建判别函数, 适宜小样本分类问题, 泛化能力强; 此外, 它采用非线性映射方法将低维输入线性不可分样本映射到高维特征空间, 使其线性可分, 不需要过多考虑维数对机器学习性能的影响. 因此, SVM 可望能较好地适应运动想象脑电信号特征的单次试验分类.
相关知识推荐：论文查重都查什么 有什么用
在本研究中, 运动想象脑电数据由 140 个训练样本和 140 个测试样本组成, 训练样本和测试样本的类别标签已知. 首先用 140 个训练样本和样本标签训练模型, 再利用得到的模型对测试样本进行标签预测, 最后通过预测标签和真实标签对比, 计算分类的正确率.
2 结果
为验证本文所述方法的有效性, 对第 1 节所述左、右手运动想象脑电数据进行了特征提取和模式分类. 图 5 (a) 呈现了对未经 HHT 变换提取得到的特征进行分类的结果, 在该种情况下, 由 AR 模型系数和平均能量构造特征向量, 然后利用 SVM 对测试集进行分类. 测试集在 5.5 ∼ 7.5 s 区间的平均分类正确率是 67.89 %, 最高分类正确率是 77.86 %; 在 8 ∼ 9 s 区间的平均分类正确率是 61.25 %, 最高分类正确率是 63.57 %.
图 5 (b) 呈现了利用小波变换提取特征的分类曲线. 实验采样频率为 128 Hz, 根据香农采样定理, 小波变换初始频率为 64 Hz, 选用 db4 小波对数据进行 3 层分解, 分解后频率范围分别为 0 ∼ 8 Hz、8 ∼ 16 Hz、16 ∼ 32 Hz、32 ∼ 64 Hz 四个频带. 选取 Mu 节律的信号 8 ∼ 16 Hz 进行能量计算, 然后, 构造基于 AR 模型系数和平均能量的特征向量, 最后采用 SVM 对测试集进行分类. 测试集在 5.5 ∼ 7.5 s 区间的平均分类正确率是 78.12 %, 最高分类正确率是 83.57 %; 在 8 ∼ 9 s 区间的平均分类正确率是 56.96 %, 最高分类正确率是 65 %.
图 5 (c) 呈现了利用 HHT 变换后提取 AR 模型系数并计算平均能量, 再构造特征向量, 然后基于 SVM 对测试集进行分类的结果. 在该种情况下, 测试集在 5.5 ∼ 7.5 s 区间的平均分类正确率是 81.08 %, 最高分类正确率是 87.86 %; 在 8 ∼ 9 s 区间的平均分类正确率是 71.33 %, 最高分类正确率是 84.29 %.
表 1 呈现了在无 HHT、小波变换 (WT)、希尔伯特 – 黄变换 (HHT) 三种特征提取方法下, 基于 SVM 在 3 ∼ 4 s、5.5 ∼ 7.5 s 和 8 ∼ 9 s 分类时间段的平均分类正确率和最高分类正确率.
表 2 呈现了第 4 次脑 – 机接口竞赛数据 Data sets 2b 的分类正确率. 表 2 中, 1T、2T、3T 是训练集, 4E 和 5E 是测试集. 其中训练集 2T 可能存在数据错误, 导致分类正确率均为 50 %, 其他两组有较高的分类正确率, 说明 HHT 方法应用在左、右手运动想象分类中效果良好.
此外, 本文针对运动想象全部时间过程的平均能量特征, 采用无 HHT、小波变换 (WT)、希尔伯特 – 黄变换 (HHT) 特征提取方法的分类正确率分别是 57.44 %、60.7 %、62.86 %.
3 讨论
基于运动想象脑电的脑 – 机交互控制接口是一类非常重要的脑 – 机接口, 然而由于运动想象脑电具有高度的非平稳性和非线性, 这使得表征运动想象的脑电特征模式难于提取, 分类难度大. 迄今为止, 研究者已提出了若干运动想象脑电特征模式提取方法[11−15] , 但仍然没有最终解决好这个模式分类问题. 在运动想象脑电的模式中, 事件相关去同步 (ERD) 已被作为一个脑 – 机交互控制信号[22−23] , 然而运动想象脑电模式也与被试的想象心理活动质量紧密相关.
本文脑电采用双导联方式记录. 该方法不使用无关参考电极, 两个活动电极互为参考, 两个电极的差值即记录的数据, 相对于单极导联法没有外加电极的干扰, 但两电极之间距离需要在 3 ∼ 6 cm 以上. 而脑电采集的单极导联法中放大器的一个输入端接活动电极 (即记录电极), 另一端一般置于耳垂或乳突 (即参考电极), 能够记录活动电极下脑电位变化的绝对值, 其波幅较高且较稳定. 本文所用到的数据注重电极之间的差值而不是单个电极幅值, 故采用双极导联法.
在本文的研究中, 在 Trial 的 5.5 ∼ 7.5 s 分类期间, 希尔伯特 – 黄变换 (HHT) 特征提取与小波变换 (WT) 特征提取相比, 最高分类正确率提高了 4.29 个百分点, 平均分类正确率也提高了 2.96 个百分点; HHT 特征提取与无 HHT 特征提取相比, 最高分类正确率提高了 13.19 个百分点, 平均分类正确率提高了 10 个百分点. 在该期间, 小波变换 (WT) 特征提取也比无 HHT 特征提取的分类性能好. 这些结果与已有研究相比[25, 32−33] , 具有特色和可比性.
此外, 在 Trial 的 8 ∼ 9 s 分类期间, 希尔伯特 – 黄变换 (HHT) 特征提取与小波变换 (WT) 特征提取相比, 最高分类正确率提高了 19.29 个百分点, 平均分类正确率也提高了 14.37 个百分点; HHT 特征提取与无 HHT 特征提取相比, 最高分类正确率提高了 20.72 个百分点, 平均分类正确率提高了 10.08 个百分点.
上述这些结果表明, HHT 在基于运动想象脑电特征模式提取中优于小波变换 (WT) 特征提取方法, 更优于无 HHT 特征提取方法. 尽管与傅里叶变换 (Fourier transformation, FT) 相比, 小波变换 (WT) 能通过伸缩和平移运算对脑电信号进行多尺度细化分析, 可以从运动想象脑电信号中提取对分类有用的信息, 但小波方法本质上是傅里叶变换, 不能同时在时域和频域有高的分辨率. 然而希尔伯特 – 黄变换 (HHT) 在时域和频域同时具有很高的分辨率, 这可能是该方法优于 WT 方法和无 HHT 的主要原因. 在三种特征提取方法中, 分类性能较差的是无 HHT 方法, 这也表明了在基于运动想象脑电的脑 – 机交互系统中, 表征运动想象的脑电模式特征提取极为重要且关键, 必须采取有效的特征提取方法, 否则分类正确率将受到很大的限制.
除上述之外, 在 Trial 的 3 ∼ 4 s 分类期间, 三种特征提取方法的分类效果均不好, 可能因为在 3 ∼ 4 s 期间为运动想象执行的初始阶段, 被试心理活动有一个滞后和适应过程, 尚没有形成较好的运动想象心理活动. 但在随后的 5.5 ∼ 7.5 s 期间, 被试运动想象活动趋于稳定, 质量较好, 三种特征提取方法的分类正确率均提高非常大, 其中最好的是 HHT 方法, 其次是 WT 方法. 在 8 ∼ 9 s 运动想象执行的最后期间, 被试运动想象心理活动质量有所降低, 分类正确率有下降趋势. 这可能在一定程度上表明了在 Trial 期间, 分类正确率随时间而波动的原因. 此外, 在 0 ∼ 2 s 期间, 要求被试心理处于放松空闲的基线状态, 在 2 ∼ 3 s 期间, 为被试运动想象准备期间, 在这两个期间, 三种方法的分类正确率在机会概率水平. 综合以上, 说明基于运动想象脑电的脑 – 机交互系统的性能还与被试想象心理活动的质量紧密相关.
已有研究把 HHT 应用到运动想象任务实验, 实验中以 C3 和 C4 通道瞬时能量值为特征分类左右手和脚运动想象, 并取得了良好的效果[34] . 本文在此基础上, 求取一定时间段的 AR 系数特征向量和平均瞬时能量值特征, 然后把两个特征相结合进行分类. 实验结果表明分类正确率有了一定的提高.
HHT 算法侧重于提取非平稳非线性的脑电信号中具有可分类特征信息的瞬时幅值, 而近年来广泛应用的 CSP 算法能够构造出适用于分类的空间滤波器, 从而提高分类效果, 为此, 可以考虑将 HHT 和 CSP 进行互补以提高分类正确率.
最后, 已有研究表明运动想象和实际运动共享某些类似的神经机制[34−37] , 这也是基于运动想象脑 – 机交互的神经科学基石. 其中, 被试在执行运动想象心理活动期间, 发生了事件相关去同步 (ERD) 现象, 并利用这一现象实现运动想象脑 – 机交互控制[22−23, 38] . 本研究通过希尔伯特 – 黄变换 (HHT), 计算了左、右手运动想象脑电的能量变化, 由图 3 (a) 可知, 从 4 s 开始左手 C3 通道的能量值开始显著大于 C4 通道, 而图 3 (b) 中右手的 C3 能量值小于 C4 通道, 这也再次证实了被试在运动想象期间发生了事件相关去同步 (ERD) 这一现象.
4 结论
运动想象脑电的特征提取和模式分类面临巨大的挑战, 其中最根本的原因之一是难于提取到能够表征运动想象心理活动的脑电特征. 本文基于在时域和频域同时具有良好局部化性质的 HHT 提取表征运动想象脑电的 AR 模型参数特征和平均瞬时能量特征, 采用能够较好地适应运动想象脑电信号单次试验分类方法的 SVM. 结果表明, 在 Trial 的 5.5 ∼ 7.5 s 分类期间, HHT 特征提取方法平均分类正确率为 81.08 %, 具有良好的适应性; 最高分类正确率为 87.86 %, 远远高于未经 HHT 处理得到的分类正确率, 提高了近十个百分点, 也优于小波变换特征提取方法; 尤其在 Trial 的 8 ∼ 9 s 分类期间, HHT 特征提取方法显著优于后两种特征提取方法. 本研究证实了希尔伯特 – 黄变换 (HHT) 能够有效地提取表征运动想象脑电的特征模式, 也再次证实了运动想象 ERD 现象, 同时也表明基于运动想象脑电的脑 – 机接口正确分类率与被试想象心理活动的质量紧密相关.
在本研究的基础上, 我们进一步的研究工作是: 1) 继续完善本研究所采用的方法, 并把这些方法集成到在线实时的基于运动想象脑电的脑 – 机交互控制系统中; 2) 在未来的在线实时系统中, 引入优化的先进神经反馈技术 — 所想即所得, 以实时调节被试/用户的脑电活动, 进一步提高正确识别率和系统的响应速度, 从而提高系统的性能; 3) 采用三边协同自适应机器学习算法适应脑电的变异性, 减轻被试的训练负担.——论文作者：孙会文 1 伏云发 1 熊 馨 1 杨 俊 1 刘传伟 1 余正涛
