摘要：为了提高无刷直流电机BLDCM(BrushLessDirectCurrentMotor)的工作稳定性，设计了一种基于Q学习算法优化的BP神经网络控制器QBP-PID(Q-learningoptimizedbackpropagationneuralnetworkPID)。QBP-PID利用BP神经网络BPNN(BPNeuralNetwork)对PID增益进行调节，并且引入Q学习的最优策略来修正权值动量项因子，优化BPNN中的关键权值，使得控制器具有更好的学习能力和在线修正能力。仿真结果表明相比传统的PID、模糊PID(Fuzzy-PID)和BP神经网络PID(BP-PID)，QBP-PID的自适应能力、抗干扰能力和鲁棒性更强。
关键词：控制理论与控制工程;无刷直流电机;PID控制器;BP神经网络;Q学习
0引言
近年来，随着电子、传感器、自动控制以及制造技术的不断发展，无刷直流电机以其效率高、响应快、可靠性强以及易维护等优点在伺服、驱动、定位和变速等领域得到了广泛的应用[1-5]。转速控制是无刷直流电机驱动应用的一个重要方面，通常需要设计高效的控制器来实现不同工作条件下的连续控制，目前已经开发了许多转速控制器来提高无刷直流电机的性能[6-8]。
传统PID控制器由于其结构设计简单和可靠性强而被广泛用于无刷直流电机转速控制[5,8]，但其也存在参数难以确定和非线性问题等，使得控制器无法达到最佳性能。因此，出现了许多智能控制算法优化的无刷直流电机转速控制器，如滑模控制器和模糊PID控制器[6,9]。模糊PID控制器相比于滑模控制器，除了无抖振外，其无需精确的数学模型，且控制精度高、响应速度快[9]，但模糊控制的控制规则基于经验确定导致其适应性差。而神经网络具有较强的学习能力，其能自适应地对PID参数进行调节，从而提高控制器的性能。文献[8]中设计了一个单神经元PID控制器对无刷直流电机转速进行控制，文献[10]构建了一个单隐层前馈神经网络来实现无刷直流电机的无位置传感器控制，文献[11]中针对永磁同步电机中存在的混沌运动，设计了时延Elman递归神经网络控制器和辨识器。相比于其他神经网络，BP神经网络只要有足够多的隐含层和隐节点，就可以逼近任意的非线性映射关系，而且结构和学习算法简单明确,不依赖于被控对象的模型,通过神经网络自身的学习，可以找到某一最优控制律下的参数[12]。
文献[13]中为了使电梯能够更好的满足舒适性和快速性的要求，对电梯用永磁同步电机的控制算法进行改进，将BP神经网络PID控制算法应用于永磁同步电机调速系统。文献[14]中针对无轴承异步电机传统PID控制中存在参数难以获得的问题，提出了一种基于BP神经网络PID控制新策略。但这些算法训练时间长，且权值参数难以确定。而Q学习具有很强的搜索能力，能快速确定神经网络的参数[15]。
相关期刊推荐：《吉林大学学报(工学版)》1957年创刊，是综合性学术期刊。主要报道吉林大学工学门类的科学研究成果。包括：机械工程、材料科学与工程、动力工程及工程热物理、交通运输工程、农业工程、控制科学与工程、计算机科学与技术、电子科学与技术、信息与通信工程等方面的学术论文。也发表国内外在上述领域的最新研究成果。
因此，结合Q学习的强搜索能力与BP神经网络的非线性映射能力、自适应能力等，设计了一种无刷直流电机的转速控制器QBP-PID。QBP-PID引入Q学习来修正神经网络权值动量项因子，使其达到更佳的控制效果，使得控制器具有更好的学习能力和在线修正的能力，从而增强系统的抗干扰和鲁棒能力。为了验证QBP-PID的性能，在不同的工作条件下，与传统的PID[5]、Fuzzy-PID[9]、BP-PID[13]三种控制器在超/欠调量、稳定/恢复时间、稳态误差等方面进行了仿真分析。
1无刷直流电机数学模型
三相星形连接BLDCM可转换为如图1所示的电路图。BLDCM的数学模型可以用矩阵形式表示为
3仿真分析
在Matlab/Simulink环境中，编写S函数与Simulink框图相结合建立系统模型。同时在BLDCM控制系统中对不同运行条件下的控制器进行仿真比较，验证QBP-PID的性能。BLDCM仿真参数如表1所示[17]。
首先，在空载条件下进行试验，转速响应对比曲线如图5所示，其中图5(b)为5(a)转速恢复平稳状态的细节图。从图5可以看出，PID和BP-PID有明显的超调现象、稳定时间较长分别为0.068s和0.048s，且恢复稳定状态时仍有振荡现象，Fuzzy-PID虽然没有明显的超调现象但其稳定时间较长，达到0.077s，稳定状态仍有小波动且误差大，QBP-PID显然没有明显的超调现象、稳定时间最短为0.025s且稳态误差最小为0.2r/min。综合以上性能指标的对比分析，可以看出QBP-PID比其他控制器的控制效果更好。
其次，BLDCM的控制系统在负载变化的情况下运行，以确定QBP-PID的性能优点。在0.1s对系统添加2N的外力，转速响应曲线如图6所示，图6(b)为系统在0.1s处突加外力干扰的状态细节图。
从图6可以看出，当负载施加在0.1s时，PID和BP-PID存在明显的扰动现象，最大幅值分别为101.1r/min和74.3r/min，经过一段时间后才恢复稳定状态且仍有小波动，Fuzzy-PID虽然没有大幅的扰动现象但稳态误差较大些，而QBP-PID波动最小，恢复稳定状态快且稳态误差最小。因此，证明了QBP-PID的鲁棒性、抗干扰能力及响应速度明显优于其他控制器。
最后，对QBP-PID在转速变化条件下的控制性能进行验证。当系统运行到0.2s时，速度从2500r/min加速至3000r/min，此时的速度响应对比曲线如图7所示，图7(b)为系统在0.2s时转速变化的细节图。
从图7可以看出，当转速在0.2s突然变化时，QBP-PID的响应速度最快，恢复稳定状态用时最短，且稳态误差最小，PID和BP-PID存在明显的超调现象，经过一段时间后才恢复稳定状态，Fuzzy-PID虽然没有明显的超调现象，但其响应速度较慢且恢复平稳状态的时间较长约为0.089s。由此可见QBP-PID对系统的控制效果优于其他控制器。
从以上三组不同控制条件下的仿真结果可以看出，所有的控制器都可以正确的跟踪设定的转速。然而，所提出的控制器QBP-PID在响应速度、稳态误差和稳定时间等方面都优于其他控制器。证明了该控制器具有更好的自适应能力、抗干扰能力和较强的鲁棒性。
4结论
为了提高BLDCM的转速控制性能，设计了一种基于Q学习算法优化的BP神经网络控制器QBP-PID。通过对权值动量项因子的修正和关键权值的优化，QBP-PID获得了自学习和在线修正的能力，从而大大提高了控制效果。在空载、负载、变速的工作条件下，仿真验证了QBP-PID、PID、Fuzzy-PID及BP-PID四种控制器转速响应的超/欠调现象、稳定时间、恢复时间、响应速度和稳态误差等性能指标。结果表明，QBP-PID均优于PID、Fuzzy-PID和BP-PID控制器。——论文作者：王宏志1,2，王婷婷1，胡黄水3，鲁晓帆3
