基于非线性多输入多输出近似动态规划的发动机缸平衡智能调节算法
黄志坚+熊雪梅+张赞+李宇栋+陈文涛+张琴
摘要：为解决发动机缸平衡控制问题，将标准近似动态规划（approximate dynamic programming， ADP）扩展为多输入多输出形式，給出其控制算法，并证明其收敛性。仿真结果显示，该方法能在一定范围内智能地调节各缸喷油量，用于补偿由多种不确定因素导致的各缸转速差异，从而自适应地提高缸平衡效果。该方法只需基于实时转速，不必检测和区分各缸间的转速差异，具有非线性系统的智能优化特点。该方法能直接处理各缸间的非线性多输入多输出耦合关系。
关键词： 近似动态规划； 多输入多输出（MIMO）； 非线性系统； 自适应性； 缸平衡； 怠速
中图分类号： TP273 文献标志码： A
Abstract： In order to solve the cylinder equilibrium control problem of engines， the standard approximate dynamic programming （ADP） is extended to be of multi-input multi-output （MIMO） form， the control algorithm is presented， and its convergence is proved. The simulation results show that， the method can intelligently adjust the injection quantity of each cylinder in a certain range so as to compensate speed differences among cylinders caused by various uncertain factors， and realize the adaptive improvement of the cylinder equlibrium effect. The method is based on the real-time speed and has no need to detect and distinguish speed differences among cylinders， so it is of intelligent optimization characteristics of nonlinear system. It can directly deal with the nonlinear MIMO coupled relationship among cylinders.
Key words： approximate dynamic programming （ADP）； multi-input multi-output （MIMO）； nonlinear system； adaptivity； cylinder equilibrium； idle speed
0 引 言
对于发动机的转速控制，过去专注于其长期转速值上，而常常忽视一个发动机循环上各缸间的转速波动，即缸平衡控制问题[1]。因此，有通过对各缸扭矩的自适应调节实现转速均衡输出的需求。目前，该领域只探索过几种技术与方法。1996年，SHIM等[2]采用PID控制，通过调整点火提前角平衡怠速发动机模型的各缸波动。1998年，BIDAN等[3]采用气流率控制，并依靠车载交流同步电机提供快速补偿扭矩，实现了缸平衡控制。1999年，KIM等[4]综合神经网络方法和遗传算法，通过改变喷油定时平衡怠速发动机模型的各缸燃烧。2007年，KIM等[1]又采用遗传算法和Alopex算法控制怠速发动机模型的各缸转速波动。2009年，程文志等[5]通过控制共轨柴油机的多次喷油量，补偿因各缸喷油量不均而产生的转速波动。2010年，PAYRI等[6]采用多次喷射方法，通过控制引导喷射定时和燃烧质心角范围矫正各缸燃烧的不稳定性。2012年，LI等[7]采用模型预测控制提高由喷油器差异和老化磨损等导致的发动机各缸间的扭矩不平衡。2013年，SUN等[8]采用平均指示压力的协方差衡量氢内燃机的各循环差异，并采用PID综合控制来抑制其不平衡。
然而，上述PID方法对非线性多输入多输出耦合系统并不十分高效，其他方法不是需要对象的数学模型，就是需要检测波动来自哪一缸或各缸波动的差异。各缸间的瞬态不平衡检测往往不够精确，或者在很多场合需要专用设备。因此，本文采用近似动态规划（approximate dynamic programming， ADP）方法。它不需要专用设备检测波动来自哪一个缸，也不需要对象的数学模型，只需要发动机的实时转速信号。该方法可直接处理发动机各缸间的非线性多输入多输出耦合关系，具有快速迭代收敛性能。它通过自适应调节各缸喷油量提高缸平衡效果，从而补偿由器件差异、参数时变、老化磨损等不确定因素导致的各缸差异，具有非线性系统的智能优化特点，最终提高发动机的转速稳定性。本方法为发动机缸平衡控制提供了一种新的思路，是一种可行的非线性多输入多输出ADP优化算法。
2 控制器设计与仿真
2.1 控制器设计
1）优化目标。对一个发动机循环上的转速采样数据进行离散傅里叶变换（discrete Fourier transform， DFT），若4个周期性波形完全一致（见图2中的第一个波形），即各缸间转速波动一致，则其一阶谐波与二阶谐波的模之和为零[1]。
6）多输入多输出连接。执行网络的2个输入分别是一个发动机循环上转速采样值DFT结果的基波频率的模、二阶谐波频率的模。执行网络的4个输出分别是1～4缸喷油量的大小。评价网络的6个输入分别是一个发动机循环上转速采样值DFT结果的基波频率的模、二阶谐波频率的模，以及1～4缸喷油量的大小。
7）控制器参数。需要设计的控制器参数有：学习率、期望训练误差、最大训练循环次数、折扣因子和神经网络初始权值。对于评价网络，它们分别为：0.3，每次迭代减0.05直到0.01；0.05；50次；0.95；（-1，+1），随机取值。对于执行网络，它们分别为：0.3，每次迭代减0.05直到0.01；0.005；500次；0.95；（-1，+1），随机取值。
2.2 控制仿真
控制仿真见图3。ADP控制器和发动机模型均由MATLAB的m文件编程实现。发动机模型参数初始化后，即得到当前时刻的运行转速及其波动情况。采样一个完整工作周期的转速值后，进行DFT，从而得到当前时刻性能指标U（t）的值。已经初始化过的ADP控制器在该性能指标及其训练算法的作用下，首先训练评价网络，再在理想转速性能指标和评价网络训练结果的基础上，根据算法进一步训练执行网络，从而得到改进的控制策略，作用于发动机模型，并得到调节后的转速及其波动情况。依此循环，直到最优。
仿真结果显示，ADP控制器经过8次迭代过程，1～4缸通过智能地调节喷油量抵消不平衡扭矩（见图4），从而消除了各缸间的不平衡转速波动。该过程一致收敛，也没有超调现象（见图5）。评价和执行网络误差也迅速收敛到一个极小值（见图6）。试验结果表明这是一个成功的ADP优化学习过程。此外，该控制方法取得了目前为止最快的迭代收敛速度，它可能比目前已经发表文献中的方法都要快2倍[1]。
形式，并将其应用于典型非线性多输入多输出耦合系统。对怠速发动机缸平衡的控制取得智能化的自适应优化效果。ADP优化控制器不需要检测各缸波动的差异，可直接处理四缸间的非线性多输入多输出耦合关系，具有非线性系统的智能优化特点；ADP方法也是一种反馈控制方法，具有抵抗扰动的鲁棒性能。
参考文献：
[1] KIM DaeEun， PARK J. Application of adaptive control to the fluctuation of engine speed at idle[J]. Information Sciences， 2007， 177（16）： 3341-3355. DOI： 10.1016/j.ins.2006.12.021.
[2] SHIM D， PARK J， KHARGONEKAR P P， et al. Reducing automotive engine speed fluctuation at idle[J]. IEEE Transactions on Control Systems Technology， 1996， 4（4）： 404-410. DOI： 10.1109/87.508888.
[3] BIDAN P， KOUADIO L K， VALENTIN M， et al. Electrical assistance for S.I. engine idle-speed control[J]. Control Engineering Practice， 1998， 6（7）： 829-836. DOI： 10.1016/S0967-0661（98）00061-6.
[4] KIM DaeEun， PARK J. Neural network control for reducing engine speed fluctuation at idle[J]. IEEE Transactions on Control Systems Technology， 1999， 4： 629-634. DOI： 10.1109/ICSMC.1999.812477.
[5] 程文志， 張衡， 徐辉， 等. 高压共轨柴油机怠速控制策略研究[J]. 车用发动机， 2009（4）： 61-64. DOI： 10.3969/j.issn.1001-2222.2009.04.014.
[6] PAYRI F， BROATCH A， SALAVERT J M， et al. Investigation of diesel combustion using multiple injection strategies for idling after cold start of passenger-car engines[J]. Experimental Thermal and Fluid Science， 2010， 34： 857-865. DOI： 10.1016/j.expthermflusci.2010.01.014.
[7] LI P， SHEN T， LIU D. Idle speed performance improvement via torque balancing control in ignition-event scale for SI engines with multi-cylinders [J]. International Journal of Engine Research， 2012， 13（1）： 65-76. DOI： 10.1177/1468087411405415.
[8] SUN Baigang， ZHANG Dongsheng， LIU Fushui. Cycle variations in a hydrogen internal combustion engine[J]. International Journal of Hydrogen Energy， 2013， 38： 3778-3783. DOI： 10.1016/j.ijhydene.2012.12.126.
[9] BELLMAN R. Dynamic programming[M]. Princeton， NJ： Princeton University Press， 1957： 1-56. DOI： 10.1126/science.153.3731.34.
[10] SI Jennie， WANG Yu-Tsung. On-line learning control by association and reinforcement[J]. IEEE Transactions on Neural Networks， 2001， 12（2）： 264-276. DOI： 10.1109/72.914523.
[11] SOKOLOV Y， KOZMA R， WERBOS L D， et al. Complete stability analysis of a heuristic approximate dynamic programming control design[J]. Automatica， 2015， 59： 9-18. DOI： 10.1016/j.automatica.2015.06.001.
[12] WANG Ding， LI Chao， LIU Derong， et al. Data-based robust optimal control of continuous-time affine nonlinear systems with matched uncertainties[J]. Information Sciences， 2016， 366： 121-133. DOI： 10.1016/j.ins.2016.05.034.
[13] JIANG He， ZHANG Huaguang， LUO Yanhong， et al. Optimal tracking control for completely unknown nonlinear discrete-time Markov jump systems using data-based reinforcement learning method[J]. Neurocomputing， 2016， 194： 176-182. DOI： 10.1016/j.neucom.2016.02.029.
（编辑 赵勉）
摘要：为解决发动机缸平衡控制问题，将标准近似动态规划（approximate dynamic programming， ADP）扩展为多输入多输出形式，給出其控制算法，并证明其收敛性。仿真结果显示，该方法能在一定范围内智能地调节各缸喷油量，用于补偿由多种不确定因素导致的各缸转速差异，从而自适应地提高缸平衡效果。该方法只需基于实时转速，不必检测和区分各缸间的转速差异，具有非线性系统的智能优化特点。该方法能直接处理各缸间的非线性多输入多输出耦合关系。
关键词： 近似动态规划； 多输入多输出（MIMO）； 非线性系统； 自适应性； 缸平衡； 怠速
中图分类号： TP273 文献标志码： A
Abstract： In order to solve the cylinder equilibrium control problem of engines， the standard approximate dynamic programming （ADP） is extended to be of multi-input multi-output （MIMO） form， the control algorithm is presented， and its convergence is proved. The simulation results show that， the method can intelligently adjust the injection quantity of each cylinder in a certain range so as to compensate speed differences among cylinders caused by various uncertain factors， and realize the adaptive improvement of the cylinder equlibrium effect. The method is based on the real-time speed and has no need to detect and distinguish speed differences among cylinders， so it is of intelligent optimization characteristics of nonlinear system. It can directly deal with the nonlinear MIMO coupled relationship among cylinders.
Key words： approximate dynamic programming （ADP）； multi-input multi-output （MIMO）； nonlinear system； adaptivity； cylinder equilibrium； idle speed
0 引 言
对于发动机的转速控制，过去专注于其长期转速值上，而常常忽视一个发动机循环上各缸间的转速波动，即缸平衡控制问题[1]。因此，有通过对各缸扭矩的自适应调节实现转速均衡输出的需求。目前，该领域只探索过几种技术与方法。1996年，SHIM等[2]采用PID控制，通过调整点火提前角平衡怠速发动机模型的各缸波动。1998年，BIDAN等[3]采用气流率控制，并依靠车载交流同步电机提供快速补偿扭矩，实现了缸平衡控制。1999年，KIM等[4]综合神经网络方法和遗传算法，通过改变喷油定时平衡怠速发动机模型的各缸燃烧。2007年，KIM等[1]又采用遗传算法和Alopex算法控制怠速发动机模型的各缸转速波动。2009年，程文志等[5]通过控制共轨柴油机的多次喷油量，补偿因各缸喷油量不均而产生的转速波动。2010年，PAYRI等[6]采用多次喷射方法，通过控制引导喷射定时和燃烧质心角范围矫正各缸燃烧的不稳定性。2012年，LI等[7]采用模型预测控制提高由喷油器差异和老化磨损等导致的发动机各缸间的扭矩不平衡。2013年，SUN等[8]采用平均指示压力的协方差衡量氢内燃机的各循环差异，并采用PID综合控制来抑制其不平衡。
然而，上述PID方法对非线性多输入多输出耦合系统并不十分高效，其他方法不是需要对象的数学模型，就是需要检测波动来自哪一缸或各缸波动的差异。各缸间的瞬态不平衡检测往往不够精确，或者在很多场合需要专用设备。因此，本文采用近似动态规划（approximate dynamic programming， ADP）方法。它不需要专用设备检测波动来自哪一个缸，也不需要对象的数学模型，只需要发动机的实时转速信号。该方法可直接处理发动机各缸间的非线性多输入多输出耦合关系，具有快速迭代收敛性能。它通过自适应调节各缸喷油量提高缸平衡效果，从而补偿由器件差异、参数时变、老化磨损等不确定因素导致的各缸差异，具有非线性系统的智能优化特点，最终提高发动机的转速稳定性。本方法为发动机缸平衡控制提供了一种新的思路，是一种可行的非线性多输入多输出ADP优化算法。
2 控制器设计与仿真
2.1 控制器设计
1）优化目标。对一个发动机循环上的转速采样数据进行离散傅里叶变换（discrete Fourier transform， DFT），若4个周期性波形完全一致（见图2中的第一个波形），即各缸间转速波动一致，则其一阶谐波与二阶谐波的模之和为零[1]。
6）多输入多输出连接。执行网络的2个输入分别是一个发动机循环上转速采样值DFT结果的基波频率的模、二阶谐波频率的模。执行网络的4个输出分别是1～4缸喷油量的大小。评价网络的6个输入分别是一个发动机循环上转速采样值DFT结果的基波频率的模、二阶谐波频率的模，以及1～4缸喷油量的大小。
7）控制器参数。需要设计的控制器参数有：学习率、期望训练误差、最大训练循环次数、折扣因子和神经网络初始权值。对于评价网络，它们分别为：0.3，每次迭代减0.05直到0.01；0.05；50次；0.95；（-1，+1），随机取值。对于执行网络，它们分别为：0.3，每次迭代减0.05直到0.01；0.005；500次；0.95；（-1，+1），随机取值。
2.2 控制仿真
控制仿真见图3。ADP控制器和发动机模型均由MATLAB的m文件编程实现。发动机模型参数初始化后，即得到当前时刻的运行转速及其波动情况。采样一个完整工作周期的转速值后，进行DFT，从而得到当前时刻性能指标U（t）的值。已经初始化过的ADP控制器在该性能指标及其训练算法的作用下，首先训练评价网络，再在理想转速性能指标和评价网络训练结果的基础上，根据算法进一步训练执行网络，从而得到改进的控制策略，作用于发动机模型，并得到调节后的转速及其波动情况。依此循环，直到最优。
仿真结果显示，ADP控制器经过8次迭代过程，1～4缸通过智能地调节喷油量抵消不平衡扭矩（见图4），从而消除了各缸间的不平衡转速波动。该过程一致收敛，也没有超调现象（见图5）。评价和执行网络误差也迅速收敛到一个极小值（见图6）。试验结果表明这是一个成功的ADP优化学习过程。此外，该控制方法取得了目前为止最快的迭代收敛速度，它可能比目前已经发表文献中的方法都要快2倍[1]。
形式，并将其应用于典型非线性多输入多输出耦合系统。对怠速发动机缸平衡的控制取得智能化的自适应优化效果。ADP优化控制器不需要检测各缸波动的差异，可直接处理四缸间的非线性多输入多输出耦合关系，具有非线性系统的智能优化特点；ADP方法也是一种反馈控制方法，具有抵抗扰动的鲁棒性能。
参考文献：
[1] KIM DaeEun， PARK J. Application of adaptive control to the fluctuation of engine speed at idle[J]. Information Sciences， 2007， 177（16）： 3341-3355. DOI： 10.1016/j.ins.2006.12.021.
[2] SHIM D， PARK J， KHARGONEKAR P P， et al. Reducing automotive engine speed fluctuation at idle[J]. IEEE Transactions on Control Systems Technology， 1996， 4（4）： 404-410. DOI： 10.1109/87.508888.
[3] BIDAN P， KOUADIO L K， VALENTIN M， et al. Electrical assistance for S.I. engine idle-speed control[J]. Control Engineering Practice， 1998， 6（7）： 829-836. DOI： 10.1016/S0967-0661（98）00061-6.
[4] KIM DaeEun， PARK J. Neural network control for reducing engine speed fluctuation at idle[J]. IEEE Transactions on Control Systems Technology， 1999， 4： 629-634. DOI： 10.1109/ICSMC.1999.812477.
[5] 程文志， 張衡， 徐辉， 等. 高压共轨柴油机怠速控制策略研究[J]. 车用发动机， 2009（4）： 61-64. DOI： 10.3969/j.issn.1001-2222.2009.04.014.
[6] PAYRI F， BROATCH A， SALAVERT J M， et al. Investigation of diesel combustion using multiple injection strategies for idling after cold start of passenger-car engines[J]. Experimental Thermal and Fluid Science， 2010， 34： 857-865. DOI： 10.1016/j.expthermflusci.2010.01.014.
[7] LI P， SHEN T， LIU D. Idle speed performance improvement via torque balancing control in ignition-event scale for SI engines with multi-cylinders [J]. International Journal of Engine Research， 2012， 13（1）： 65-76. DOI： 10.1177/1468087411405415.
[8] SUN Baigang， ZHANG Dongsheng， LIU Fushui. Cycle variations in a hydrogen internal combustion engine[J]. International Journal of Hydrogen Energy， 2013， 38： 3778-3783. DOI： 10.1016/j.ijhydene.2012.12.126.
[9] BELLMAN R. Dynamic programming[M]. Princeton， NJ： Princeton University Press， 1957： 1-56. DOI： 10.1126/science.153.3731.34.
[10] SI Jennie， WANG Yu-Tsung. On-line learning control by association and reinforcement[J]. IEEE Transactions on Neural Networks， 2001， 12（2）： 264-276. DOI： 10.1109/72.914523.
[11] SOKOLOV Y， KOZMA R， WERBOS L D， et al. Complete stability analysis of a heuristic approximate dynamic programming control design[J]. Automatica， 2015， 59： 9-18. DOI： 10.1016/j.automatica.2015.06.001.
[12] WANG Ding， LI Chao， LIU Derong， et al. Data-based robust optimal control of continuous-time affine nonlinear systems with matched uncertainties[J]. Information Sciences， 2016， 366： 121-133. DOI： 10.1016/j.ins.2016.05.034.
[13] JIANG He， ZHANG Huaguang， LUO Yanhong， et al. Optimal tracking control for completely unknown nonlinear discrete-time Markov jump systems using data-based reinforcement learning method[J]. Neurocomputing， 2016， 194： 176-182. DOI： 10.1016/j.neucom.2016.02.029.
（编辑 赵勉）
