基于先进深度强化学习与蜘蛛群智能集成算法的电动汽车FULLRIVER蓄电池‌荷电状态精确估算

2026-11-17 20:47:16      点击:次

摘要

必须准确掌握电动汽车(EV)电池的荷电状态(SOC),才能实现高效、可靠且长寿命的运行。传统的估算方法依赖于详细的电池模型或额外的传感硬件,这导致其设置缓慢、成本高昂且容易出错。我们提出了一种将深度强化学习(DRL)与蜘蛛群智能(SSI)相结合的SOC估算器。深度Q网络(DQN)无需显式电池模型,即可从测量的电池信号中学习估计策略,而SSI在训练过程中调节探索与利用之间的平衡,从而使学习收敛更快,预测更准确。在公开的NASA PCoE锂离子电池数据集上,该混合估计器将最大SOC误差从30%降低至8%,并且比传统技术实现了明显更低的平均绝对误差(MAE)和均方根误差(RMSE)。将SSI添加到DRL中还能缩短收敛时间,使估计结果更稳健、更精确。因此,该混合方法是先进电动汽车电池管理系统的有力候选方案,能够同时提高可靠性和效率。
关键词:
荷电状态 (SOC); 电动汽车 (EV); 深度强化学习 (DRL); 深度Q网络 (DQN); 蜘蛛群智能 (SSI)

 

1. 引言

电动汽车(EV)的快速普及需要既高效又可靠的电池管理系统(BMS)。BMS的核心任务是估计荷电状态(SOC),它决定了续航里程预测、能量消耗和电池安全[1,2],而管理良好的电池反过来又使整个系统更加可靠[3,4]。传统上,SOC是通过经验模型、等效电路模型或专用外部传感器获得的[5,6]。这些方法需要精确掌握内阻、开路电压和容量等内部参数,而这些参数难以测量,且会随使用年限和工作环境而漂移[7,8]。此外,外部传感器具有侵入性,会增加成本,且存在校准误差,这削弱了它们在实际应用中的表现[9,10]。因此,近期许多研究转向机器学习和深度学习,以克服基于模型的估计方法的局限性。特别是深度强化学习(DRL),它无需显式模型即可从原始测量数据中学习复杂的控制策略[11,12],基于深度Q网络(DQN)的智能体可以推理电池行为并在线更新SOC估计[13,14]。然而,DRL方法仍难以平衡新解的探索与已知解的利用,这种平衡会影响训练收敛性和预测稳定性[15,16].
群智能提供了一种天然的解决方案。蜘蛛群智能(SSI)模仿蜘蛛群的协作行为,调节探索与利用候选决策之间的转换[17,18]。因此,将SSI与DRL耦合可以使SOC估计更精确、收敛更快且更稳定[19,20].
尽管取得了这些进展,基于深度强化学习(DRL)的SOC估计器在探索与利用平衡不佳时,收敛速度仍然缓慢且预测不可靠[21]。传统估计方法在工业界依然占据主导地位,这限制了机器学习解决方案的大规模应用[22] 需要的是一种无需模型但高度准确的SOC估计器,它能从测量的电池数据中进行自适应学习,而无需复杂的建模或昂贵的传感器[23].
本文提出了一种结合深度强化学习(DRL)与蜘蛛群智能(SSI)的混合框架,用于电动汽车电池的精确且低成本的荷电状态(SOC)估计。其主要要素如下:
  • 混合DRL-SSI方法:DRL的学习能力(以DQN形式)与SSI的优化能力相结合,从而提高SOC精度和训练效率。
  • 增强收敛性与准确性:在训练过程中调整探索与利用的平衡,将最大SOC误差从30%降低至8%,并改善了MAE和RMSE。
  • 无模型估计:该估计器从记录的电池数据中学习,无需特定电池模型、物理参数测量或额外传感器。
  • 对智能电池管理系统的贡献:该方法为下一代智能电池管理系统提供了低成本、可扩展且准确的荷电状态估计。
  • 在真实电池数据上的验证:该方法在公开的NASA PCoE锂离子电池数据集上进行了测试,其性能明显优于传统的荷电状态估计器。

图1概述了电动汽车电池的SOC估算方案。
Batteries 12 00494 g001
图1。电动汽车电池SOC估计方案的示意图。
图2展示了所提出的基于优化的SOC估计器的流程图。
Batteries 12 00494 g002
图2。基于DDPG的SOC估算框架。灰色虚线区域为环境(电动汽车电池和车辆)。状态向量由扭矩、速度、温度和电流测量值以及SOC测量值(黄绿色区块)组成,这些数据被输入到DDPG智能体(粉色)中。目标记忆(蓝色)包含用于计算奖励的参考SOC。智能体向环境执行动作(SOC估算值),产生的状态-动作-奖励转换被存储在经验回放记忆中,供智能体学习使用。实线箭头表示信息流;图标不用于传达信息。
本文余下部分结构如下。第2节描述了研究方法:问题建模、DQN以及SSI优化框架。第3节展示并讨论了实验结果,并且第四节给出了结论和进一步研究的方向。

1.1. 研究动机

全球向电动汽车的转型以及标准化进程的推进,对高效电池管理系统(BMS)提出了极高要求,而荷电状态(SOC)估计是其核心功能。SOC直接决定了续航里程、能源消耗和电池寿命。基于经验或电路模型及外部传感器的传统估计器受参数不确定性、传感器误差和老化影响,当驾驶条件变化时,其实时准确性会下降。
数据驱动方法,尤其是深度强化学习(DRL),因其无需显式物理模型即可从实时电池遥测数据中自适应学习,成为一种极具吸引力的替代方案。然而,单独使用DRL时,收敛速度慢且预测结果不稳定。为克服这些缺陷,本文将DRL与受自然启发的优化算法——蜘蛛群智能(SSI)相结合,使SOC估计在实际电动汽车运行中更加准确、稳定和鲁棒。

1.2. 相关工作

Cai等人[24]针对锂离子电池,通过对短期特征进行多目标优化,调优了一种数据驱动的健康状态(SoH)估计器,旨在获得更可靠的SoH估计值,因为SoH反映了电池的状况和性能。尽管该研究的目标是SoH,但其数据驱动的公式可以迁移到电动汽车电池的SOC估计中。Chun和Han[25]将强化学习应用于改进锂离子电池老化估计器;由于SOC和老化估计紧密耦合,其结果表明基于学习的算法也能使SOC估计受益。Yeom [26]将DRL与模型预测控制(MPC)结合,用于电池电动汽车的节能环保驾驶;尽管该工作涉及能量管理,但它依赖于准确的SOC预测来降低能耗并提高车辆效率。Li等人 [9] 利用由光纤传感器数据驱动的混合机器学习模型联合估计SOC和SOH,并提高了这两个指标的准确性和稳定性。
How等人[5]回顾了锂离子电池的基于模型和数据驱动的SOC估计器,并表明数据驱动技术无需显式数学模型即可达到高精度。在文献[14]中,DRL被用于同时估计SOC和SOH,证明了合适的估计策略可以直接从原始测量值中学习。Adaikkappan和Nageswari[1]调查了电动汽车的电池建模、SOC估计和充电,并强调正确的充电序列需要准确的SOC。Abada等人[2]综述了以安全为导向的电池建模,其中可靠的SOC信息是安全运行的前提条件。Hu等人 [3] 讨论了先进电池管理系统(BMS)中状态估计的开放性问题和未来方向,并确定了荷电状态(SOC)与其他电池状态对于有效运行至关重要。
He等人[7]利用描述电池内部电化学过程的物理电化学模型预测了SOC,表明此类模型在解释底层现象的同时能提供精确的SOC值。Liu等人[27]通过将模型同时拟合到多个输入参数,改进了电动汽车锂离子电池的SOC估算。Mathieu和Taylor[28]研究了电力系统中非线性电池的控制以及性能与寿命之间的权衡问题,这一问题与电动汽车中的SOC管理密切相关。Dabbaghjamanesh等人[29] 使用Q学习预测电动汽车充电站的读档量,展示了强化学习如何用于充电相关的状态评估。
]Wang和Zhang[30]利用强化学习进行实时储能套利,并证明其能改善储能运行;类似技术可指导更优的电池使用和SOC估计。Erick和Folly[31] 利用强化学习控制电动汽车充电站的功率流,在此任务中,充电和放电过程中的准确SOC信息至关重要。
表1比较了近期SOC估计研究[13,19,32,33,34,35,36,37,38,39,40,41,42,43,44,45,46,47,48]在解决的问题、提出的解决方案、验证结果和主要缺点方面的差异,并将其与本文的SSI–DQN框架进行了对比。
表1。近期SOC估计方法比较。

1.3. 研究空白

尽管SOC估算已被广泛研究,但仍存在若干空白:
  • 模型依赖性与参数不确定性:传统估计器依赖于难以测量且随老化和运行环境变化的内部电池参数。
  • 深度强化学习方法的稳定性问题:深度强化学习在无模型估计方面具有前景,但由于探索与利用平衡不佳,目前的深度强化学习估计器往往收敛缓慢、表现不稳定且精度不一致。
  • 传感器局限性:额外的传感器会增加系统成本和复杂性,并通过校准漂移和噪声引入误差。
  • 实际应用局限性:许多方法尚未在真实电池数据或代表实际部署的条件下得到充分验证。
  • 缺乏混合优化框架:将群智能与深度强化学习结合用于SOC估计的研究较少受到关注,尤其是基于SSI的混合方法在很大程度上仍未被探索。

1.4. 本研究的主要贡献

本研究通过以下贡献填补了这些空白:
  • 无模型SOC估计框架的开发:一种混合DRL-SSI估计器,既不需要显式电池模型,也不需要复杂的传感器布局,这使其具有可扩展性,并可迁移至其他化学体系和运行工况。
  • 提升预测精度与鲁棒性:与传统和独立的DRL方法相比,该混合估计器实现了更高的精度、更稳定的学习能力和更好的适应性。
  • 蜘蛛群智能与深度Q网络的集成:将SSI嵌入DRL训练中可改善探索与利用的平衡,从而使训练收敛更快,SOC预测更稳定。
  • 实际应用价值:该研究通过学习实测电池数据,旨在实现实际应用,支持智能BMS在电动汽车中的实际部署。

2. 方法论

本节介绍了如何获得电动汽车电池的准确SOC估算值。该方法将蜘蛛群智能(SSI)与深度强化学习(DRL)相结合,以提高SOC的准确性。图3展示了基于DRL的SOC估算与优化的完整流程,包括附加条件。
Batteries 12 00494 g003
图3。基于深度强化学习的电池荷电状态估计与优化的完整流程。行驶工况被发送至深度Q网络,随后生成粒子并进行先验估计。在每个时间步k输出状态,同时蜘蛛群智能算法执行状态计算和种群更新,以更新SOC估计值并提供后验状态估计。箭头方向表示数据流向,颜色区分不同的处理阶段,图标为示意性说明。
图4展示了如何将SSI嵌入到深度Q网络(DQN)框架中,以改善电动汽车电池的SOC估计。DQN是一种深度强化学习模型,其任务是通过与电池环境交互来学习最佳充放电策略:它以电池状态(包括SOC等特征)作为输入,并返回要执行的动作。在每个动作之后,环境会返回一个奖励,模型会从这些累积的经验值中逐渐优化其策略。深度神经网络用于近似Q函数,即每个动作的预期奖励。在此框架下,SSI通过调整探索与利用之间的平衡来改进DQN。探索让智能体尝试不同的电池管理动作,从而避免过早陷入虽然方便但并非最优的策略;而利用则使其保持在表现良好的策略上并对其进行优化。就像社交蜘蛛一样,SSI在继续探索搜索空间新区域的同时,依然利用DQN训练早期发现的优秀解。
Batteries 12 00494 g004
图4。基于SSI和DQN的SOC估计框架机器学习图。电池数据的特征提取并存储在经验回放中。深度神经网络和目标Q网络估计Q值,蜘蛛群智能平衡探索与利用以决定动作并引导它们,奖励计算则评估动作。箭头显示数据流向,颜色区分功能模块,图标为示意性。
将SSI与DQN结合,使SOC估计显著更加稳定。虽然DQN从历史电池数据中学习,但SSI改善了它在候选充放电动作中的选择方式。因此,将深度学习与受自然启发的优化器配对,可以获得既准确又高效的SOC估计,这对于提高电动汽车电池的效率和寿命至关重要。

2.1. 问题建模

准确测量电动汽车牵引电池的SOC是电池管理系统面临的进一步挑战。SOC决定了可行驶里程,有助于防止过充和过放,并支持良好的电池性能。传统的SOC方法依赖于计算量大的方程或额外的传感器,这些方法成本高、需要校准且可能引入误差,因此需要一种没有这些缺陷的高效估算器。表示电动汽车电池的容量;任何时刻的SOC即为该容量中仍可用的百分比。目标是从过去的充放电循环中准确预测SOC。 denote the capacity of the EV battery; the SOC at any instant is the percentage of this capacity that is still available. The objective is to predict SOC accurately from past charging and discharging cycles.
为了构建问题,定义以下变量:
SOC(t):SOC(t): The SOC of the battery at time (t)The SOC of the battery at time (t)
P(t):The power supplied or consumed by the battery at time (t)Pt:The power supplied or consumed by the battery at time (t)
Δt:The time interval between consecutive measurementsΔt:The time interval between consecutive measurements
形式上,给定记录的功率测量值在时间间隔,任务是准确估计电动汽车电池在每个时间步的 %% of the EV battery accurately at every time step.P(t)P(t)ΔtΔtSOC(t)SOC(t)
数学公式:SOC估计可以通过电池充放电的动态模型来构建。基于能量平衡的简单模型给出了一个时间间隔内的SOC变化如下:ΔtΔt
Δ