基于强化学习的智能楼宇群能量优化方法

小蜘蛛

基于强化学习的智能楼宇群能量优化方法王统华北电力大学(北京)
智能电网己成为未来电力系统的发展趋势,由于楼宇负荷在电力系统中占有较大的比重,同时具有较强的可调度能力,所以楼宇能量管理是电力系统需求侧能量管理的主要实施对象之一。本文以智能楼宇群为研究对象,为了使其更好地适应服务于电力系统需求侧能量管理,在以不损害智能楼宇用户舒适度的前提下,楼宇能量管理系统通过对用电负荷进行调度从而削减负荷峰值并降低用户用电成本。本文以智能楼宇群用户的能量优化为核心,研究了智能楼宇群用电设备的负荷特性及能量优化问题。详细阐述了含光伏发电的智能楼宇群系统结构,针对智能楼宇中用电设备的特点以及用户使用习惯对智能楼宇系统中固定负荷、可中断负荷、可平移负荷以及电动汽车进行建模。同时为了将强化学习算法应用到智能楼宇群能量优化场景中,建立了智能楼宇群马尔科夫决策过程,其中包括智能楼宇智能体的观测量、动作、执行动作获得的奖励以及智能体与环境交互的状态转移函数。根据用户历史负荷资料,在分时电价背景下建立了一种基于深度策略梯度(Deep Policy Gradient,DPG)算法的智能楼宇群能量优化方法,该算法将深度神经网络与强化学习算法相结合应用到智能楼宇群环境中对智能楼宇群进行能量优化,可大大提高算法模型的适用性以及收敛速度。建立了智能楼宇群能量优化深度策略梯度算法框架解决智能楼宇群中用电设备调度控制问题,并求解最优控制策略,确保在不影响用户用能需求以及降低用户舒适度的情况下,达到降低使用者的用能成本和平缓用电高峰的目的。通过联合设备运行状态概率分布,以离线学习与在线学习互动的模式对模型进行优化。利用DQN与DPG算法对比分析,算例求解结果表明了 DPG算法在智能楼宇群能量优化问题上相比于DQN算法更接近于优化目标,具有收敛更快、稳定性更好的优越性。