2024元強化學習驅動的高比例分布式光伏智能配電網自適應調壓技術報告-天津大學（葛磊蛟）

1.元強化學習學習多個任務的經驗，提高在新任務上的學習效率。元學習的核心思想是RL)的一種新興方法。它旨在通過學習如何學習，提高智能體在新任務?stepstep4:聚合階段一、元強化學習二、傳統(tǒng)智能配電網調壓技術三、基于強化學習的自適應電壓控制風/光/氫等多類型風/光/氫等多類型2.傳統(tǒng)智能配電網調壓技術2.傳統(tǒng)智能配電網調壓技術2233較大等2.傳統(tǒng)智能配電網調壓技術2.傳統(tǒng)智能配電網調壓技術根據電網狀態(tài)對分布式光伏并網功率進行控制是調節(jié)配網電壓的重要手段，結合不同的通信控制方式，電壓控制策略可以分為以下三種分布式控制分布式控制2.傳統(tǒng)智能配電網調壓技術時間/s配電系統(tǒng)資源群1資源利用效率低資源利用效率低效率二、傳統(tǒng)智能配電網調壓技術三、基于強化學習的自適應電壓控制天津大學3.天津大學3.1現有電壓控制方法的不足可再生能源和負荷羈個立簡化羈個立交互配電網模型交互配電網模型控制動作輸出輸出誤差大分布式柴油機3.基于強化學習的電壓自適應控制天津大學3.23.2強化學習的優(yōu)勢無模型的實時在線控制：強化學習具有遞歸神經網絡等其他神經網絡結構具有記憶性和非線性擬合擬合能力。在控制階段不需要考慮配電網模型就環(huán)境智能體Wa?-環(huán)境a?-環(huán)境獎勵獎勵控制動作a。變成智能體的輸入；智能體接下來輸轉移到s?。這個過程中智能體會得到經驗儲存起來。然后智能體根據這些經驗更新神經網絡參數得到控制經驗天津大學3.33.3基于強化學習的電壓自適應控制數據控制數據控制P,=P?S+P"+P?-pod嘴=+(%27+2)里化學習數據輸入交互√使用電壓值建立獎勵函數求獎勵值3.4基于強化學習的電壓自適應控制案例分析n時間連續(xù)動作空間天津大學NetworkMLPNewok13.基于強化學習的電壓自適應控制強化學習訓練過程的收斂曲線獎勵值收斂曲線獎勵值收斂曲線所提算法有最優(yōu)收斂效果!—PA-DDPG3.基于強化學習的電壓自適應控制化學習輸入Vi∈N,Vt∈T輸出控制數據輸入輸出控制數據輸入控制策略數據輸入一、元強化學習二、傳統(tǒng)智能配電網調壓技術天津大學天津大學4.1深度強化學習存在的問題ChainofTransition圖1環(huán)境狀態(tài)轉移示意圖√非穩(wěn)態(tài)性源于打破了制約大多數單代理強化學習算法的一圖2多智能體強化學習√學習程度不均勻源于為合作關系的各個智天津大學天津大學4.2提升方案——元強化學習反映其自身的行為貢獻，而不是簡單地使用聯合獎勵。評論家網絡中應用Withprobablityp天津大學圖133總線網絡圖4.3元強化學習驅動的自適應電壓控制-案例分析圖133總線網絡圖4.3元強化學習驅動的自適應電壓控制-案例分析天津大學天津大學4.3元強化學習驅動的自適應電壓控制-案例分析圖1141總線網絡圖圖1141總線網絡圖電壓失控比電壓失控比可u00天津大學天津大學4.34.3元強化學習驅動的自適應電壓控制-案例分析aθ,o,r電壓平均值電壓平均值a