فصلنامه سیستم های انرژی پایدار

فصلنامه سیستم های انرژی پایدار

توسعه یک چهارچوب یادگیری تقویتی عمیق برای مدیریت انرژی ریزشبکه ها در سناریوی نفوذ بالای منابع تجدیدپذیر

نوع مقاله : مقاله پژوهشی

نویسندگان
دانشکده مهندسی انرژی و منابع پایدار، دانشکدگان علوم و فناوری های میان رشته ای دانشگاه تهران، تهران، ایران.
10.22059/ses.2026.413067.1228
چکیده
با افزایش نفوذ منابع انرژی تجدیدپذیر در ریزشبکه‌ها، مدیریت هوشمند انرژی به دلیل ماهیت نوسانی تولیدات خورشیدی و بادی اهمیت فزاینده‌ای یافته است. در این پژوهش، یک چهارچوب مدیریت انرژی مبتنی بر یادگیری تقویتی عمیق برای ریزشبکه‌ای متصل به شبکه شامل پنل خورشیدی، توربین بادی، سامانه ذخیره‌ساز باتری، دیزل‌ژنراتور و شبکه سراسری ارائه شده است. نوآوری اصلی پژوهش در ترکیب الگوریتم Double DQN با بافر تجربه اولویت‌دار و طراحی یک تابع پاداش چندهدفه است که به‌طور همزمان هزینه بهره‌برداری، آلایندگی، قابلیت اطمینان تأمین بار و مدیریت سطح شارژ باتری پیش از ساعات اوج مصرف را در فرآیند یادگیری لحاظ می‌کند. این ساختار به عامل اجازه می‌دهد علاوه بر یادگیری سیاست اقتصادی، تصمیم‌های خود را با الگوی زمانی تولید تجدیدپذیر و قیمت برق هماهنگ سازد. مدل پیشنهادی در افق بهره‌برداری ۲۴ ساعته و پس از ۲۰۰۰ اپیزود آموزش ارزیابی شد. نتایج نشان داد که الگوریتم به همگرایی مناسب دست یافته و هزینه کل بهره‌برداری روزانه را از حدود 10 دلار به 3.44 دلار کاهش داده است که معادل 66 درصد صرفه‌جویی اقتصادی است. همچنین آلایندگی کل سامانه از حدود 41 کیلوگرم دی‌اکسیدکربن به 16.6 کیلوگرم دی‌اکسیدکربن رسید که نشان‌دهنده 60 درصد کاهش انتشار است. علاوه بر این، بار در تمام ساعات روز به‌طور کامل تأمین شد. تحلیل رفتار باتری نشان داد که عامل در ساعات تولید بالای تجدیدپذیر باتری را شارژ و در ساعات اوج قیمت برق آن را دشارژ می‌کند. نتایج، کارایی و مقیاس‌پذیری روش پیشنهادی را برای مدیریت انرژی ریزشبکه‌های با نفوذ بالای منابع تجدیدپذیر تأیید می‌کند.
کلیدواژه‌ها
موضوعات

عنوان مقاله English

Development of a Deep Reinforcement Learning Framework for Microgrid Energy Management under High Renewable Energy Penetration Scenarios

نویسندگان English

Mona Mirrazavi
Hossein Yousefi
Ahmad Hajinezhad
Faculty of Energy Engineering and Sustainable Resources, College of Interdisciplinary Science and Technologies, University of Tehran, Tehran, Iran.
چکیده English

With the increasing penetration of renewable energy resources in microgrids, intelligent energy management has become increasingly important due to the intermittent nature of solar and wind generation. This study presents a deep reinforcement learning-based energy management framework for a grid-connected microgrid consisting of photovoltaic panels, a wind turbine, a battery energy storage system, a diesel generator, and the utility grid. The main novelty of this work lies in combining Double Deep Q-Network (Double DQN) with Prioritized Experience Replay (PER) and designing a multi-objective reward function that simultaneously considers operating cost, carbon emissions, supply reliability, and battery state-of-charge management before peak-price hours. This structure enables the agent to learn not only an economic operating policy but also decisions that adapt to the temporal patterns of renewable generation and electricity prices. The proposed model is evaluated over a 24-hour scheduling horizon after 2,000 training episodes. The results show satisfactory convergence, reducing the daily operating cost from approximately $10 to $3.44, corresponding to a 66% cost reduction. In addition, total carbon emissions decrease from nearly 41 kg CO₂ to 16.6 kg CO₂, representing about a 60% reduction. Moreover, load shedding is completely eliminated, and the demand is fully supplied throughout the day. Battery behavior analysis indicates that the agent charges the battery during periods of high renewable generation and discharges it during peak-price hours. The results confirm the effectiveness and scalability of the proposed method for energy management of renewable-rich microgrids.

کلیدواژه‌ها English

Deep Reinforcement Learning
Energy Management
Microgrid
Renewable Energy Sources

مقالات آماده انتشار، پذیرفته شده
انتشار آنلاین از 28 اردیبهشت 1405