یادگیری تقویتی (Reinforcement Learning)
آموزش مفهومی یادگیری تقویتی: عامل، محیط، پاداش و Q-Learning با مثال ساده
یادگیری تقویتی چیست؟
سومین پارادایم ML: عامل (Agent) با آزمون و خطا و دریافت پاداش/جریمه، بهترین رفتار را یاد می‌گیرد.
اجزای اصلی
- عامل (Agent): تصمیم‌گیرنده — ربات، بازیکن، خودرو
- محیط (Environment): دنیایی که عامل در آن عمل می‌کند
- حالت (State): وضعیت فعلی محیط
- عمل (Action): کاری که عامل انجام می‌دهد
- پاداش (Reward): بازخورد عددی — مثبت یا منفی
- سیاست (Policy): استراتژی عامل: حالت → عمل
چرخه یادگیری
عامل حالت را می‌بیند → عمل انتخاب می‌کند →
محیط تغییر می‌کند → پاداش می‌گیرد →
سیاست به‌روزرسانی می‌شود → تکرار...مثال: آموزش بازی مار (Snake)
- حالت: موقعیت مار و غذا
- عمل‌ها: بالا، پایین، چپ، راست
- پاداش: +۱۰ خوردن غذا، -۱۰ برخورد، -۰.۱ حرکت بیهوده
- عامل بعد از هزاران بازی، مسیر بهینه را یاد می‌گیرد!
Q-Learning (مفهومی)
محبوب‌ترین الگوریتم RL کلاسیک. جدول Q مقدار «چشم‌انداز» هر (حالت، عمل) را ذخیره می‌کند:
Q(حالت, عمل) = Q + α × [پاداش + γ × max Q(حالت‌بعدی) - Q]- α: نرخ یادگیری
- γ (گاما): اهمیت پاداش‌های آینده (نزدیک به ۱ = دورنگر)
مسیر کاوش/بهره‌برداری (Exploration/Exploitation)
دilemma معروف: آیا بهترین عمل شناخته‌شده را تکرار کنم (بهره‌برداری) یا جدید امتحان کنم (کاوش)؟ راه‌حل رایج ε-greedy: با احتمال ε تصادفی عمل کن.
کاربردهای واقعی
- AlphaGo: شکست قهرمان جهان گو
- بازی‌ها: Dota 2، StarCraft (OpenAI Five)
- رباتیک: یادگیری راه رفتن
- تبلیغات: انتخاب بهینه آگهی
- خودرو خودران: تصمیم‌های رانندگی
RL با نظارت‌شده تفاوت بنیادی دارد: برچسب «عمل درست» داده نمی‌شود؛ فقط بازخورد تأخیری می‌آید. عامل باید خودش کشف کند!
جمع‌بندی
- RL = یادگیری با پاداش از طریق تعامل
- حالت، عمل، پاداش، سیاست — اجزای اصلی
- Q-Learning و ε-greedy پایه‌های کلاسیک‌اند
این مبحث بخشی از دوره آموزش کامل ماشین لرنینگ است.