تولید متن
تولید متن با مدل زبانی: نمونه‌برداری حریصانه، تصادفی و temperature — تعادل خلاقیت و انسجام
چگونه متن تولید می‌شود؟
مدل زبانی برای هر کلمه بعدی، توزیع احتمال می‌دهد: {«خوردم»: 0.4، «خریدم»: 0.3، «دیدم»: 0.2، ...}. حالا چطور انتخاب کنیم؟
استراتژی ۱: حریصانه (Greedy)
همیشه محتمل‌ترین را بردار. مشکل: متن تکراری و خشک!
«من به خانه ...» ← همیشه «می‌روم» ← جملات یکنواختاستراتژی ۲: نمونه‌برداری تصادفی
با احتمال‌ها قرعه بکش: «خوردم» ۴۰٪ شانس، «خریدم» ۳۰٪... متن متنوع اما گاهی بی‌ربط!
استراتژی ۳: Temperature — تنظیم خلاقیت
توزیع احتمال را «نرم یا تیز» کنیم:
T < 1: توزیع تیزتر ← محتمل‌ها قوی‌تر ← متن محافظه‌کارانه
T = 1: توزیع اصلی
T > 1: توزیع مسطح‌تر ← همه شانس برابرتر ← متن خلاق/پرخطر!| Temperature | اثر | کاربرد |
|---|---|---|
| 0.2 | تقریباً قطعی | پاسخ فنی، کد |
| 0.7 | تعادل ✓ | چت‌بات عمومی |
| 1.5+ | خیلی تصادفی | ایدهپردازی خلاق |
روش‌های پیشرفته‌تر
- Top-k: فقط از k گزینه برتر نمونه بگیر (حذف گزینه‌های بی‌ربط دنباله‌دار)
- Top-p (Nucleus): از کوچک‌ترین مجموعه‌ای که احتمال کل p را دارد (مثلاً ۰.۹)
- این روش‌ها امروز استاندارد LLM ها هستند!
چالش‌های تولید متن
- تکرار: حلقه «خوب است خوب است خوب...»
- انسجام بلندمدت: شروع خوب اما پایان بی‌ربط
- واقعیت: متن روان اما نادرست (توهم!)
نکته: وقتی ChatGPT «خلاق‌تر» یا «دقیق‌تر» به‌نظر می‌رسد، پشت صحنه همان تنظیم temperature و top-p است — حالا شما مکانیزمش را می‌دانید!
جمع‌بندی
- تولید = انتخاب از توزیع احتمال کلمه بعدی
- حریصانه: تکراری | تصادفی: بی‌ربط
- Temperature کنترل‌کننده خلاقیت است
- Top-k/Top-p: استاندارد امروز
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.