مکانیزم توجه (Attention)
مکانیزم توجه: تمرکز انتخابی روی کلمات مهم، خودتوجهی (Self-Attention) و ایده Query-Key-Value (مفهومی)
ایده: توجه انسانی
وقتی می‌پرسید «موضوع جمله چیست؟»، چشم شما روی کلمات کلیدی متمرکز می‌شود نه همه کلمات! مکانیزم توجه (Attention) همین را به شبکه می‌دهد: برای هر کلمه، چقدر به هر کلمه دیگر توجه کند.
مثال: رفع مرجع با توجه
"گربه روی فرش نشست چون آن نرم بود"
↑
«آن» به چی اشاره دارد؟
توجه بالا به «فرش» ← مرجع حل شد!مدل یاد می‌گیرد وزن توجه «آن» به «فرش» را بالا ببرد — رابطه معنایی مستقیم، فارغ از فاصله!
خودتوجهی (Self-Attention)
کلمات جمله به هم توجه می‌کنند: هر کلمه، بردارش را با ترکیب وزن‌دار کلمات مرتبط به‌روزرسانی می‌کند:
- «خراب» به «باطری» توجه بالا ← بردار «خراب» بافت باتری می‌گیرد
- «خراب» به «بود» توجه کم ← بی‌اهمیت
نتیجه: هر بردار، بافت‌آگاه می‌شود — «شیر» در جمله حیوان، بردار حیوانی می‌گیرد!
Query، Key، Value — سه‌گانه جادویی
مثل جستجو در کتابخانه:
| نقش | مثال کتابخانه | در توجه |
|---|---|---|
| Query | «کتاب درباره آشپزی می‌خواهم» | چه چیزی می‌خواهم بدانم؟ |
| Key | برچسب قفسه‌ها | هر کلمه چه چیزی ارائه می‌دهد؟ |
| Value | محتوای کتاب‌ها | اطلاعات واقعی کلمه |
تطابق Query با Key ها = وزن توجه؛ ترکیب وزن‌دار Value ها = خروجی!
چرا توجه انقلابی بود؟
| ویژگی | RNN | توجه |
|---|---|---|
| دسترسی به فاصله دور | سخت (فراموشی) | مستقیم O(1) ✓ |
| موازی‌سازی | ترتیبی ✗ | همه با هم ✓✓ |
| تفسیرپذیری | سخت | نقشه توجه قابل دیدن ✓ |
توجه چندسر (Multi-Head)
به‌جای یک توجه، چند «سر» موازی: یکی روابط دستوری، یکی مرجع ضمیر، یکی معنا — هر سر جنبه متفاوتی می‌بیند!
جمع‌بندی
- توجه = وزن‌دهی انتخابی به کلمات مرتبط
- خودتوجهی: کلمات به هم توجه می‌کنند ← بردار بافت‌آوار
- Query-Key-Value: مکانیزم جستجوی هوشمند
- مستقل از فاصله + موازی = پایه ترنسفورمر
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.