ترنسفورمر، BERT و GPT
معماری ترنسفورمر: انقلاب ۲۰۱۷؛ BERT (فهم دوطرفه) و GPT (تولید) — مدل‌های از پیش آموزش‌دیده و fine-tuning
ترنسفورمر — انقلاب ۲۰۱۷
مقاله «Attention Is All You Need» معماری ترنسفورمر (Transformer) را معرفی کرد: فقط توجه، بدون RNN!
- چند لایه خودتوجهی چندسر + شبکه‌های کوچک
- موازی کامل ← آموزش روی داده عظیم ممکن شد
- پایه GPT، BERT و همه مدل‌های امروز
دو خانواده بزرگ
| ویژگی | BERT | GPT |
|---|---|---|
| نوع | رمزگذار (Encoder) | رمزگشا (Decoder) |
| جهت | دوطرفه (هر دو جهت جمله) | چپ‌به‌راست |
| قهرمانی | فهم متن | تولید متن |
| آموزش | پیش‌بینی کلمه ماسک‌شده | پیش‌بینی کلمه بعدی |
| کاربرد | دسته‌بندی، NER، جستجو | چت، خلاصه، ترجمه، کد |
مدل‌های از پیش آموزش‌دیده (Pre-trained)
ایده کلیدی صنعت امروز:
- پیش‌آموزش: روی تریلیون‌ها کلمه اینترنت، مدل عمومی زبان را آموزش بده (هزینه میلیون‌ها دلار!)
- Fine-tuning: همین مدل آماده را با داده کمِ مسئله خودت (حتی چند صد نمونه!) تنظیم کن
مثل استخدام کارشناس با تجربه به‌جای آموزش از صفر!
چرا این انقلاب بود؟
- قبلاً: هر مسئله = مدل جدید + داده زیاد
- حالا: یک مدل بزرگ + تنظیم جزئی = همه مسائل!
- NLP با داده کم هم ممکن شد
- انتقال یادگیری (Transfer Learning) به NLP رسید
خانواده مدل‌ها
- BERT و مشتقات: RoBERTa، ALBERT — فهم متن
- GPT نسخه‌ها: GPT-2، GPT-3، GPT-4 — تولید (مبحث بعدی: LLM)
- T5/BART: ترکیبی — ترجمه و خلاصه
- مدل‌های چندزبانه و فارسی: mBERT، XLM-R، ParsBERT، HooshvareLab
نکته: HuggingFace کتابخانه transformers، استفاده از این مدل‌ها را ساده کرده — چند خط کد، مدل میلیارد پارامتری! برای فارسی، مدل‌های ParsBERT و mT5 موجودند.
جمع‌بندی
- ترنسفورمر = فقط توجه؛ موازی و قدرتمند
- BERT: فهم دوطرفه | GPT: تولید ترتیبی
- پیش‌آموزش عظیم + fine-tuning سبک = استاندارد امروز
- HuggingFace: دسترسی آسان به همه مدل‌ها
این مبحث بخشی از دوره آموزش کامل پردازش زبان طبیعی (NLP) است.