احتمال و نمونه‌برداری
مفاهیم پایه احتمال، متغیر تصادفی، قانون بزرگ‌شدن اعداد، انواع نمونه‌برداری و بایاس نمونه
احتمال چیست؟
احتمال (Probability) شانس وقوع یک رویداد است؛ عددی بین ۰ و ۱. احتمال ۰ یعنی غیرممکن و ۱ یعنی قطعی. مثلاً احتمال آمدن «شش» در پرتاب تاس ۱/۶ ≈ ۰.۱۶۷ است.
احتمال پایه و اساس آمار است: از توزیع احتمال داده‌ها تا آزمون فرضیه و مدل‌های احتمالی ماشین لرنینگ، همه بر آن بنا شده‌اند.
مفاهیم کلیدی
- آزمایش تصادفی: آزمایشی که نتیجه آن قطعی نیست (پرتاب سکه)
- فضای نمونه: همه نتایج ممکن {شیر، خط}
- رویداد: زیرمجموعه‌ای از نتایج (آمدن شیر)
- متغیر تصادفی: متغیری که مقدارش به شانس وابسته است (تعداد شیرها در ۱۰ پرتاب)
احتمال شرطی و استقلال
احتمال شرطی: احتمال A به شرط وقوع B؛ مثل احتمال خرید مشتری به شرط اینکه تخفیف دیده باشد. استقلال: دو رویداد مستقل‌اند وقتی وقوع یکی روی دیگری اثری ندارد (دو پرتاب سکه مستقل‌اند).
قانون بزرگ‌شدن اعداد
هرچه آزمایش را بیشتر تکرار کنیم، فراوانی نسبی به احتمال واقعی نزدیک می‌شود. اگر سکه را ۱۰ بار بیندازید شاید ۷ شیر ببینید؛ اما در ۱۰٬۰۰۰ پرتاب، نسبت به ۰.۵ خیلی نزدیک خواهد بود. این قانون، پل بین احتمال نظری و داده واقعی است.
نمونه‌برداری چیست؟
معمولاً نمی‌توانیم کل جامعه (مثلاً همه انتخاب‌کنندگان کشور) را بررسی کنیم؛ پس نمونه می‌گیریم و از نمونه درباره جامعه نتیجه می‌گیریم. کیفیت این استنتاج کاملاً به نحوه نمونه‌برداری وابسته است.
انواع نمونه‌برداری
| روش | شرح | مشکل احتمالی |
|---|---|---|
| تصادفی ساده | هر عضو شانس برابر دارد | اجرای سخت در جامعه بزرگ |
| طبقه‌ای | جامعه به طبقات تقسیم و از هر طبقه نمونه متناسب | نیاز به شناخت طبقات |
| خوشه‌ای | خوشه‌ها (مثلاً شهرها) تصادفی انتخاب می‌شوند | خطای بیشتر اگر خوشه‌ها ناهمگن باشند |
| راحتی | هرکه در دسترس است (نظرسنجی اینترنتی) | بایاس شدید! فقط برای کاوش |
بایاس نمونه — دشمن پنهان
نمونه سوگیرانه نتیجه غلط اما با اعتبار ظاهری می‌دهد! مثال تاریخی: نظرسنجی معروف سال ۱۹۳۶ آمریکا که از مجلات تلفنی نمونه گرفت و پیش‌بینی اشتباه انتخابات کرد؛ چون فقط ثروتمندان (که تلفن و مجله داشتند) در نمونه بودند.
انواع بایاس رایج در علم داده:
- بایاس انتخاب: نمونه، نماینده جامعه نیست
- بایاس بازماندگی: فقط داده‌های «باقی‌مانده» را می‌بینیم (تحلیل شرکت‌های موفق و فراموشی شکست‌خورده‌ها)
- بایاس پاسخ‌دهی: افرادی که پاسخ می‌دهند با کل جامعه فرق دارند
جمع‌بندی
- احتمال شانس وقوع رویداد است (۰ تا ۱) و پایه تمام آمار است
- قانون بزرگ‌شدن اعداد: تکرار زیاد، فراوانی را به احتمال واقعی می‌رساند
- نمونه‌برداری تصادفی شرط استنتاج معتبر درباره جامعه است
- بایاس نمونه می‌تواند نتیجه را کاملاً غلط کند؛ منشأ داده را همیشه بررسی کنید
این مبحث بخشی از دوره آموزش کامل علم داده است.