واریانس و انحراف معیار

چرا پراکندگی مهم است؟

دو کلاس ممکن است میانگین نمره یکسانی (مثلاً ۱۵) داشته باشند، اما در یکی همه نمره‌ها بین ۱۴ تا ۱۶ و در دیگری بین ۵ تا ۲۰ باشد! مقادیر مرکزی به‌تنهایی کافی نیستند؛ باید بدانیم داده‌ها چقدر حول مرکز پخش شده‌اند. به این معیارها، معیارهای پراکندگی (Dispersion) می‌گویند.

دامنه (Range)

ساده‌ترین معیار: بیشینه − کمینه. محاسبه آسان است اما فقط به دو مقدار انتهایی وابسته است و از بقیه داده بی‌خبر است؛ پس یک داده پرت می‌تواند آن را کاملاً بی‌معنا کند.

واریانس (Variance)

واریانس یعنی میانگین مربع فاصله داده‌ها از میانگین:

واریانس = مجموع (هر داده − میانگین)² / تعداد

چرا مربع؟ چون فاصله‌های منفی و مثبت یکدیگر را خنثی می‌کنند؛ مربع‌کردن همه را مثفی می‌کند. عیب واریانس: واحد آن «مربع واحد» داده است (مثلاً متر مربع!) که تفسیرش سخت است.

انحراف معیار (Standard Deviation)

انحراف معیار یعنی جذر واریانس و با نماد σ (سیگما) نشان داده می‌شود. چون جذر گرفته شده، واحدش با خود داده یکسان است و تفسیر آن آسان‌تر است. انحراف معیار پرکاربردترین معیار پراکندگی در علم داده است.

تفسیر انحراف معیار

• انحراف معیار کوچک ← داده‌ها نزدیک میانگین جمع شده‌اند (یکنواخت)
• انحراف معیار بزرگ ← داده‌ها از میانگین دور پخش شده‌اند (متنوع)

مثال: انحراف معیار نمرات کلاس اول = ۰.۸ و کلاس دوم = ۵ ← کلاس اول همگن‌تر است.

مثال محاسبه گام‌به‌گام

داده: [۴، ۸، ۶]

1. میانگین = (۴+۸+۶)/۳ = ۶
2. فاصله از میانگین: (−۲) و (+۲) و (۰)
3. مربع فاصله‌ها: ۴ و ۴ و ۰
4. واریانس = (۴+۴+۰)/۳ ≈ ۲.۶۷
5. انحراف معیار = √۲.۶۷ ≈ ۱.۶۳

واریانس نمونه در برابر جامعه

وقتی داده‌ها «نمونه»ای از جامعه بزرگ‌تر هستند (که در علم داده تقریباً همیشه همین‌طور است)، تقسیم بر n−1 انجام می‌شود به‌جای n؛ چون این تخمین بهتری از پراکندگی جامعه می‌دهد. تابع std() در NumPy به‌طور پیش‌فرض همین حالت (ddof=0 دارد؛ برای نمونه ddof=1 بدهید) و pandas به‌طور پیش‌فرض ddof=1 استفاده می‌کند.

جمع‌بندی

• پراکندگی نشان می‌دهد داده‌ها چقدر حول مرکز پخش شده‌اند
• انحراف معیار = جذر واریانس؛ هم‌واحد با داده و پرکاربردترین معیار
• برای نمونه، تقسیم بر n−1 انجام می‌شود
• در حضور داده پرت، IQR جایگزین بهتری است