همبستگی

همبستگی چیست؟

همبستگی (Correlation) میزان رابطه خطی بین دو متغیر را می‌سنجد: وقتی یکی تغییر می‌کند، دیگری هم تغییر می‌کند؟ پرکاربردترین معیار، ضریب همبستگی پیرسون (r) است که عددی بین −۱ تا +۱ است.

تفسیر ضریب پیرسون

مثال‌ها: قد و وزن (مثبت)، قیمت و میزان فروش (منفی)، رنگ چشم و نمره ریاضی (حدود صفر).

مثال عددی ساده

ساعات مطالعه و نمره ۵ دانشجو:

اینجا رابطه کاملاً خطی و صعودی است؛ r نزدیک +۱ می‌شود: هر ساعت مطالعه اضافه، حدوداً ۱ نمره اضافه آورده است.

ماتریس همبستگی

وقتی چند ستون داریم، همبستگی همه جفت‌ها را در یک ماتریس می‌بینیم. قطر اصلی همیشه ۱ است (همبستگی متغیر با خودش). این ماتریس در علم داده برای شناخت سریع روابط بین ویژگی‌ها بسیار استفاده می‌شود.

همبستگی ≠ علیت!

مهم‌ترین درس آمار: همبستگی به‌تنهایی ثابت نمی‌کند که یکی علت دیگری است. مثال معروف: مصرف بستنی و غرق‌شدگی در تابستان همبستگی بالایی دارد! اما هیچ‌کدام علت دیگری نیست؛ گرمای هوا علت مشترک هر دو است (به متغیر سوم «متغیر مخدوش‌گر» می‌گویند).

سه احتمال همیشه وجود دارد:

• A علت B است
• B علت A است
• یک عامل سوم (C) علت هر دو است

محدودیت‌های پیرسون

• فقط رابطه خطی را می‌سنجد؛ رابطه U شکل ممکن است r ≈ 0 داشته باشد!
• به داده پرت بسیار حساس است
• برای داده‌های ترتیبی، همبستگی اسپیرمن مناسب‌تر است

کاربردها در علم داده

• انتخاب ویژگی: ویژگی‌های بسیار همبسته را حذف می‌کنیم (اطلاعات تکراری)
• کاوش داده: کشف روابط جالب برای تحلیل عمیق‌تر
• ساخت ویژگی جدید: ترکیب ویژگی‌های همبسته

جمع‌بندی

• پیرسون r بین −۱ تا +۱ شدت و جهت رابطه خطی را می‌دهد
• ماتریس همبستگی، روابط همه جفت ستون‌ها را یکجا نشان می‌دهد
• همبستگی دلیل علیت نیست؛ همیشه نمودار پراکندگی هم ببینید