بررسی اولیه داده (EDA)
کاوش اولیه داده با head، info، describe، shape و value_counts؛ شناخت ساختار داده قبل از هر تحلیل
EDA چیست؟
کاوش داده (Exploratory Data Analysis) یعنی قبل از هر تحلیل یا مدل‌سازی، داده را «بشناسیم»: چند سطر دارد؟ چه ستون‌هایی؟ چه نوعی؟ مقادیر تکراری یا گمشده کجاست؟ این مرحله مثل معاینه اولیه بیمار است؛ بدون آن، هر درمانی خطرناک است!
ابزارهای اولیه شناخت داده
۱. head و tail — نگاه به داده
df.head() پنج سطر اول و df.tail() پنج سطر آخر را نشان می‌دهد. همیشه اول همین را ببینید تا ساختار داده و نحوه ثبت مقادیر را بشناسید.
۲. shape و columns — ابعاد و ستون‌ها
df.shape تعداد سطر و ستون را می‌دهد و df.columns نام ستون‌ها را. با df.dtypes نوع هر ستون (عددی، متنی، تاریخ) مشخص می‌شود.
۳. info — عکس فوری کامل
df.info() در یک خروجی: تعداد سطر، نام ستون‌ها، تعداد مقدار غیرخالی هر ستون و نوع آن‌ها را نشان می‌دهد. مقایسه تعداد غیرخالی با کل سطرها، ستون‌های دارای داده گمشده را لو می‌دهد!
۴. describe — آمار توصیفی فوری
df.describe() برای ستون‌های عددی: تعداد، میانگین، انحراف معیار، کمینه، چارک‌ها و بیشینه را یکجا می‌دهد. با نگاه به min و max می‌توانید مقادیر غیرمنطقی (مثل سن ۲۰۰ سال!) را کشف کنید.
۵. value_counts — توزیع مقادیر
df["city"].value_counts() می‌گوید هر شهر چند بار آمده است. برای ستون‌های دسته‌ای فوق‌العاده است و مقادیر نادر یا غلط املایی را آشکار می‌کند.
چک‌لیست EDA
df.head()← ساختار و نحوه ثبت دادهdf.shapeوdf.columns← ابعاد و ستون‌هاdf.info()← نوع‌ها و مقادیر گمشدهdf.describe()← آمار ستون‌های عددی و مقادیر مشکوکdf["col"].value_counts()← توزیع ستون‌های دسته‌ایdf.isnull().sum()← شمارش دقیق گمشده‌ها (مبحث بعدی)
چه چیزهایی در EDA پیدا می‌کنیم؟
| مشکل | ابزار کشف | نمونه |
|---|---|---|
| داده گمشده | info، isnull | سن ۲۰ مشتری خالی |
| مقدار غیرمنطقی | describe | سن منفی یا ۲۰۰ سال |
| غلط املایی دسته‌ها | value_counts | «تهران» و «Tehran» و «تهران » |
| نوع اشتباه ستون | dtypes | قیمت به‌صورت متن |
| ستون بی‌ارزش | nunique | ستونی که فقط یک مقدار دارد |
جمع‌بندی
- EDA یعنی شناخت داده قبل از تحلیل؛ گام اجباری هر پروژه
- پنج ابزار اصلی: head، info، describe، value_counts، isnull
- describe مقادیر غیرمنطقی و value_counts خطاهای دسته‌ای را لو می‌دهد
این مبحث بخشی از دوره آموزش کامل علم داده است.