بررسی دقیق از آغاز و پایان الگوهای

هر آنچه را که باید در مورد تجزیه و تحلیل داده های اکتشافی بدانید بیاموزید ، روشی که برای تجزیه و تحلیل و خلاصه کردن مجموعه داده ها استفاده می شود

در خبرنامه IBM مشترک شوید

تجزیه و تحلیل داده های اکتشافی چیست؟

هر آنچه را که باید در مورد تجزیه و تحلیل داده های اکتشافی بدانید ، روشی که برای تجزیه و تحلیل و خلاصه کردن مجموعه داده ها استفاده می شود ، بیاموزید.

تجزیه و تحلیل داده های اکتشافی (EDA) توسط دانشمندان داده برای تجزیه و تحلیل و بررسی مجموعه داده ها و خلاصه ویژگی های اصلی آنها استفاده می شود ، که اغلب با استفاده از روش های تجسم داده ها. این کمک می کند تا چگونگی دستکاری در منابع داده برای به دست آوردن پاسخ های مورد نیاز خود ، به شما کمک می کند تا دانشمندان داده بتوانند الگوهای ، ناهنجاری های لکه دار ، آزمایش یک فرضیه را آسان کنند یا فرضیات را بررسی کنند.

EDA در درجه اول برای دیدن آنچه داده ها می توانند فراتر از کار مدل سازی رسمی یا آزمایش فرضیه را نشان دهند ، استفاده می کند و درک بهتری از متغیرهای مجموعه داده ها و روابط بین آنها فراهم می کند. همچنین می تواند به تعیین اینکه آیا تکنیک های آماری مورد نظر برای تجزیه و تحلیل داده ها مناسب هستند ، کمک کند. در ابتدا توسط ریاضیدان آمریکایی جان توکی در دهه 1970 ساخته شده است ، تکنیک های EDA همچنان روشی گسترده در فرآیند کشف داده ها است.

چرا تجزیه و تحلیل داده های اکتشافی در علوم داده مهم است؟

هدف اصلی EDA کمک به بررسی داده ها قبل از هرگونه فرض است. این می تواند به شناسایی خطاهای آشکار ، و همچنین درک بهتر الگوهای موجود در داده ها ، تشخیص دور یا حوادث غیر عادی کمک کند ، روابط جالبی را بین متغیرها پیدا کند.

دانشمندان داده می توانند از تجزیه و تحلیل اکتشافی استفاده کنند تا اطمینان حاصل کنند که نتایج حاصل از آنها برای هرگونه نتایج و اهداف تجاری مورد نظر معتبر است. EDA همچنین با تأیید اینکه سؤالات درستی را مطرح می کنند ، به ذینفعان کمک می کند. EDA می تواند به پاسخگویی به سؤالات مربوط به انحراف استاندارد ، متغیرهای طبقه بندی و فواصل اطمینان کمک کند. پس از اتمام EDA و بینش ها ، از ویژگی های آن می توان برای تجزیه و تحلیل داده های پیشرفته تر یا مدل سازی ، از جمله یادگیری ماشین استفاده کرد.

ابزارهای تجزیه و تحلیل داده های اکتشافی

توابع و تکنیک های آماری خاصی که می توانید با ابزارهای EDA انجام دهید شامل موارد زیر است:

• تکنیک های خوشه بندی و کاهش ابعاد ، که به ایجاد نمایشگرهای گرافیکی از داده های با ابعاد بالا حاوی متغیرهای زیادی کمک می کنند.
• تجسم یک متغیره از هر قسمت در مجموعه داده های خام ، با آمار خلاصه.
• تجسم دو متغیره و آمار خلاصه ای که به شما امکان می دهد رابطه بین هر متغیر را در مجموعه داده و متغیر هدف مورد نظر خود ارزیابی کنید.
• تجسم چند متغیره ، برای نقشه برداری و درک تعامل بین زمینه های مختلف در داده ها.
• خوشه بندی K-Mean یک روش خوشه بندی در یادگیری بدون نظارت است که در آن نقاط داده به گروه های K ، یعنی تعداد خوشه ها ، بر اساس فاصله از Centroid هر گروه اختصاص می یابد. نقاط داده نزدیک به یک سانتروئید خاص در همان گروه خوشه بندی می شوند. خوشه بندی k-mean معمولاً در تقسیم بازار ، تشخیص الگوی و فشرده سازی تصویر استفاده می شود.
• مدلهای پیش بینی کننده ، مانند رگرسیون خطی ، از آمار و داده ها برای پیش بینی نتایج استفاده می کنند.

انواع تجزیه و تحلیل داده های اکتشافی

چهار نوع اصلی EDA وجود دارد:

• غیر متغیره غیر متغیره. این ساده ترین شکل از تجزیه و تحلیل داده ها است ، جایی که داده های مورد تجزیه و تحلیل فقط از یک متغیر تشکیل شده است. از آنجا که این یک متغیر واحد است ، با علل یا روابط سر و کار ندارد. هدف اصلی تجزیه و تحلیل تک متغیره توصیف داده ها و یافتن الگوهای موجود در آن است.
• گرافیکی تک متغیره. روشهای غیر گرافیکی تصویر کاملی از داده ها ارائه نمی دهند. بنابراین روشهای گرافیکی مورد نیاز است. انواع متداول گرافیک تک متغیره شامل موارد زیر است:
  • توطئه های ساقه و برگ ، که تمام مقادیر داده و شکل توزیع را نشان می دهد.
  • هیستوگرام ، یک طرح نوار که در آن هر نوار نشان دهنده فرکانس (تعداد) یا نسبت (تعداد/تعداد کل) موارد برای طیف وسیعی از مقادیر است.
  • توطئه های جعبه ، که به صورت گرافیکی خلاصه پنج شماره حداقل ، کوارتیل اول ، میانه ، کوارتیل سوم و حداکثر را نشان می دهد.

  انواع دیگر گرافیک های چند متغیره شامل موارد زیر است:

  • طرح پراکندگی ، که برای ترسیم نقاط داده در یک محور افقی و عمودی استفاده می شود تا نشان دهد که یک متغیر تحت تأثیر دیگری قرار دارد.
  • نمودار چند متغیره ، که یک نمایش گرافیکی از روابط بین عوامل و پاسخ است.
  • نمودار را اجرا کنید ، که یک نمودار خط از داده های ترسیم شده با گذشت زمان است.
  • نمودار حباب ، که یک تجسم داده است که چندین حلقه (حباب) را در یک طرح دو بعدی نشان می دهد.
  • نقشه گرما ، که یک نمایش گرافیکی از داده ها است که در آن مقادیر با رنگ نشان داده می شوند.
  ابزارهای تجزیه و تحلیل داده های اکتشافی

  برخی از متداول ترین ابزارهای علوم داده مورد استفاده برای ایجاد EDA عبارتند از:

  • پایتون: یک زبان برنامه نویسی تفسیر شده و شی گرا با معنایی پویا. ساختار داده های سطح بالا و داخلی آن ، همراه با تایپ پویا و اتصال پویا ، آن را برای توسعه سریع برنامه و همچنین برای استفاده به عنوان یک اسکریپت یا زبان چسب برای اتصال اجزای موجود به هم بسیار جذاب می کند. Python و EDA را می توان با هم برای شناسایی مقادیر گمشده در یک مجموعه داده استفاده کرد ، که مهم است بنابراین می توانید تصمیم بگیرید که چگونه مقادیر گمشده برای یادگیری ماشین را کنترل کنید.
  • R: یک زبان برنامه نویسی منبع باز و محیط نرم افزاری رایگان برای محاسبات آماری و گرافیکی که توسط بنیاد R برای محاسبات آماری پشتیبانی می شود. زبان R در توسعه مشاهدات آماری و تجزیه و تحلیل داده ها به طور گسترده ای در بین آماری در علوم داده مورد استفاده قرار می گیرد.

  برای شیرجه زدن عمیق به تفاوت بین این رویکردها ، "پایتون در مقابل R: تفاوت چیست؟"

  راه حل های مرتبط استودیوی IBM Watson®

  برای تعیین اینکه آیا تکنیک های آماری که برای تجزیه و تحلیل داده ها در نظر می گیرید ، از استودیوی IBM Watson® استفاده کنید.