داده کاوی چیست؟ (data mining)

 

داده کاوی

 

 

داده کاوی فرآیند مرتب سازی داده های بزرگ برای شناسایی الگوها و روابطی است که می تواند به حل مشکلات تجاری از طریق تجزیه و تحلیل آنها کمک کند. تکنیک ها و ابزارهای داده کاوی شرکت ها را قادر می سازد تا آینده را پیش بینی کنند و تصمیمات تجاری آگاهانه اتخاذ نمایند.

داده کاوی بخش کلیدی تجزیه و تحلیل داده به طور کلی و یکی از رشته های اصلی در علم داده است که از تکنیک های تجزیه و تحلیل پیشرفته برای یافتن اطلاعات مفید در مجموعه داده ها استفاده می کند. در یک سطح جزئی تر، داده کاوی گامی در فرآیند کشف دانش در پایگاه های داده (KDD) است، یک روش علم داده برای جمع آوری، پردازش و تجزیه و تحلیل داده ها است. داده کاوی و KDD گاهی اوقات به جای هم ستفاده می شوند، اما معمولاً به عنوان موارد متمایز دیده می شوند. پیش نیاز داده کاوی آشنایی با مباحث مقدماتی و پیشرفته پایگاه داده است. به همین جهت پیشنهاد می کنیم قبل از ورود به این حیطه در دوره آموزش sql server ثبت نام نمایید.

الگوریتمهای داده کاوی

الگوریتم‌های داده کاوی (خدمات تجزیه و تحلیل - داده کاوی)

داده‌کاوی در سرویس‌های تحلیلی SQL Server 2017 منسوخ و اکنون در سرویس‌های تجزیه و تحلیل SQL Server 2022 متوقف شد. یک الگوریتم در داده کاوی (یادگیری ماشینی) مجموعه ای از اکتشافی‌ها و محاسبات است که یک مدل از داده‌ها ایجاد می کند. برای ایجاد یک مدل، الگوریتم ابتدا داده‌های ارائه شده توسط شما را تجزیه و تحلیل می کند و به دنبال انواع خاصی از الگوها یا روندها می گردد.

این الگوریتم از نتایج این تجزیه و تحلیل در چندین تکرار برای یافتن پارامترهای بهینه برای ایجاد مدل استخراج استفاده می کند. سپس این پارامترها در کل مجموعه داده اعمال می شوند تا الگوهای عملی و آمار دقیق استخراج شوند.

مدل کاوی که یک الگوریتم از داده‌های شما ایجاد می کند می تواند اشکال مختلفی داشته باشد، از جمله:

· مجموعه ای از خوشه‌ها که چگونگی ارتباط موارد موجود در یک مجموعه داده را توصیف می کند.

· درخت تصمیمی که یک نتیجه را پیش‌بینی و چگونگی تأثیر معیارهای مختلف بر آن نتیجه را توصیف می‌کند.

· یک مدل ریاضی که فروش را پیش بینی می کند.

· مجموعه ای از قوانین که نحوه گروه بندی محصولات را در یک تراکنش و احتمال خرید محصولات با هم توضیح می دهد.

الگوریتم‌های ارائه شده در داده کاوی SQL Server محبوب ترین روش‌های به خوبی تحقیق شده برای استخراج الگوها از داده‌ها هستند. برای مثال، خوشه بندی K-means یکی از قدیمی ترین الگوریتم‌های خوشه بندی است و به طور گسترده در ابزارهای مختلف و با پیاده سازی‌ها و گزینه‌های مختلف در دسترس است.

با این حال، پیاده‌سازی خاص خوشه‌بندی K-meansمورد استفاده در داده کاوی SQL Serverتوسط Microsoft Researchتوسعه داده و سپس برای عملکرد با SQL Server Analysis Servicesبهینه‌سازی شد. همه الگوریتم‌های داده کاوی مایکروسافت را می توان به طور گسترده سفارشی کرد که با استفاده از API‌های ارائه شده کاملاً قابل برنامه ریزی هستند.

همچنین می‌توانید از الگوریتم‌هایی استفاده کنید که با مشخصات OLE DB برای داده‌کاوی مطابقت دارند، یا الگوریتم‌های سفارشی را توسعه دهید که می‌توانند به عنوان خدمات ثبت و سپس در چارچوب داده‌کاوی SQL Server استفاده شوند.

انتخاب الگوریتم مناسب

انتخاب بهترین الگوریتم جهت استفاده برای یک کار تحلیلی خاص می تواند یک چالش باشد. در حالی که می‌توانید از الگوریتم‌های مختلف برای انجام یک کار تجاری استفاده کنید، هر الگوریتم نتیجه متفاوتی تولید می‌کند و برخی از الگوریتم‌ها می‌توانند بیش از یک نوع نتیجه ایجاد نمایند. برای مثال، می‌توانید از الگوریتم مایکروسافت Decision Trees نه تنها برای پیش‌بینی، بلکه به عنوان راهی برای کاهش تعداد ستون‌های یک مجموعه داده استفاده کنید، زیرا درخت تصمیم می‌تواند ستون‌هایی را شناسایی کند که بر مدل استخراج نهایی تأثیری ندارند.

انتخاب الگوریتم بر اساس نوع

داده کاوی SQL Server شامل انواع الگوریتم است:

الگوریتم‌های طبقه‌بندی یک یا چند متغیر گسسته را بر اساس سایر ویژگی‌های مجموعه داده پیش‌بینی می‌کنند.

الگوریتم‌های رگرسیون یک یا چند متغیر عددی پیوسته مانند سود یا زیان را بر اساس سایر ویژگی‌های مجموعه داده پیش‌بینی می‌کنند.

الگوریتم‌های تقسیم‌بندی، داده‌ها را به گروه‌ها یا خوشه‌هایی از مواردی که ویژگی‌های مشابهی دارند، تقسیم می‌کنند.

الگوریتم‌های ارتباطی همبستگی بین ویژگی‌های مختلف در یک مجموعه داده را پیدا می کنند. رایج ترین کاربرد این نوع الگوریتم برای ایجاد قوانینی است که می توان از آنها در تحلیل سبد بازار استفاده کرد.

الگوریتم‌های تحلیل توالی‌ها یا قسمت‌های مکرر در داده‌ها را خلاصه می‌کنند، مانند یک سری کلیک‌ها در یک وب‌سایت، یا یک سری رویدادهای گزارش قبل از تعمیر و نگهداری ماشین.

با این حال، دلیلی وجود ندارد که در راه حل‌های خود به یک الگوریتم محدود شوید. تحلیلگران باتجربه گاهی از یک الگوریتم برای تعیین مؤثرترین ورودی‌ها (یعنی متغیرها) استفاده می کنند و سپس از الگوریتم دیگری برای پیش بینی یک نتیجه خاص بر اساس آن داده‌ها استفاده می کنند.

داده کاوی SQL Server به شما امکان می دهد چندین مدل را بر روی یک ساختار استخراج واحد بسازید، بنابراین در یک راه حل داده کاوی می توانید از یک الگوریتم خوشه بندی، یک مدل درخت تصمیم و یک مدل ساده بیز برای دریافت دیدگاه‌های مختلف در مورد داده‌های خود استفاده کنید.

همچنین ممکن است از چندین الگوریتم در یک راه حل واحد برای انجام وظایف جداگانه استفاده کنید، به عنوان مثال، می توانید از رگرسیون برای به دست آوردن پیش بینی‌های مالی و از یک الگوریتم شبکه عصبی برای انجام تجزیه و تحلیل عوامل موثر بر پیش بینی‌ها استفاده کنید.

انتخاب الگوریتم بر اساس وظیفه

پیش بینی یک ویژگی گسسته:

مشتریان را در لیست خریداران احتمالی به عنوان مشتریان بالقوه خوب یا ضعیف علامت گذاری کنید.

احتمال یک سرویس را محاسبه کنید.

r در 6 ماه آینده شکست خواهد خورد.

نتایج بیماری را دسته بندی کنید و عوامل مرتبط را بررسی کنید.

الگوریتم درخت تصمیم مایکروسافت

الگوریتم ساده مایکروسافت بیز

الگوریتم خوشه بندی مایکروسافت

الگوریتم شبکه عصبی مایکروسافت

پیش بینی یک ویژگی پیوسته:

پیش بینی فروش سال آینده

با توجه به روندهای تاریخی و فصلی گذشته، بازدیدکنندگان سایت را پیش بینی کنید.

با توجه به اطلاعات جمعیتی، یک امتیاز ریسک ایجاد کنید.

الگوریتم سری زمانی مایکروسافت

الگوریتم رگرسیون خطی مایکروسافت

پیش بینی یک دنباله:

تجزیه و تحلیل جریان کلیک وب سایت یک شرکت را انجام دهید.

تجزیه و تحلیل عوامل منجر به شکست سرور.

توالی فعالیت‌ها را در طول ویزیت‌های سرپایی ضبط و تجزیه و تحلیل کنید تا بهترین شیوه‌ها را در مورد فعالیت‌های رایج تدوین کنید. الگوریتم خوشه بندی توالی مایکروسافت

یافتن گروهی از اقلام رایج در معاملات:

از تحلیل سبد بازار برای تعیین جایگاه محصول استفاده کنید.

محصولات اضافی را برای خرید به مشتری پیشنهاد دهید.

تجزیه و تحلیل داده‌های نظرسنجی از بازدیدکنندگان یک رویداد، برای یافتن اینکه کدام فعالیت‌ها یا غرفه‌ها با هم مرتبط هستند، تا فعالیت‌های آینده را برنامه ریزی کنید. الگوریتم انجمن مایکروسافت

ابزارهای داده کاوی

Microsoft SQL Server SQL Server Analysis Services ابزارهای زیر را ارائه می دهد که می توانید برای ایجاد راه حل های داده کاوی از آنها استفاده کنید:

Data Mining Wizard در SQL Server Data Tools ایجاد ساختارهای استخراج و مدل های استخراج را با استفاده از منابع داده رابطه ای یا داده های چند بعدی در مکعب ها آسان می کند.

در ویزارد، داده‌ها را برای استفاده انتخاب می‌کنید و سپس تکنیک‌های داده‌کاوی خاصی مانند خوشه‌بندی، شبکه‌های عصبی یا مدل‌سازی سری‌های زمانی را اعمال می‌کنید.

نمایشگرهای مدل در هر دو SQL Server Management Studio و SQL Server Data Tools برای کاوش مدل‌های استخراج شما پس از ایجاد ارائه شده‌اند. می‌توانید مدل‌ها را با استفاده از بیننده‌های متناسب با هر الگوریتم مرور کنید، یا با استفاده از نمایشگر محتوای مدل به تحلیل عمیق‌تر بپردازید.

Prediction Query Builder در SQL Server Management Studio و SQL Server Data Tools ارائه شده است تا به شما در ایجاد پرس و جوهای پیش بینی کمک کند. همچنین می‌توانید دقت مدل‌ها را در برابر مجموعه داده‌های نگهدارنده یا داده‌های خارجی آزمایش کنید یا از اعتبارسنجی متقابل برای ارزیابی کیفیت مجموعه داده‌های خود استفاده کنید.

SQL Server Management Studio رابطی است که در آن راه حل های داده کاوی موجود را مدیریت می کنید که در نمونه ای از سرویس های تحلیل سرور SQL مستقر شده اند. شما می توانید ساختارها و مدل ها را برای به روز رسانی داده های موجود در آنها دوباره پردازش کنید.

SQL Server Integration Services حاوی ابزارهایی است که می‌توانید برای پاک کردن داده‌ها، خودکار کردن کارهایی مانند ایجاد پیش‌بینی‌ها و به‌روزرسانی مدل‌ها و ایجاد راه‌حل‌های متن کاوی استفاده نمایید.

Data Mining Wizard

برای شروع ایجاد راه حل های داده کاوی از Data Mining Wizardاستفاده کنید. ویزارد سریع و آسان است و شما را در فرآیند ایجاد یک ساختار داده کاوی و یک مدل کاوی اولیه مرتبط راهنمایی می کند و شامل وظایف انتخاب نوع الگوریتم و منبع داده و تعریف داده های موردی مورد استفاده برای تجزیه و تحلیل است.

Data Mining Designer

بعد از اینکه با استفاده از Data Mining Wizard یک ساختار استخراج و مدل کاوی ایجاد کردید، می توانید از Data Mining Designer از SQL Server Data Tools یا SQL Server Management Studio برای کار با مدل ها و ساختارهای موجود استفاده کنید.

ویژگی‌های ساختارهای استخراج را اصلاح کنید، ستون‌ها را اضافه و نام مستعار ستون ایجاد کنید، روش binning یا توزیع مورد انتظار مقادیر را تغییر دهید.

مدل های جدید را به ساختار موجود اضافه کنید. مدل‌ها را کپی ، ویژگی‌های مدل یا ابرداده‌ها را تغییر دهید، یا فیلترهایی را روی یک مدل استخراج تعریف کنید.

الگوها و قوانین درون مدل را مرور کنید. پیوندها یا درختان تصمیم را کاوش کنید.

بینندگان سفارشی برای هر زمان متفاوت از مدل ارائه می‌شوند تا به شما در تجزیه و تحلیل داده‌ها و کشف الگوهای آشکار شده توسط داده کاوی کمک کنند.

اعتبار مدل ها را با ایجاد نمودارهای بالابر یا تجزیه و تحلیل منحنی سود برای مدل ها انجام دهید. مدل‌ها را با استفاده از ماتریس‌های طبقه‌بندی مقایسه کنید، یا یک مجموعه داده و مدل‌های آن را با استفاده از اعتبارسنجی متقاطع تأیید کنید.

پیش‌بینی‌ها و پرس و جوهای محتوا را در برابر مدل‌های استخراج موجود ایجاد کنید. پرس و جوهای یکباره بسازید یا پرس و جوهایی را برای ایجاد پیش بینی برای کل جداول داده های خارجی تنظیم کنید.

SQL Server Management Studio

پس از ایجاد و استقرار مدل‌های استخراج در یک سرور، می‌توانید از SQL Server Management Studio برای مدیریت پایگاه‌داده خدمات تحلیل سرور SQL که میزبان اشیاء داده‌کاوی است استفاده کنید. همچنین می‌توانید به انجام کارهایی که از مدل استفاده می‌کنند، مانند کاوش در مدل‌ها، پردازش داده‌های جدید و ایجاد پیش‌بینی ادامه دهید.

مدیریت استودیو همچنین دارای ویرایشگرهای پرس و جو است که می توانید از آنها برای طراحی و اجرای پرس و جوهای افزونه های داده کاوی (DMX) یا کار با اشیاء داده کاوی با استفاده از XMLA استفاده کنید.

خدمات یکپارچه سازی وظایف و تحولات داده کاوی

SQL Server Integration Services مؤلفه های زیادی را ارائه می دهد که از داده کاوی پشتیبانی می کند. برخی از ابزارها در خدمات یکپارچه سازی برای کمک به خودکارسازی وظایف رایج داده کاوی از جمله پیش بینی، ساخت مدل و پردازش طراحی شده اند. مثلا:

یک بسته خدمات یکپارچه ایجاد کنید که هر بار که مجموعه داده با مشتریان جدید به روز می شود، مدل را به طور خودکار به روز می کند.

انجام تقسیم بندی سفارشی یا نمونه برداری سفارشی از پرونده ها.

تولید خودکار مدل‌های ارسال شده بر روی پارامترها.

•  

آموزش داده کاوی و یادگیری ماشین

چرا در دوره آموزش داده کاوی با پایتون شرکت کنیم؟

در بیان ضرورت آموزش داده کاوی همین نکته بس که با توجه به حجم عظیم داده هایی که این روزها ما را احاطه کرده است، یکی از مهم‌ترین دغدغه‌های هر کسب و کاری، کسب آگاهی نسبت به دانش با ارزش علم داده است تا بتوانند با استفاده از این دانش به بینشی دست یابند که از آن برای تصمیم گیری های سازمانی استفاده کنند. برای بررسی داده ها و دستیابی به الگوهای پنهان میان آنها باید با فرآیندها، تکنیک‌ها و ابزار داده کاوی آشنا باشیم و به همین دلیل است که این روزها موضوعات مرتبط با آموزش داده کاوی و ابزار آن با استقبال بسیار خوبی در میان جامعه علمی و صنعتی کشور مواجه شده است.

از جمله ابزارهای مطرح در آموزش داده کاوی می‌توان به نرم افزارهای رپیدماینر، وکا و زبان‌های برنامه‌ نویسی همچون R و پایتون اشاره کرد. در این میان، زبان برنامه نویسی پایتون یک زبان چند منظوره است که طراحی آن با هدف سهولت در خواندن و نوشتن این زبان انجام گرفته است. زبان برنامه نویسی پایتون یکی از مهمترین، قوی ترین و پر کاربرد ترین زبان های برنامه نویسی حال حاضر است که نظر مخاطبین مختلفی را به خود جلب کرده است. یکی از مهمترین حوزه های کاربرد زبان برنامه نویسی پایتون در علوم داده و پردازش های آکادمیک یا حتی پیشرفته در این حوزه است.

 

چرا داده کاوی

داده کاوی فرآیندی است که برای تبدیل داده های خام به اطلاعات مفید مورد استفاده قرار می گیرد. شرکت ها برای کسب اطلاعات بیشتر راجع به مشتریان و توسعه استراتژی های بازاریابی خود، افزایش فروش و کاهش هزینه ها می توانند از نرم افزارهایی استفاده کنند که الگوهای موجود در دسته های بزرگ داده را مشخص کنند. فرایند داده کاوی به جمع آوری موثر داده ها، ذخیره و پردازش کامپیوتری آنها وابسته است.

 

نرم افزار داده کاوی و ذخیره داده ها

برنامه های داده کاوی، روابط و الگوهای موجود در داده ها را بر اساس درخواست کاربر مورد ارزیابی و تحلیل قرار می دهند. برای مثال، یک شرکت می تواند از نرم افزار داده کاوی برای ایجاد کلاس های اطلاعاتی استفاده کند. برای درک بهتر، رستورانی را تصور کنید که از داده کاوی استفاده می کند تا زمان مناسب برای ارائه پیشنهادهای خاص را مشخص کند. برای این کار از اطلاعات جمع آوری شده استفاده می کند و کلاس هایی را بر اساس زمان مراجعه مشتری ها و چیزهایی که سفارش داده اند ایجاد می کند. در دیگر موارد، کارشناسان داده کاوی دسته هایی از اطلاعات را بر اساس روابط منطقی پیدا می کنند یا از الگوهای تجمعی و ترتیبی استفاده می کنند تا اطلاعاتی را راجع به الگوهای رفتاری مشتری بدست آورند.

ذخیره داده ها بخش مهمی از داده کاوی را تشکیل می دهد. ذخیره داده زمانی صورت می گیرد که شرکت ها داده های خود را در یک برنامه یا پایگاه داده متمرکز می کنند. با استفاده از چنین پایگاه داده هایی، یک سازمان می تواند امکان دسترسی به بخش هایی از داده ها را برای کاربران خاص فراهم کند تا این کاربران بتوانند داده ها را مورد تحلیل و استفاده قرار دهند.

 

مثالی از داده کاوی

فروشگاه های خواربار فروشی از جمله شناخته شده ترین گروه هایی هستند که تکنیک های داده کاوی را مورد استفاده قرار می دهند. بسیاری از سوپرمارکت ها کارت های رایگانی را در اختیار برخی از مشتری های خود می گذارند تا امکان خرید اجناس با قیمت های تحفیف خورده را برای آنها فراهم کنند. کارت ها این امکان را برای مدیر فروشگاه فراهم می کند تا ببیند که مشتری ها چه اجناسی را، در چه زمانی و با چه قیمتی خریداری کرده اند. پس از ارزیابی داده ها، فروشگاه می تواند از داده ها استفاده کند و کوپن هایی را بر اساس عادت های خرید مشتریان به آنها پیشنهاد دهد و راجع به اینکه چه زمان اجناس را با قیمت کامل و چه زمان با تخفیف بفروشد نیز تصمیم گیری کند.

 

یادگیری ماشین چیست

یادگیری ماشین گرایشی از هوش مصنوعی و به این معنی است که یک برنامه کامپیوتری می تواند بدون دخالت انسان داده های جدید را دریافت کرده و خود را با آنها سازگار کند و همین تعریف ضرورت آموزش یادگیری ماشین را برای ما مشخص می کند. یادگیری ماشین می تواند برای تجزیه اطلاعات عظیم و کمک به فرایند تصمیم گیری مفید باشد و در زمینه های مختلفی همچون سرمایه گذاری، تبلیغات، کشف کلاهبرداری، سازماندهی اخبار و ... مورد استفاده قرار بگیرد.

 

عملکرد یادگیری ماشین

چگونگی عملکرد یادگیری ماشین را می توان با ارائه مثالی در فضا مالی شرح داد. پیشتر، سرمایه گذاران بازارهای تضمینی همچون پژوهشگران مالی، تحلیلگران، مدیران دارایی و سرمایه گذاران اختصاصی در اطلاعات مربوط به شرکت های مختلف در سراسر جهان جستجو می کردند تا بتوانند تصمیم گیری های سودمندی را در زمینه سرمایه گذاری اتخاذ کنند. با این وجود، گاهی اطلاعات مربوط به یک شرکت خاص، تنها در اختیار کارمندان آن قرار می گرفت و افراد خارج از شرکت به آن دسترسی نداشتند؛ علاوه بر این، افراد بسیاری وجود دارند که می توانند این اطلاعات را جمع آوری و پردازش کنند؛ اما این نقطه، آغاز استفاده از یادگیری ماشین است.

یک شرکت مدیریت دارایی ممکن است از یادگیری ماشین در زمینه پژوهش و تحلیل سرمایه گذاری خود استفاده کند. به مدیر دارایی گفته می شود که تنها بر روی سهام معدن سرمایه گذاری کند. مدل ساخته شده در سیستم، وب را اسکن می کند و تمامی انواع اطلاعات مربوط به شرکت های تجاری، صنایع، شهرها و کشورها را جمع آوری می کند که این اطلاعات جمع آوری شده دیتاست را شکل می دهد. مدیران دارایی و پژوهشگران شرکت قادر نخواهند بود که با استفاده از نیروهای انسانی خود به اطلاعات موجود در دیتاست دسترسی پیدا کنند. پارامترهای ساخته شده در مدل، تنها داده های مربوط به شرکت های معدن، سیاست های تنظیم شده برای بخش حفاری و رویدادهای سیاسی در کشورهای انتخابی از دیتاست هستند.

 

آموزش داده کاوی در آموزشگاه تحلیل داده

در دوره آموزش داده کاوی، چگونگی اجرا داده کاوی و یادگیری ماشین با استفاده از زبان پایتون برای دانشجویان بصورت مفصل شرح داده می شود. به دانشجویان عزیز توصیه می شود که برای شرکت در دوره، آشنایی کلی با اصول و مفاهیم داده کاوی داشته باشند (اگرچه در صورت نیاز، این مفاهیم با جزئیات بیشتری در طول دوره تشریح خواهند شد). تئوری مطالب هر بخش در ابتدای هر درس گفته می شود و سپس الگوریتم های مربوطه به صورت عملی در محیط پایتون پیاده سازی خواهند شد. شرکت کنندگانی که در این دوره ثبت نام می کنند، در محیطی دوستانه و در کنار یکدیگر، به کمک مدرس دوره و با روش تعاملی، تمامی پروژه ها و برنامه های نوشته شده در کلاس را "خودشان" پیاده سازی می کنند.

 

مخاطبان دوره

1.  برنامه نویسان و کاربران سیستم‌ها و راهکارهای داده کاوی و تحلیل داده
2.  توسعه دهندگان سامانه های هوش تجاری BI و Data Mining
3.  دانشجویان، پژوهشگران و کارشناسان در حوزه‌ی داده کاوی و بیگ دیتا
4.  کارشناسان و علاقه مندان به داده کاوی که می خواهند پروژه دانشجویی یا پروژه سازمانی خود را به کمک راهکارهای هوش تجاری اوراکل اجرا و پیاده سازی کنند

پیشنیاز دوره

1.  دوره مقدماتی پایتون برای کاربردهای علم داده
2.  مفاهیم داده کاوی و یادگیری ماشین

اهداف دوره

آموزش نحوه پیاده سازی پروژه های داده کاوی و یادگیری ماشین در نرم افزار پایتون بصورت کاربردی

 

سرفصل دوره آموزش داده کاوی و یادگیری ماشین

1. مقدمه ای بر علم داده

1. تاریخچه

2. چگونگی دستیابی به نتایج مناسب

 

2. مقدمه ای بر یادگیری ماشین

1. مفاهیم، کاربردها و انواع روش های یادگیری ماشین

2. مفاهیم Overfitting & Underfitting

3. مفاهیم bias and variance problems

4. Regularization & Feature selection

 

3. پاکسازی و پیش پردازش داده ها

1. شیوه برخورد با missing values

2. مواجهه با داده های از نوع طبقه بندی Categorical data))

3. انتخاب ویژگی های مرتبط با هدف یادگیری

4. Encoding class labels

5. مشکلات هم مقیاس نبودن داده ها و انواع روش های هم مقیاس کردن ویژگی ها

6. کاهش پیچیدگی مدل از طریق تابع هدف جریمه (L1 and L2 regularization )

 

4. یادگیری نظارت شده

• Classification

1. کار با دیتاست های نمونه

2. K-nearest Neighbors

3. Perceptron classifier

4. Linear models

5. Naive Bayes Classifier

6. Decision Trees

7. Random forests

8. SVM

9. Kernelized Support vector machines

10. Logistic Regression

 

• Pipelines

 

• Regression

1. نمایش گسترده دیتاست برای کشف همبستگی بین فیچرها و تابع هدف

2. رویکردهای مختلف برای پیاده سازی رگرسیون خطی

   1. معرفی Simple Linear Regression

   2. معرفی Multiple Linear Regression

3. کاهش تاثیر نویز در مدل رگرسیون

4. ارزیابی مدل رگرسیون

5. آموزش Non-Linear Regression

 

5. کاهش ابعاد

1. تکنیک کاهش ابعاد برای داده های غیر نظارت شدهPrincipal Component Analysis (PCA)

2. تکنیک کاهش ابعاد برای داده های نظارت شدهLinear Discriminant Analysis (LDA)

3. Nonlinear dimensionality reduction via Kernel Principal Component Analysis (KPCA)

 

6. یادگیری غیر نظارت شده

1. Clustering

2. K_means clustering

3. Agglomerative clustering

4. DBSCAN clustering

5. مقایسه انواع الگوریتم های خوشه بندی

6. bottom-up approach to building hierarchical clustering trees

 

7. الگوهای مکرر و قواعد انجمنی

 

8. اعتبارسنجی مدل و بهبود

1. Cross-Validation

2. Fine-tuning machine learning models via grid search

3. Obtain unbiased estimates of a model's performance

4. بررسی مشکلات رایج در مسائل یادگیری ماشین

5. ارزیابی مدل پیش بینی با معیارهای مختلف

 

با دوره آموزش داده کاوی و یادگیری ماشین در آموزشگاه تحلیل داده همراه شما هستیم..