انباره داده ها

انباره داده ها

سازمانها درک کرده اند که سیستم های انبارداده ابزارهای ارزشمندی در رقابتهای امروزه هستند بنگاهای بسیاری میلونها دلار برای ساخت انبار داده صرف کرده اند طبق تعریف اینمون یکی از پیشتازان معماری در ساخت سیستمهای انبار داده ، انبار داده مجموعه ای موضوع گرا ،یکپارچه از زمانهای مختلف و غیر فرار به منظور پشتیانی از فرایند تصمیم سازی است.داده کاوی چیزی فراتر از پردازش بر روی یک پایگاه داده معمولی می باشد .

مثالهای زیر این تفاوت را آشکار می کند :
یک پرس جوی ساده و پیدا کردن تمامی افراد با نام علی در یک پایگاه داده بسیار ساده ولی در مقابل پیدا کردن افرادی که کارت اعتباری انها وضعیت مناسبی ندارد و در مرز ورشکستگی می باشد، خیلی ساده نیست .پیدا کردن افرادی که بیش از یکصد هزار تومان خرید داشته اند ساده است ولی در مقابل پیدا کردن افرادی که عادتهای خرید مشاهی دارند و یکسری اقلام خاصی را با هم خرید می کنند کار ساده ای نیست .

پیدا کردن افرادی که در یک تاریخ خاص از یک فروشگاه خاص شیر خریده اند ساده است

ولی در مقابل افرادی که غالبا شیر خریداری می کنند خیلی ساده نیست

داده کاوی و انبار داده ها :

علت اهمیت انبار داده ها این است که انباره داده ها شامل داده های جزئی و داده های کلی ، در کنار یکدیگر می باشند . بدون تردید داده کاوی به اطلاعات جزئی برای تحلیل نیازمند است ، اما داده ای خلاصه شده نیز به کار می آیند . از انجا که در انبار داده انواع داده ای خلاصه شده وجود دارد ، داده کاوی می تواند .به سرعت داده ای انبارداده انواع داده ای خلاصه شده وجود دارد ف داده کاوی می تواند به سرعت داده ای انبارداده را بررسی و این باعث کاهش تکرار تحلیلها توسط داده کاوی شود

  ویزگیهای مهم یک انبار داده عبارتند از موضوع محوری :
جامعیت
پویا پذیری
پایانی

09367292276
09367292276
[e-mail]
azsoftir.com
موضوع محوری : داده ها طبق یک موضوع خاص سازماندهی می شوند

جامعیت :داده ای انباره ،از تجمع دیگر داده ها ساخته می شوند

افق زمانی برای انبارداده ها بسیار مهم تر از داده های مرتبط با سیستم های عملیاتی می باشد

09367292276
09367292276
[e-mail]
azsoftir.com
پایگاه داده ها شامل داده های است که روزانه با انها کار می شود و بخشهای به آن اضافه و یا حذف می شود

قواعد تلازمی

قواعد تلازمی

استخراج قواعد تلازمی یا قواهد انجمنی نوعی عملیات داده کاوی است که به جستجو برای یافتن ارتباط بین ویژ گیها در مجموعه دادها می پردازد

09367292276
09367292276
[e-mail]
azsoftir.com
نام دیگر روش تحلیل تلازمی ، تحلیل سبد بازار می باشد . به عبارت دیگر تحلیل تلازمی مطلالعه ویژگیها یا خصوصیاتی میباشد که با یکدیگر همراه بوده و به دنبال استخراج قواعد از میان این خصوصیات میباشد

این روش به دنبال استخراج قواعد به منظور کمی کردن ارتباط میان دو یا چند خصوصیت است .قواعد تلازمی به شکل اگر و انگاه به همراه دو معیار پشتیبان و اطمینان تعریف می شود

همان طور که اشاره شد ، یکی از کاربردی ترین حالت های تحلیل قواعد تلازمی ، تجزیه و تحلیل سبد بازار است . پیشرفت فناوری ، فروشگاه های خرده فروشی را قادر ساخته است تا حجم زیادی از داده های خرید مشتریان که از ان به عنوان سبد بازار یاد میشود را جمع اوری و ذخیره نماید . هر مشتری خرید مجزایی را در مقادیر مختلف و زمانهای متفاوت انجام میدهد و داده های موجود در سبد بازار ،نشان دهنده خرید مشتری در یک زمان خاص است .با تجزیه و تحلیل سبد بازار خرده فروشان می توانند رفتار خرید مشتریان را پیش بینی کنند . این کار به انها کمک می کند تا بتوانند کالاهای خود را بهتر سازماندهی کرده .و چیدمان بهتری از محصولات خود داشته باشند و از این طریق سود آوری خود را افزایش دهند

09367292276
09367292276
[e-mail]
azsoftir.com
در اینجا به مثالهایی از کاربرد قواعد تلازمی اشاره میشود :

بررسی ارتباط بین توانایی خواندن کودکان با خواندن داستان توسط والدین برای آنها بررسی اینکه چه اقلامی در یک فروشگاه با یکدیکر خریداری میشوند و اینکه چه اقلامی هیچ گاه با یکدیگر خریداری نمی شوند تعیین نمونه ها در بررسی تاثیرات خطر ناک یک داروی جدید

خوشه بندی چیست ؟

خوشه بندی یکی از شاخه های یادگیری بدون نظارت می باشد و فرآیند خودکاری است که در طی آن، نمونه ها به دسته هایی که اعضای آن مشابه یکدیگر می با­شند تقسیم می شوند که به این دسته ها خوشه گفته می­شود. بنابراین خوشه مجموعه ای از اشیاء می باشد که در آن اشیاء با یکدیگر مشابه بوده و با اشیاء موجود در خوشه های دیگر غیر مشابه می باشند

برای مشابه بودن می توان معیارهای مختلفی را در نظر گرفت مثلا می توان معیار فاصله را برای خوشه بندی مورد استفاده قرار داد و اشیائی را که به یکدیگر نزدیکتر هستند را بعنوان یک خوشه در نظر گرفت که به این نوع خوشه بندی، خوشه بندی مبتنی بر فاصله نیز گفته می شود

خوشه­ بندی به عمل تقسیم جمعیت ناهمگن به تعدادی از زیر مجموعه­ ها یا خوشه ­های همگن گفته می­شود. وجه تمایز خوشه­بندی از دسته­بندی این است که خوشه بندی به دسته ­های از پیش تعیین شده تکیه ندارد. در دسته­ بندی بر اساس یک مدل هر کدام از داده­ها به دسته­ای از پیش تعیین شده اختصاص می­یابد؛ این دسته­ ها یا از ابتدا در طبیعت وجود داشته­اند(مثل جنسیت، رنگ پوست و مثال­هایی از این قبیل) یا از طریق یافته­های پژوهش­های پیشین تعیین گردیده ­اند

در خوشه­ بندی هیچ دستۀ از پیش تعیین شده ­ای وجود ندارد و داده ­ها صرفاً براساس تشابه گروه ­بندی می­شوند و عناوین هر گروه نیز توسط کاربر تعیین می­گردد. به طور مثال خوشه­ های علائم بیماری­ها ممکن است بیماری­های مختلفی را نشان دهند و خوشه­ های ویژگی­های مشتریان ممکن است حاکی از بخش­های مختلف بازار باشد
09367292276
09367292276
[e-mail]
azsoftir.com

خوشه ­بندی معمولاً به عنوان پیش درآمدی برای بکارگیری سایر تحلیل ­های داده­کاوی یا مدل­سازی به کار می­رود. به عنوان مثال، خوشه­ بندی ممکن است اولین گام در تلاش برای تقسیم­ بندی بازار باشد؛ برای ایجاد یک قانون که در همۀ موارد کاربرد داشته باشد و به این سؤال پاسخ دهد که مشتریان به چه نوع تبلیغاتی به بهترین نحو پاسخ می­دهند اول باید مشتریان را به خوشه­ های متشکل از افرادی با عادات مشابه خرید تقسیم نمود و سپس پرسید که چه نوع تبلیغاتی برای هر خوشه به بهترین نحو عمل می­ کند

09367292276
09367292276
[e-mail]
azsoftir.com

دسته بندی چیست ؟

دسته بندی چیست ؟

دسته بندی و پیش بینی دو نوع عملیات برای تحلیل داده ها و استخراج مدل به منظور توصیف دسته های مهم داده ها ، فهم و پیش بینی رفتار آینده آنها میباشد . مدلهای دسته بندی در تحلیل داده های گسسته و طبقه ای بکار رفته و مدلهای پیش بینی یا رگرسیون بیشتر بر روی داده های پیوسته بکار می رود

09367292276
09367292276
[e-mail]
azsoftir.com
به عنوام مثال یک مدل دسته بندی ممکن است برای دسته بندی کردن وامهای بانک به دو طبقه وامهای بی خطر و پر خطر به کار رود در حالی که مدلهای پیش بینی به کار گرفته شده در این کسب و کار خاص سعی در پیش بینی میزان مخارج و هزینه های مشتریان بر اساس ویزگیهای در آمدی و شغلی آنها دارند

دسته بندی ، هر جزء از داده ها را بر مبنای اختلاف بین داده ها به مجموعه های از پیش تعریف شده دسته ها تصویر می کند . باید بگوییم دسته بندی یادگیری با نظارت میباشد که دسته ها از قبل مشخص میباشند

دسته بندی داده ها ، فرایند دو مرحله ای میباشد . اولین مرحله ساخت مدل و دومین مرحله استفاده از مدل و پیش بینی از طریق داده های قبلی میباشد

مرحله اول ساخت مدل: عبارتست از توصیف یک سری از دسته های از پیش تعین شده بر مبنای مجموعه داده های آموزش مدل که البته این فرآیند ، یادگیری نیز نامیده می شود در این فرآیند سعی می شود با توجه به نمونه های موجود ف مدلی ساخته شود که بر اساس آن بتوان داده ای فاقد برچسب دسته را در دسته های مربوط به خودشان قرار داد

مرحله دوم استفاده از مدل : این مرحله دارای دو بخش میباشد . در بخش نخست مدل ساخته شده مورد آزمون واقع می شود تا دقت پیش بینی آن بررسی شود . در بخش دوم نیز مدلی که دارای دقت مناسبی است ، برای دسته بندی داده ها به کار گرفته میشود . به منظور تخمین دقت پیش بینی مدل مجموعه ای از داده ها ی آزمایشی به طور اتفاقی از میان داده ها انتخاب میشوند و مدل روی آنها اجرا میشود . هدف اصلی در اینجا بالاتر بودن تخمین دقت مدل می باشد تا به هنگام استفاده هر داده را به دسته مناسب ان تخصیص دهد

روشهای مختلف دسته بندی :

روشهای زیادی برای دسته بندی وجود دارد که از جمله می توان به موارد زیر اشاره کرد

09367292276
09367292276
[e-mail]
azsoftir.com
بیز ساده و شبکه های بیزی
نزدیک ترین همسایگی
شبکه های عصبی
درخت تصمیم
رگرسیون

09367292276
09367292276
[e-mail]
azsoftir.com

داده کاوی چیست؟

داده کاوی چیست؟

استخراج اطلاعات و دانش و کشف الگو های پنهان از پایگاه داده های بسیار بزرگ میباشد

انگیزه کاوش داده ها ؟
انگیزه تجاری
انگیزه علمی

  داده هایی با ماهیت تجاری :

داده های وب و داده های تجارت الکترونیک
خرید و فروش های موجود در فروشگاه های خواربار فروشی و زنجیره ای
تراکنش های بانکی و کارت های اعتباری

پس داده های تجاری را با اهداف تجاری مورد پردازش قرار می دهیم و در نهایت از نتایج این پردازش برای دستیابی به سود بیشتر استفاده می کنیم

داده های با ماهیت علمی:

تصاویر ارسالی از طریق ماهواره
تصاویر ارسالی تاسکوپ ها
شبیه سازی علمی
داده های ژنی

وقتی داده ها از نوع علمی باشد معمولا کاوش داده ای علمی به سود بیشتر منجر نمی شود اما بیشتر اوقات با ایجاد دستاورد جدید و یا خدمت رسانی بیشتر به افراد و یا کشف حقایق خواهد شد

  کاربرد های داده کاوی :

مدیریت بانکداری
بیمه
پزشکی
بازار یابی

مدیریت ارتباط با مشتری

09367292276
09367292276
[e-mail]
azsoftir.com

بورس سهام
زمین شناسی و زلزله
سیاسی
هواشناسی
و غیره

09367292276
09367292276
[e-mail]
azsoftir.com