انتخاب یک راهکار مناسبِ هوش تجاری بر اساس نیاز کسب و کار- بخش سوم

 بسیاری از راه‌کارهای هوش تجاری موجود در بازار چندین قابلیت را پشتیبانی می‌کنند. لیست مورد بررسی شامل ویژگی‌های پایه می‌باشد که بخش جدایی ناپذیر از تمام راه‌کارهای تجزیه و تحلیل است و همچنین شامل ویژگی‌های پیشرفته‌ای است که بندرت در راه‌کارهای موجود پیاده سازی می‌شوند. ویژگی‌های پیشرفته مواردی هستند که انتظار می‌رود به زودی عملیاتی شوند.

برای این تحقیق، ما تجزیه و تحلیل کاملی از راه‌کارهای BI در بازار و ویژگی‌های آن‌ها در برابر ویژگی‌های انتخاب شده انجام دادیم. سپس لیست ابزارهای BI موجود در بازار را به تعداد 20 ابزار کاهش دادیم. روش مورد استفاده، تجزیه و تحلیل ساختار یافته و مقایسه راه‌کارهای BI را فراهم می‌کند که امیدواریم بینش بهتری در مورد وضعیت فعلی بازار فراهم و به انتخاب راه‌کارهای هوش تجاری کمک کند. علاوه بر این، تحلیل انجام شده اجازه می‌دهد تا روند فعلی در توسعه راه‌کار BI شناسایی شود. این تجزیه و تحلیل می‌تواند به عنوان نقشه راهی باشد که ممکن است هنگام انتخاب یک راه‌کار BI  متناسب با نیازهای سازمان مورد استفاده قرار گیرد. برای این منظور، ما جدول Feature-to-BIsolution را ایجاد کردیم و هرمی از ویژگی ها را به دست آوردیم که روند توسعه راه‌کار BI را منعکس می‌کند - با تمرکز ویژه بر ویژگی های جدید و آینده.

در جدول اول، ما 20 ابزار BI (راه‌کار) انتخاب شده را لیست می‌کنیم. در حال حاضر مشخصات آن‌ها در بازار موجود است و از طریق لینک مشخص شده در دسترس است. علاوه بر راه‌کارهای ارائه شده توسط فروشندگان برجسته(به عنوان مثال، مایکروسافت، IBM، SAP )، ما فروشندگان کوچکتری را نیز بررسی کرده‌ایم که برخی از ویژگی های جالب را ارائه می‌دهند (به عنوان مثال، Avlino، Sisense، QlikTech ).

در بیشتر ابزارهای تحلیل شده در این لیست راه‌کارهای برجسته Gartner برای BI گنجانده شده است (King, 2018). برخی از آنها مانند Domo، Sisense، Tableau، Power BI و Qlik در لیست بهترین نرم افزارهای تجاری سال 2018 گارتنر هستند که توسط مشتریان بررسی شده اند (Gartner, 2018h). به طور کلی، این لیست مخصوص استفاده آسان (easy-to-use) است که طیف گسترده ای از قابلیت های گردش کار تحلیلی را پشتیبانی می‌کند که نیازی به مشارکت قابل توجه متخصصان فناوری اطلاعات ندارد و به کاربران نهایی امکان انتخاب سریع ابزارها را می‌دهد. به عنوان مثال، ابزارها می‌توانند از قبل مدل داده‌ای از پیش تعریف شده را به عنوان پیش شرط تجزیه و تحلیل قرار دهند و در بعضی موارد، امکان تولید خودکار یک مدل داده‌ای قابل استفاده مجدد را فراهم می‌کنند.

توجه داشته باشید که تولید کنندگان نرم افزارهایBI به طور مکرر نسخه‌های جدید را با ویژگی های جدید منتشر می‌کنند، بنابراین در این مقاله، ما در حال بررسی وضعیت آن‌ها در نیمه دوم سال 2018 هستیم. به همین دلیل، هنگام انتخاب یک راه‌کار BI برای سازمان، توصیه می‌شود از ویژگی های فعلی و آینده ارائه شده در راه‌کار BI یک تولید کننده خاص سوال کنید. سرعت تولید / انتشار محصول BI باید به عنوان یکی از عوامل کلیدی در انتخاب در نظر گرفته شود زیرا ماهانه تعداد ویژگی‌های آن افزایش و بهبود می‌یابد. در بخش بعدی برای راه‌کارهای BI ذکر شده در جدول یک، با ارزیابی ویژگی‌های آن‌ها در برابر ویژگی‌های پایه و پیشرفته، تجزیه و تحلیل را انجام می‌دهیم.

جدول شماره یک- راه‌کارهایی (نرم افزار) که برای مقایسه انتخاب شده است.

انتخاب یک راهکار مناسبِ هوش تجاری بر اساس نیاز کسب و کار- بخش دوم

انتخاب راهکار مناسب هوش تجاری

برای انتخاب راهکار مناسب BI بین تعداد زیادی از گزینه های موجود در بازار، لازم است تصمیم بگیرید که چه قابلیت‌هایی لازم است و کدام یک برای نیازهای سازمان شما لازم و ضروری نیست. آیا کسی راه‌کاری با قابلیت‌های اولیه انتخاب می‌کند یا یک پلت فرم پیشرفته با ویژگی های تخصصی تر ؟ پاسخ ساده نیست، در پایان این مقاله، برخی از پاسخ های احتمالی به این سوالات را بررسی می‌کنیم.

بیشتر راه‌کارهای BI موجود در بازار امروز ویژگی های پایه (استاندارد) را ارائه می دهند: تجزیه و تحلیل داده‌ها، گزارش‌های موردی، داشبورد، مصورسازی داده‌ها، پرس و جوهای موردی، تجزیه و تحلیل‌های موردی و شاخص‌های کلیدی عملکرد (Badawy et al. 2016). هنگام انتخاب یک راه‌کار هوش تجاری، باید این واقعیت را در نظر بگیریم که برخی از پلتفرم‌های پیشرفته با وجود اینکه تخصصی و پیشرفته هستند، تمام ویژگی های اولیه و پایه را پوشش نمی‌دهند. از این رو لازم است، برخی نیازها و ویژگی‌های پیشرفته از طریق سایر ابزارها فراهم شود. بعلاوه، این امکان نیز وجود دارد که محصولی، برخی از ویژگی‌های اساسی یا پیشرفته را از سایر توسعه دهندگان راه‌کارهای هوش تجاری تهیه کنید.

ابتدا یک فهرست جامع از ویژگی‌ها و قابلیت‌های پیشرفته‌ی موجود در راه‌کارهای BI ارائه می‌دهیم این فهرست می‌تواند برای کاربرانی که در جستجوی یافتن راه‌کار مناسب هستند مفید باشد:

·        Master Data/Data Quality Management (MD/MDQ)

بدون داشتن داده‌های صحیح و دقیق امکان تصمیم گیری صحیح وجود ندارد. اهمیت MD / DQM از نیاز به داده‌هایی با کیفیت بالا ناشی می شود: کامل، دقیق، یکپارچه، سازگار و به موقع. در همین راستا، عرضه کنندگان راه‌کارهای BI بر ارائه قابلیت‌های پیشرفته برای مدیریت داده‌ها و کیفیت داده‌ها مانند چرخه کیفیت داده‌ها تمرکز ویژه‌ای دارند. (BARC, 2018a) . چرخه کیفیت داده شامل تمام مراحل مربوط به ارائه اطلاعات با کیفیت بالا به کاربران تجاری است: شناسایی و تعریف متریک، ارزیابی، تغییر و تمیز کردن داده‌ها، ذخیره سازی / دسته بندی/ تاریخچه وکاوش / رتبه بندی (Debattista et al. 2014 & BARC, 2018c). به این ترتیب، استفاده کنندگان می توانند کیفیت داده‌ها را از یک منبع اصلی ذخیره سازی و نگهداری داده به جای چندین پایگاه داده مختلف، کنترل و مدیریت کنند.

·        Data Discovery/Visualization

ابزارهای BI با قابلیت‌های پیشرفته کشف و مصورسازی داده‌ها، نیاز به دخالت دانشمندان داده را در هنگام آماده سازی سریع داده‌ها برای تصمیم گیری کاهش می‌دهند. کمک به کشف در داده‌ها همراه با مصورسازی، بهبود فرآیند اکتشاف در داده‌‌ها و حل چالش‌ها تحلیلی پیچیده. علاوه بر این، ترکیب یادگیری ماشین در ابزارهای کشف داده باعث کمک به تحلیلگران در مراحل آماده سازی تا تجزیه و تحلیل و نمایش داده‌ها شده است(BARC, 2018a). این راه‌کار باید ویژگی های کلیدی برای اتصال منابع مختلف، پاکسازی و شکل دادن داده‌ها برای ایجاد مجموعه داده‌های جدید جهت استفاده در تحلیل‌های بصری یا تجزیه و تحلیل‌های پیشرفته را ارائه دهد.

·        Self-Service BI

فرایندی که در آن کاربران نهایی گزارش‌ها و تجزیه و تحلیل‌های مختص به خود را طراحی می‌کنند و در سیستم قرار می‌دهند(Gartner, 2018b). گارتنر پیش بینی می‌کند که خروجی تجزیه و تحلیل کاربران کسب و کار با قابلیت‌های سلف سرویس از دانشمندان حرفه ای داده‌ها پیشی خواهد گرفت. این امر یادگیری کاربران کسب و کار را در مورد چگونگی استفاده و بهره‌مندی از تجزیه و تحلیل و ابزارهای BI موثر و ایجاد نتایج مطلوب تجاری در این فرآیند را تسهیل می‌کند (Gartner, 2018c). هوش تجاریِ سلف سرویس، چابکی و زمان رسیدن به دانش را سرعت می بخشد، اما این نباید بر کیفیت نتایج یا کارایی تأثیر بگذارد. این مورد باید بسیاری از الزامات را برآورده کند، از جمله افزایش سرعت نباید اعتماد به داده‌ها را خدشه دار کند و امکان دسترسی آسان، درک داده‌ها را کاهش دهد. همه ذینفعان و طرف های مسئول باید در روند بازسازی شرکت کنند. کیفیت و سازگاری داده‌ها باید از طریق افزایش امنیت داده‌ها و حاکمیت آن‌ها تضمین شود. همچنین رعایت الزامات از نظر معماری و حاکمیت و دستیابی به تعادل بین انعطاف پذیری و کنترل بسیار حیاتی است. (Informatec, 2018 & BARC, 2018b & Henschen, 2013)

·        Data Governance

حاکمیت داده‌ها – فرآیندی است که اطمینان حاصل می‌کند داده‌ها هنگام ورود به سیستم از استانداردهای دقیق و قوانین کسب و کار برخوردار هستند. در گذشته، عدم حفاظت از داده‌ها خسارت قابل توجهی به بسیاری از مشاغل وارد کرده بود (Norman, 2001) . از این رو، برای جلوگیری از این شکست ها، حاکمیت داده‌ها با در نظر گرفتن نیروهای متخصص، فرآیندها و فناوری ها در حال پیاده سازی یک استراتژی داده، در خصوص مدیریت سیاست‌ها و چارچوب‌ها و قوانین و مقررات برای سرمایه‌های داده‌‌ای است. یکی از ویژگی های مهم راه‌کارهای BI حاکمیت داده‌ها با انطباق با مقرراتی مانند مقررات عمومی حفاظت از داده‌ها (GDPR)، (Marelli et al., 2018) است.

·        Cloud BI/Data Management

طبق گفته گارتنر، بسیاری از سازمان‌ها تا سال 2021 بخش قابل توجهی از فعالیت‌های داده‌ای خود را به فضای ابری منتقل می‌کنند (Gartner, 2017). از این رو، اکثر شرکت‌هایی که در حال حاضر تولید کننده BI و مدیریت داده در بازار هستند، یک راه‌کار مبتنی بر فضای ابری ارائه خواهند داد. اگرچه cloud BI و مدیریت داده دارای قابلیت‌های عملکردی بسیار مشابه محصول فعلی هستند، اما آن‌ها قیمت های پایین تری دارند و بار بخش های فناوری اطلاعات را کاهش می‌دهند.

·        Augmented Analytics

تحلیل‌های تکمیل شده؛ با استفاده از ML و NLP بینش در داده‌ها را به صورت خودکار افزایش می‌دهد و به آماده سازی و کشف دانش با سرعت بالاتر کمک می کند. این فرایند داده‌ها را برای ارائه نتایج واضح و ساده فراهم می‌کند و همچنین جهت تصمیم گیری دقیق کاربران امکان دسترسی به ابزارهای پیچیده را فراهم می‌کند (Gartner, 2018a). هوش مصنوعی و یادگیری عمیق در تبدیل تحلیل‌های تکمیلی به مفاهیمی که برای کاربران عادی قابل درک باشد، کمک می‌کند. بنابراین باعث متحول شدن تجربه کاربر می‌شود (Victor, 2018). علاوه بر این توسعه و گسترش تحلیل تکمیل شده باعث بهبود تصمیم گیری مدیران می‌شود.

·        Mobile BI

سازمان‌ها مزیت ارائه فرصت‌های تصمیم سازی و تصمیم گیری برای کارکنان یا مدیران را بدون توجه به محل کار آن‌ها مورد بررسی قرار می‌دهند. افزایش استفاده از تبلت‌ها و دستگاه های تلفن همراه باعث افزایش استفاده از سیستم های هوش تجاری در تلفن همراه شده است، این امر بیشتر به دلیل ظرفیت نرم افزارهای هوش تجاری در ارائه مصورسازی قوی و وضوح در نمایش نمودارها و داشبورد می‌باشد (García, 2010).

·        Deep Learning-Powered Analytics

تجزیه و تحلیل مبتنی بر یادگیری عمیق نوعی یادگیری ماشین است که یک مدل شبکه عصبی را برای انجام کارهای شبیه به انسان، مانند تشخیص گفتار، پاسخ دادن به سوالات به زبان اصلی یا شناسایی اشیا آموزش می‌دهد. تا سال 2023، یادگیری عمیق به عنوان راه‌کار ارجح برای برنامه های کاربردی مورد استفاده قرار می گیرد(Gartner, 2018d).

·        Real-Time Analytics

تجزیه و تحلیل بلادرنگ منطق و ریاضیات را جهت تصمیم گیری بهتر در کمترین زمان ارائه می‌دهد. برای برخی موارد استفاده، زمان واقعی به این معنی است که تجزیه و تحلیل در عرض چند ثانیه یا چند دقیقه پس از ورود داده‌های جدید انجام شود (Gartner, 2018e). تجزیه و تحلیل داده‌ها با سرعت بالا و گزارش سریعتر در بسیاری از شرکت ها یک چالش است. سازمان‌ها برای حمایت از تصمیم گیری عملیاتی سریعتر و مبتنی بر واقعیت، نیاز فزاینده ای به در دسترس قرار دادن داده‌های سیستم‌های عملیاتی دارند. هوش تجاری با ویژگی های تجزیه و تحلیل بلادرنگ می‌تواند استراتژی BI موجود در یک سازمان را برای به دست آوردن بینش جدید در مورد داده‌ها جدید، تکمیل کند.

·        Agile BI Development

معماری انعطاف پذیر و مقیاس پذیری است که شامل توسعه سریع و تکرارشونده می‌شود که این فرصت را به سازمان‌ها می‌دهد تا ضمن کاهش هزینه‌ها، تغییرات را به سرعت با الزامات تجاری سازگار کنند. هوش تجاری چابک، به همکاری میان کسب و کار و IT نیاز دارد و با استفاده از نمونه سازی سریع، سازمان ها را قادر می‌سازد سرعت توسعه را افزایش دهند و در عین حال پاسخ بهتری به نیازهای تجاری داشته باشند. رویکرد توسعه چابک هوش تجاری نیز با مدیریت پروژه چابک پشتیبانی می شود، که توسط آن برنامه ریزی، جمع آوری نیازها، توسعه و حتی آزمایش عملکردی، رگرسیون و قابلیت استفاده به صورت تکراری مدیریت می‌شود(BARC, 2018a).

·        Data Warehouse Modernization

سازمان‌ها از چالش‌های جدید فن آوری و کسب وکار آگاه هستند. آن‌ها پتانسیل روش‌های جایگزین برای طراحی معماری انبارداده‌ و استفاده از سایر گزینه های فنی مانند پردازش در حافظه، ذخیره سازی در فضای ابری یا ابزارهای اتوماسیون انبار داده (DWA) را شناسایی می‌کنند. فناوری اطلاعات باید نیازهای تغییر الزامات تحلیلی را برآورده کند و آن‌ها باید در برابر گزینه‌های پیاده سازی جدید و ارزان تر، با توسعه دهندگان خارج از سازمان رقابت کنند. برای به حداکثر رساندن ارزش تجاری داده‌ها، رویکردهای همکاری لازم برای پوشش انتظارات روزافزون از تجارت مورد نیاز است. وقت آن است که انبارهای داده قدیمی را با نیازهای فعلی مقایسه کنیم و ارزیابی کنیم که چگونه سخت افزار و فناوری به روز شده می‌توانند تجارت را بهتر و راحت تر کنند (BARC, 2018a). انبار داده‌های سنتی برای کنترل سریع رشد داده‌ها و انواع مختلف داده‌ها و کلان داده طراحی نشده‌اند. همچنین، آن‌ها برای همگام سازی با نیازهای مداوم در حال تغییر کاربران نهایی و برنامه‌هایی که به آن‌ها تکیه می‌کنند، طراحی نشده اند (Snowflake, n. d ).

·        Data-Driven Culture

امروزه کارکنان بیش از هر زمان دیگری پیشنهادات خود را ارائه می‌دهند. سطح تحصیلات، تعامل و دانش بیشتر از هر زمان دیگری است. با فرهنگ داده محور، سازمان‌ها می‌توانند تمام داده‌های مربوطه را استخراج کرده و از ارزش هایی که ایجاد می‌کند به طور کامل استفاده کنند. فرهنگ داده محور با استخراج KPI های مرتبط در تجارت، به فرهنگ سازمانی کمک می‌کند تا به سطح عملکردی عمیقی در کسب و کار برسیم. شفافیت KPI های استخراج شده از داده‌ها، یک عامل کلیدی در رویکرد فرهنگ داده محور در سازمان ها است- فرهنگ مبتنی بر داده.

·        Data Preparation for Business Users

فرآیند پاکسازی، ساختارمند کردن و غنی سازی داده‌ها برای تحلیل های اکتشافی و پیشرفته است. آماده سازی داده‌ها با هدف فراهم آوردن ابزاری برای شکل دادن به داده‌ها بر اساس نیازهای تحلیلی آن‌ها بدون نیاز به توسل به فناوری اطلاعات است.

·        Integrated Platforms for BI and Performance Management (PM)

پلتفرم‌های یکپارچه برای BI و مدیریت عملکرد (PM) -

 هدف بسیاری از سازمان ها پشتیبانی از BI و PM در یک سیستم داده یکپارچه است. به همین دلیل، این یکی از پایدارترین روندها در بازار BI شده است(BARC, 2018a).

·        Embedded BI and Analytics

ترکیب هوشمند تجاری و برنامه های کاربردی- BI و تجزیه و تحلیل‌های Embedded معمولا ویژگی های مرتبط با نرم افزار BI (داشبورد، مصورسازی داده‌ها و ابزارهای تجزیه و تحلیل) را به برنامه های غیر BI موجود اضافه می‌کند. Embedded BI تجربه کاربری بسیار تمیزتر و دوستانه تری را برای مشتریان فراهم می‌کند و در نتیجه مزیت اصلی آن نسبت به راه‌کارهایی است که به دو پلتفرم جداگانه احتیاج دارند (Bitner, 2018).

·        Data Storytelling

با مصورسازی داده‌ها، اینفوگرافیک‌ها، داشبوردها، و غیره داستان سرایی داده‌ها شکل میگیرد و این چیزی فراتر از ایجاد نمودارهای جذاب بصری است. داستان سرایی داده‌ها (Data Storytelling) یک روش ساختاری برای برقراری ارتباط بینش داده‌ها است و شامل ترکیبی از سه عنصر کلیدیِ داده‌ها، تصاویر و روایت‌ها است. هنگامی که تصاویر و روایت مناسب را با داده‌های مناسب ترکیب می‌کنید، یک داستان داده‌ای شکل می‌گیرد و آن می‌تواند تأثیر گذار باشد و تغییر ایجاد کند.

·        Using External/Open Data

استفاده از داده‌های خارجی / باز – بینش‌های ارزشمندی را می‌توان از رسانه‌های اجتماعی، مشتری، بازار، هواشناسی، داده‌های جغرافیایی و جمعیتی و حتی از یافته های تحلیلی موجود جمع آوری کرد. سازمان ها می توانند این موارد و بسیاری از انواع دیگر داده‌ها را از سایر متخصصان BI، ارائه دهندگان خدمات متخصص یا پلتفرم‌های مختلف کسب و کار ها بدست آورند. این نوع داده‌های اغلب برای ساختن مدل‌های تجاری پیرامون تجزیه و تحلیل هدفمند مورد استفاده قرار می‌گیرند(Micek, 2017).

·        Analytics Teams/Data Labs

تیم های تجزیه و تحلیل / آزمایشگاه‌های داده واحدهای تجاری جداگانه‌ای هستند که بطور خاص برای آغاز به کار علم داده در یک سازمان طراحی شده‌اند. آن‌ها برای ذخیره، پردازش و تجزیه و تحلیل داده‌ها به سرمایه گذاری در فناوری‌های جدید نیاز دارند. هرچه تجزیه و تحلیل به بلوغ می‌رسد، استقرار و بهره وری چنین راه‌کارهایی حیاتی تر می شود. این موضوع چالش‌های جدیدی برای ارائه دهندگان راه‌کارهای نرم افزاری به وجود می‌آورد و برای پیوند دادن آزمایشگاه‌های داده، بخش IT و واحدهای تجاری نیاز به تجدید نظر در رویکردهای سازمانی دارند(BARC, 2018a).

·        Visual Design Standards

استانداردهای طراحی بصری روشی است برای ارائه اطلاعاتی که بتوان آن‌ها را به صورت موثر و کارآمد درک کرد. با توجه به نیاز روزافزون به تجزیه و تحلیلِ حجم زیادی از داده‌ها برای ادامه رقابت، روند استانداردهای طراحی بصری در سه سال گذشته ایجاد و مورد توجه قرار گرفته است. پشتیبانی از استانداردهای طراحی بصری به طور فزاینده‌ای به عنوان معیاری تلقی می‌شود که باید برای عرضه کنندگان راه‌کارهایBI در فرآیندهای انتخاب نرم افزار رعایت شود(BARC, 2018a).

·        IoT Analytics

تحلیل اینترنت اشیاء- در حالی که فن آوری های جدید حسگرها، موبایل و بی سیم باعث پیشرفت اینترنت اشیاء (IoT) می شوند، ارزش کسب و کار واقعی را باید بیشتر در تجزیه و تحلیل ها جستجو کرد. توسعه دهندگان شروع به ارائه چنین ویژگی هایی به مشتریان خود می‌کنند، بنابراین سبد خدمات خود را در زمینه‌های جدید تجاری گسترش می‌دهند. داده‌های اینترنت اشیا به تحلیل داده‌های بلادرنگ نیاز دارند. علاوه بر این، تنوع داده‌های اینترنت اشیا به این معنی است که برای پردازش، ذخیره و اجرای تجزیه و تحلیل موثر بر روی داده‌های اینترنت اشیا، لازم به معماری، ابزارها و فرایندهای جدید است. (Harris, n.d).

·        Big Data Analytics

تجزیه و تحلیل داده‌های حجیم - ابزاری را برای تجزیه و تحلیل مجموعه داده‌های با حجم، تنوع و سرعت بسیار زیاد جمع آوری شده از منابع داخلی و خارجی از جمله متن، حسگرها، موقعیت جغرافیایی و داده‌های جریان کلیک و غیره فراهم می‌کند. در این موضوع تجزیه و تحلیل داده‌های بزرگ باید به طور موثر مجموعه داده‌های بزرگ را در زمان واقعی یا نزدیک به زمان واقعی پردازش کند - از جمله مدل سازی، مصورسازی، پیش بینی و بهینه سازی(Hu et al. , 2014). سازمان ها برای پشتیبانی از تصمیم گیری و بهینه سازی فرآیند از تجزیه و تحلیل داده‌های بزرگ استفاده می‌کنند (Galetto, 2016).

تجزیه و تحلیل داده‌های حجیم شامل تجزیه و تحلیل داده ساختار یافته، تجزیه و تحلیل متن، تجزیه و تحلیل وب، تجزیه و تحلیل چندرسانه‌ای، تجزیه و تحلیل شبکه های اجتماعی و تجزیه و تحلیل تلفن همراه است(Hu et al.,2014).

·        Data Lake

با توجه به تعریف اولیه جیمز دیکسون؛ ذخیره داده‌‌های حجیم در یک حالت Native از داده‌های ساختاریافته و غیر ساختاریافته(Rajesh & Ramesh, 2016). ذخیره و پردازش داده‌ها به صورت خام، فرمِ اصلی و مستقیم از منابع داده، بدون هیچگونه پاکسازی، استاندارد سازی، بازسازی یا تغییر شکل امکان پذیر است. دریاچه داده‌ها پرس و جوهای موقت، اکتشاف داده‌ها و تجزیه و تحلیل های مبتنی بر کشف را امکان پذیر می‌کند، زیرا مدیریت و ساختار داده را می‌توان در زمان اجرا به صورت همزمان انجام داد(TDWI, n. d.). طراحی یک دریاچه داده برای ذخیره تمام داده‌ها (داده‌های رابطه ای، غیر رابطه ای و حجیم) در همان بستر است (Shepherd et al., 2018).

·        Edge Computing and NLP

Edge Computing و NLP پردازش زبان‌های طبیعی را به درخواست‌های کاربر نزدیک می‌کند. BI شاهد تلاش‌هایی برای درک رفتار، نگرش و احساسات کاربر است (Cambria, 2016; Shi, 2016). NLP با همکاری DL نقش محوری در درک زبان نوشتاری یا گفتاری دارد. اخیرا هوش مصنوعی گام فوق العاده‌ای در جهت رسیدن به این هدف برداشته است و انتظار راه‌کارهای هوش تجاری بیشتری با فن آوری های تلفیق گفتار زبان است (Chandrayan, 2017). 

ادامه دارد ...

منبع

انتخاب یک راهکار مناسبِ هوش تجاری بر اساس نیاز کسب و کار- بخش اول

چکیده

بسیاری از شرکت‌ها و سازمان‌ها از مزایا و قابلیت‌های عملیاتی که می‌توانند با استفاده از فناوری هوش تجاری به دست آورند آگاه هستند. با این حال‌ برای استفاده بهتر و حداکثری از قابلیت‌ها، نیاز به انتخاب یک راهکار هوش تجاریِ متناسب با نیازهایشان هستند.

در این مقاله، یک نمای کلی از بیست راه‌کار هوش تجاری موجود در بازار را ارائه می‌دهیم. همچنین اصلی ترین ویژگی و امکاناتی که درآینده ممکن است داشته باشند را شرح می‌دهیم. این امکانات در دو گروه ارائه می‌شود - امکانات اولیه و پیشرفته. و بعد با ارائه دو ابزار امکان انتخاب راه‌کار هوش تجاری در سازمان را تسهیل می‌کنیم– "جدول مقایسه و هرم ویژگی‌ها".

چهار کلاس بلوغ ابزارهای هوش تجاری را که از طریق اجرای ویژگی‌های پیشرفته منعکس شده است، شناسایی می‌کنیم و در آخر، درباره بینش های به دست آمده بحث می‌کنیم و برخی از رهنمودها را برای انتخاب راه‌کار مناسب BI همراه با روند توسعه شناسایی شده ارائه می دهیم.

مقدمه

بیش از دو دهه پیش، هوش تجاری (BI) به عنوان یک ماژول نرم افزاری پرس و جو محور و گزارشگیری شکل گرفت و آغاز به کار کرد. ویژگی های جدیدی از قبیل پردازش تحلیلی آنلاین (OLAP)، مصور سازی داده‌ها و قابلیت های موبایلی طی سالیان گذشته با هدف ساده ساختن استفاده از چنین راه‌کارهای پیچیده ای برای کاربران نهایی اضافه شده است. نیاز فزاینده به BI با رشد چشمگیر حجم داده‌ها، رقابت در بازار برای جذب مشتری و حفظ مشتری‌های فعلی و در دسترس بودن انواع ابزارهای BI بیش از پیش می‌شود.

بازار هوش تجاری به طور مداوم در حال پیشرفت است. روندها به صورت فصلی تغییر می‌کنند و وظیفه اصلی این کار برجسته سازی موضوعات مهم در این زمینه و ارزیابی زمینه های مورد نیاز در آینده است. بازارهای جهانی تغییرات قابل توجهی برای فناوری هوش تجاری در نظر گرفته است. کیفیت داده‌ها، مدیریت داده‌ها، کشف داده‌ها، مصورسازی و هوش تجاریِ سلف سرویس از مهمترین این موارد است. همچنین، فناوری هایی که کاربران هوش تجاری در آینده می توانند از آن انتظار داشته باشند، عبارت است از استقرار cloud BI، تجزیه و تحلیل مجهز به BI تلفن همراه، یادگیری ماشین (ML) و یادگیری عمیق (DL) و مقررات امنیتی و حریم خصوصی دقیق(BARC, 2018a).

هوش مصنوعی (AI) و یادگیری ماشین (ML) روند تحول در نرم افزارهای BI را ادامه می دهند. سازمان‌ها به طور فزاینده‌ای به قابلیت تجزیه و تحلیل خودکار داده‌های سیستم های قدرتمند BI وابسته خواهند بود. برنامه‌های یادگیری عمیق (DL) در حال ورود به بازار هستند در حالی که تحقیقات AI و برنامه های ML به بلوغ نسبی رسیده اند. بیشتر راه‌کارهای BI تجزیه و تحلیل داده‌ها، مصورسازی داده‌ها، تجزیه و تحلیل‌های ad hoc، داشبورد مدیریتی، ابزارهای پرس و جو موردی (ad hoc)، گزارش های موردی، KPIها و متریک‌های عملکردی را ارائه می دهند که همگی از ویژگی های اساسی راه‌کارهای BI محسوب می شوند. ظهور تجزیه و تحلیل های پیشرفته کسب و کار در بین راه‌کارهای BI را می‌توان مستقیماً به دلیل ارزان بودن سخت افزارهای ذخیره سازی، در دسترس بودن حجم زیاد داده‌ها و اینترنت اشیا دانست(Dhar, 2012). تمام این موارد، که با افزایش دسترسی به سرویس های ابری نیز پشتیبانی می شوند، یکی از دلایل اصلی افزایش قابل توجه تجزیه و تحلیل کلان داده است.

در کنفرانس Tableau 2018 ؛ (Labbe, 2019) رویکردی که بینش خودکار را با استفاده از یادگیری ماشین و پردازش زبان طبیعی (Gartner, 2018a) به صورت خودکار تحت عنوان تجزیه و تحلیل تقویت شده انجام می دهد، به عنوان مهمترین بخش ارائه شد. ریتا سالام، تحلیلگر گارتنر، گفت: "این نوع تجربه کاربر دوباره بازار را متحول خواهد کرد. تجزیه و تحلیل های تکمیلی در واقع استفاده از هوش مصنوعی است. این فناوری افراد بیشتری را قادر می سازد تا بدون نیاز به دانش زیاد در زمینه داده، به اطلاعات ضمنی دست یابند." علاوه بر این، بسیاری از کمپانی های عرضه کننده سیستم های BI تلاش کردند تا در سال 2018 فناوری های AI را بهتر در محصولات تحلیلی خود قرار دهند. انتظار می رود استارتاپ های بیشتری با روش های تجزیه و تحلیل تجدید نظر کنند. مدیر عامل شرکت آدام سلیپسکی در کنفرانس کاربران Tableau خاطرنشان کرد که فروشنده در سال 2018 قدم هایی برداشته اند تا توسعه دهندگان شخص ثالث را قادر سازند تا محصولات و خدمات خود را به راحتی و عمیق در پلت فرم Tableau ادغام کنند. رایانش ابری استفاده از ابزارهای تحلیلی را ساده و محبوبیت آنها را افزایش داده است. اکنون مشاغل نیازی به خرید مجوزهای شخصی برای برنامه های تحلیلی و رایانه های گران قیمت برای فرآیندهای تحلیلی پیچیده ندارند، زیرا شرکت های خدمات ابری اشتراک کم هزینه ای را برای استفاده از ابزارهای هوش تجاری خود در محیط ابری ارائه میدهند (Labbe, 2019).

نمایشگاه ها وکنفرانس های تحلیلی BI نشان میدهد که توسعه موتورهای SQL-on-Hadoop و راه‌کارهایی که قابلیت BI محلی را در داخل دریاچه های داده (data lakes) فراهم می‌کند گسترش یافته و کاربران را قادر می سازد که کارهای مربوط به BI را بر روی انواع مختلف داده‌ها (ساختاریافته یا غیر ساختاری) به صورت داخلی و یا مبتنی بر فضای ابری انجام دهند. در گذشته، سازمان ها با استخراج، تبدیل و بارگذاری داده‌ها از دریاچه های داده در انبارهای داده برای پرس و جو، گزارش و اکتشاف داده‌ها، استفاده میکردند. اکنون، این ویژگی های جدید نیاز به این فعالیت ها را کاهش می دهد، زیرا فناوری داده‌ها را قادر می سازد تا در قالب اصلی باقی بمانند. این ویژگی که برای دسترسی آسانتر و سریعتر به محتویات دریاچه داده‌ها ضروری است، قابلیت جستجو در انواع مختلف داده می‌باشد. در مرحله بعدی، انتظار می رود که سازمان‌ها استفاده از SQL-on-Hadoop را به عنوان یک ویژگی BI افزایش دهند، این کار دسترسی به داده‌ها در دریاچه داده را امکان پذیر می کند. از این تکنولوژی، تمرکز به سمت توسعه داشبوردهای تعاملی و سایر انواع مصورسازی حرکت می‌کند (Rajesh, & Ramesh, 2016).

استریم کردن داده‌ها و تجزیه و تحلیل های بی درنگ نیز به یکی از مهمترین اولویت های استراتژیک برای تعداد زیادی از سازمان‌ها که به دنبال برتری نسبی هستند، تبدیل شده است. اصولا این موضوع شامل حال سازمان‌هایی می‌شود که دستگاه‌های اینترنت اشیا را به عنوان بخشی از فناوری عملیاتی خود مستقر کرده اند(Intrinsic Communications,2019). این فناوری‌ها در امنیت سایبری، کشف تقلب و سایر نواحی ای که آگاهی فوری از اهمیت بسیار زیاد برخوردار می‌باشد، کاملاً اثبات شده است. با این حال، باید تأکید کرد که شرکت‌های عرضه کننده نرم افزارهای BI طیف وسیعی از فناوری ها را دنبال می‌کنند تا الگوریتم های ML را برای کاربران BI فراهم کنند تا امکان تصمیم گیری خودکار از داده‌های جدید را امکان پذیر کنند. امروزه ممکن است بسیاری از سازمان‌ها برای اجرای داده‌های عملیاتی خود از Apache Hadoop clusters استفاده کنند، سازمان ها از فناوری CDC جهت شناسایی و ضبط تغییرات داده‌ها و ساختارهای داده‌ای، و همچنین اطلاع کاربران از این تغییرات استفاده می‌کنند (Stodder, 2018).

سازمان ها در فضای BI باید انعطاف پذیری و چابکی خود را در کشف و تجزیه و تحلیل داده‌ها بهبود ببخشند و این یک وجه مشترک بین آن‌ها است. کاربران در حال تغییر نیازهای اطلاعاتی خود هستند، و باید از داشبورد به سمت فن آوری های جدید و روش های توسعه محور حرکت کنند. برای بهبود چگونگی همکاری کاربران و توسعه دهندگان از روش‌های چابک استفاده می‌شود. در همین زمان، گام رو به جلوی قابل توجهی در اجرای روشهای تفکر چابک، DevOps و طراحی برداشته شده است (Hani et. al. 2017).

روش های DevOps سرعت و انعطاف پذیری روند پیاده سازی را افزایش داده. فناوری های سلف سرویس BI به خوبی با روش های تفکر چابک و طراحی متناسب است.

به دنبال افزایش اهمیت تصمیم گیری های مبتنی بر BI، سازمان‌ها در حال ایجاد سمت‌های جدیدی مانند مدیر ارشد داده (CDO) یا تعیین مسئولیت "رئیس داده" به CIO (مدیر ارشد اطلاعات)، مدیر تحلیلی (CAO) یا رئیس BI و انبارداده هستند. مسئولیت های اصلی CDO بهبود اعتماد، حکمرانی و سودمندی داده‌ها، پیروی از مقررات، نظارت بر حفاظت از دارایی های داده‌ای و افزایش ارزش این دارایی ها است. راه‌کارهای سلف سرویس به کاربران این امکان را می دهد که کارهای بیشتری را به تنهایی انجام دهند، از جمله انتخاب داده، تهیه، ترکیب و مصورسازی؛ با این حال کاربران هنوز هم برای توسعه، محافظت، مدیریت و پایداری آنچه ممکن است با سلف سرویس بدست آورند نیاز به همکاری با بخش فناوری اطلاعات دارند. در نتیجه، کاربران نیازهای اطلاعاتی خود را بهتر درک می‌کنند . هدف واحد فناوری اطلاعات و CDO باید فراهم کردن محیطی باشد که کاربران بتوانند داده‌های قابل اعتماد و قابل اطمینانی را در اختیار داشته باشند. فروشندگان فناوری راه‌کارهایی با قابلیت های پیشرفته برای فعال کردن راهنمایی IT یا CDO ارائه می دهند.

به موازات آن، هوش مصنوعی در حال پیدا کردن جنبه‌هایی از تجزیه و تحلیل، BI، یکپارچه سازی داده‌ها و مدیریت داده‌ها است. و انتظار می رود که در آینده تأثیر قابل توجهی در تجربه کاربر غیر فنی داشته باشد. روند BI سلف سرویس کاربران را قادر می سازد تا در بکارگیری داده‌ها و مصورسازی آن بیشتر از پیش موثر واقع شوند، بنابراین بینش تحلیلی به بخشی طبیعی‌ای از تصمیم گیری‌ها بدل می شود (Hani et al. 2017 & Umble et al). ویژگی های پیشرفته هوش مصنوعی قابلیت های سلف سرویس را بیشتر بهبود می بخشد تا به کاربران غیر فنی اجازه تجزیه و تحلیل داده‌های مرتبط را بدهد. پیشرفت ML، DL و NLP کاربران را قادر می سازد مقیاس و سرعت تجزیه و تحلیل یا گزارش گیری از حجم بیشتری از داده‌ها را افزایش دهد. راه‌کارهای BI نوآوری مداوم در استفاده از هوش مصنوعی برای تقویت BI و تجزیه و تحلیل برای کاربران غیر فنی را فراهم می‌کند و نه تنها استفاده از آن را آسان تر، بلکه هوشمندانه و سریع تر نیز میکند (Victor, 2018).

در این مقاله مروری بر راه‌کارهای هوش تجاری و ویژگی‌های اساسی و پیشرفته آن داریم و مسیرهای احتمالی برای اضافه شدن قابلیت‌های جدید BI بررسی میشود. علاوه بر این، دو ابزار (ماتریس مقایسه و هرم ویژگی ها) برای انتخاب راه‌کار مناسب BI در یک محیط واقعی ارائه شده است. ماتریس و هرم، روندهای موجود در میان ابزارهای BI را نشان میدهد و درک کاملی در مورد قابلت‌های هر یک از آن‌ها فراهم میکند.

این مقاله به شرح زیر تنظیم شده است: در بخش دوم لیستی از ویژگی های راه‌کارهای BI که در بازار وجود دارد، آورده شده است. در بخش سوم چارچوبی از روش مقایسه ای انجام شده و ماتریس مقایسه و هرم ویژگی را ارائه شده است. و بخش چهارم نتیجه گیری این تحقیق را به صورت خلاصه بیان میکند.

ادامه دارد...

 منبع

Running Total

مساله:

 جدولی در یک دیتابیس بانکی وجود دارد که اطلاعات تراکنش های مشتریان بانک در آن ذخیره می شود. به گزارشی نیاز داریم که لیست تراکنش های مشتریان به همراه موجودی حساب مشتری را پس از هر تراکنش نمایش دهد.

تصویر 1

راه حل:

تکنیکی به نام Running Total وجود دارد که از آن برای محاسبه سرجمع مقادیر یک ستون از اولین سطر تا سطر جاری استفاده می شود.

استفاده از این تکنیک یکی از بهترین راه کارهای سیستم های مالی، انبارداری و ... می باشد. روش های متفاوتی برای استفاده از تکنیک Running Total وجود دارد که در این مقاله با روش های Sub Query، Join و Window Function به صورت Set Based بررسی می شود.

کوئری های این تمرین برروی جدولی شامل تراکنش های بانکی انجام میشود.

ستون UserID شناسه کاربری، ستون TransactionID شناسه تراکنش و ستونQuantity  مبلغ تراکنش انجام شده را در خود ذخیره می کنند. این جدول دارای اطلاعات تراکنش های دو کاربر با شناسه های 1 و 2 است که هر کدام تعداد 10 تراکنش داشته اند.

تصویر 2

دیتابیسی با نام Test (یا هر اسم دلخواه دیگر) ساخته و کد زیر را اجرا کرده تا جدول مورد نظر ساخته شود.

1. USE    Test;--DataBase Name
3. IF      OBJECT_ID('dbo.TransactTable', 'U') IS NOT NULL DROP TABLE dbo.TransactTable;
5. CREATE TABLE  dbo.TransactTable
6. (
7.    UserID INT NOT NULL
8. ,  TransactionID INT NOT NULL
9. ,  Quantity INT NULL
10. ,  CONSTRAINT PK_TransactTable PRIMARY KEY CLUSTERED
11.          (
12.       UserID ASC
13.    ,  TransactionID ASC
14.    )
15. );
17. INSERT INTO dbo.TransactTable (UserID, TransactionID, Quantity) VALUES
18.               (1, 1, 50),( 2, -7),(1, 3, 10),(1, 4, 3), (1, 5, -2),(1, 6, 3),(1, 7, -1)
19.      ,(1, 8, 17),(1, 9, -6),(1, 10, 1),(2, 1, 10),(2, 2, 5),(2, 3, 4),(2, 4, 7),
20.      (2, 5, -9),(2, 6, 90),(2, 7, -10),(2, 8, -5),(2, 9, -7),(2, 10, -50);

کد ساخت جدول

Sub Query:

در این روش کوئری درونی(کوئریی که خروجی آن بوسیله کوئری دیگر استفاده می شود) UserIDهای برابر با UserIDهای کوئری بیرونی(کوئریی که از خروجی کوئری درونی استفاده می کند) و TransactionIDهای کوچکتر از TransactionIDهای کوئری بیرونی را فیلتر کرده، سپس مجموع فیلدهای ستون Quantity را محاسبه می کند و در ستونی به نام Balance نمایش می دهد. این عملیات به ازای هر یک از رکوردهای کوئری بیرونی، یک بار انجام می شود.

1. SELECT     UserID
2. ,          TransactionID
3. ,          Quantity
4. ,          (
5.               SELECT     SUM(T2.Quantity)
6.               FROM       dbo.TransactTable    AS     T2
7.               WHERE      T2.TransactionID     =      T1.TransactionID
8.                          AND
9.                          T2.TransactionID     <=     T1.TransactionID
10.            )  AS         Balance
11. FROM       dbo.TransactTable    AS     T1;

کوئری اجرای Running Total به وسیله Sub Query

Join:

انجام Running Total به وسیله Join مانند روش Sub Query می باشد. در این روش جدول TransactTable با خودش Join زده می شود و شرط Join آن UserIDهای برابر و TransactionIDهای بزرگتر مساوی جدول اول از TransactionIDهای جدول دوم  می باشد. حاصل جوین جدول TransactTable با خودش بر اساس شرط های گفته شده، به ازای هر UserID و TransactionID جدول اول، TransactionIDهای کوچکتر مساوی آن UserID تکرار می شود. سپس سرجمع ستون Quantity محاسبه شده و بر اساس ستون های UserID و TransactionID دسته بندی(GROUP BY) می شود.

1. SELECT        T1.UserID
2. ,             T1.TransactionID
3. ,             T1.Quantity
4. ,             SUM(T2.Quantity)     AS     Balance
5. FROM          dbo.TransactTable    AS     T1
6. INNER JOIN    dbo.TransactTable    AS     T2
7.         ON    T2.UserID            =      T1.UserID
8.               AND
9.               T2.TransactionID     <=     T1.TransactionID
10. GROUP BY      T1.UserID
11. ,             T1.TransactionID
12. ,             T1.Quantity;

کوئری اجرای Running Total به وسیله Join

Window Function:

با آمدن Window Function به SQL، پیاده سازی Running Total بسیار آسان تر و کم هزینه تر شد. در این روش ستون Quantity را در تابع SUM قرار داده و در OVER، پارتیشن(PARTITION BY) را UserID قرار داده و ترتیب(ORDER BY) را بر اساس TransactionID اعمال میکنیم. محاسبه سرجمع، از اولین رکورد (UNBOUNDED PRECEDING) هر پارتیشن تا سطر جاری(CURRENT ROW) که سرجمع در حال درج در ستون Balance است، انجام می شود.

1. SELECT     UserID
2. ,          TransactionID
3. ,          Quantity
4. ,          SUM(Quantity) OVER(PARTITION BY UserID ORDER BY TransactionID
5.               ROWS BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)             AS     Balance
6. FROM       dbo.TransactTable ;

کوئری اجرای Running Total به وسیله Window Function

مقایسه Execution Planها:

در جدولی که کوئری های فوق بر روی آن اجرا شده است، ستون های UserID و TransactionID کلید اصلی می باشند.

لازم به ذکر است که هزینه اجرای کوئری های فوق، می تواند با افزایش تعداد تراکنش ها نسبت به تعداد کاربران و یا بالعکس، متغیر باشد.

منبع: برگرفته از کتاب Microsoft SQL Server 2012 High-Performance T-SQL Using Window Functions نوشته Itzik Ben-Gan

حذف سطرهای تکراری یک جدول، بوسیله SSIS Sort Transformation

در SQL Server برای حذف رکوردهای تکراری یک جدول، راه های متعددی  وجود دارد که در این پست با استفاده از سرویس SSIS این کار را به راحتی انجام خواهیم داد.

در SSIS وقتی  نیاز به مرتب سازی جدول پیدا می کنیم، میتوانیم از کامپوننتی به اسم Sort  استفاده کنیم که مانند دستور Order By عمل میکند و میتواند به صورت صعودی و نزولی سطرها را مرتب کند.

ابتدا یک پروژه SSIS  ساخته ، سپس در قسمت Solution Explorer روی Connection Managers کلیک راست کرده و گزینه New Connection Manager را انتخاب می کنیم.

پنجره ای باز میشود به اسم Add SSIS Connection Manager، که در این مثال  نوع OLEDB را انتخاب و سپس دکمه Add را میزنیم.

پنجره ای به نام Configure OLEDB Connection Manager ظاهر خواهد شد که با کلیک دکمه New پنجره ای به نام Connection Manager ظاهر خواهد شد. گزینه Server Name و دیتابیس مورد نظر را انتخاب می کنیم.

بعد از اطمینان از درستی برقراری کانکشن با کلیک دکمه Test Connection، دکمه OK  را کلیک کرده تا به مرحله بعد برویم.

Data Flow Task را از جعبه ابزار به صفحه طراحی منتقل می کنیم.

روی Data Flow Task کلیک راست کرده و گزینه Edit را انتخاب می کنیم تا وارد Data  Flow Task شویم. سپس OLEDB Source را از جعبه ابزاربه محیط طراحی منتقل می کنیم.

روی OLEDB Source راست کلیک کرده و گزینه Edit را انتخاب می کنیم. پنجره ای با نام OLEDB Source Editor ظاهر خواهد شد. دیتابیس و سپس جدول مورد نظر خود را انتخاب میکنیم.

روی دکمه Preview کلیک کرده تا یک پیش نمایش از جدول  ببینیم.

در تصویر جدول زیر، رکوردهای تکراری را علامت گذاری کرده ایم.

روی دکمه Close و سپس OK کلیک کرده تا به محیط طراحی برویم. 

Sort را از جعبه ابزار به محیط طراحی منتقل کرده و سپس  OLEDB Source را به Sort  متصل می کنیم.

روی کامپوننت Sort کلیک راست کرده و گزینه Edit را انتخاب می کنیم.صفحه یی به نام Sort Transformation Editor باز خواهد شد که با انتخاب هر فیلد، عمل مرتب سازی، بر اساس فیلد انتخاب شده انجام می شود.

روی دکمه OK کلیک کرده  و Derived Column را از جعبه ابزار به محیط طراحی منتقل می کنیم. سپس کامپپوننت Sort را به Derived Column متصل می کنیم.

روی متصل کننده ی کامپوننت Sort به کامپوننت Derived Column  کلیک راست کرده و گزینه Enable Data Viewer را انتخاب می کنیم تا تعداد رکوردهای منتقل شده راببینیم.

روی دکمه Start که در نوار ابزار است، کلیک کرده تا رکوردهای مرتب شده را ببینیم.

همانطور که می بینید، رکوردهای زیر بر اساس ستون Name مرتب شده اند.

روی دکمه Stop  که در نوار ابزار است کلیک کرده  و روی کامپوننت Sort  کلیک راست کنید و گزینه Edit  را زده تا پنجره Sort  Transformation Editor مجدد ظاهر شود. سپس Remove Rows With Duplicate Sort Values  را انتخاب کرده و روی دکمه OK  کلیک می کنیم.

روی دکمه Start کلیک کرده تا نتیجه را ببینیم.  همانطور که در تصویر زیر مشخص است، 19 سطر به کامپوننت Sort  منتقل، در آنجا مرتب سازی و سپس سطرهای تکراری حذف شده و 12 سطر به مرحله بعد منتقل می شود.

منبع