کلان داده بسیاری از صنایع و حتی زندگی ما را هم تحت تاثیر قرار می‌دهد؛ اما این مسئله خطرناک است یا مفید؟ در ادامه به بررسی کلان داده، اهمیت و خطرات آن می‌پردازیم.
کاربردها و خطرات کلان داده چیست؟
کاربردهای اینترنت اشیا
ساختار مرکز داده و اتاق سرور
دیتا سنتر و اتاق سرور استاندارد
داده شامل اطلاعات است؛ اما این همه‌ي ماجرا نیست. جزئیات یک حادثه یا اخباری درباره‌ی سلامت انسان داده‌ای نیست که ما با آن سروکار داشته باشیم. وقتی ما از داده صحبت می‌کنیم درواقع منظورمان مجموعه‌ی داده، سازمان‌دهی و ذخیره‌سازی آن است.
در عصر اینترنت شرکت‌ها و سازمان‌ها در سراسر جهان داده‌های بسیاری جمع‌آوری کرده‌اند که در ادامه به مقیاس گسترده‌ی آن‌ها می‌پردازیم. اکنون که کلان داده وجود دارد تاثیر بسیار بزرگی بر زندگی ما می‌گذارد.
کلان داده چیست؟
کلان داده مجموعه‌ی بسیار بزرگی از داده‌ها است که ابزارهای سنتی ما برای مدیریت این اطلاعات به کار نمی‌آیند. کلان داده می‌تواند اشکال مختلفی داشته باشد.
نمونه‌هایی از کلان داده
توییت‌های ذخیره‌شده در سرورهای توییتر
اطلاعاتی که گوگل از ردیابی خودروهای سواری به‌دست می‌آورد
مجموعه‌ای کامل از نتایج انتخابات محلی و ملی کشور که ابتدایی‌ترین رکوردها را نیز در بر دارد
اطلاعات شرکت‌های بیمه درمانی درباره‌ی افرادی که تحت درمان قرار می‌گیرند، نوع معالجات آن‌ها و بیمارستان مورد نظر دارند
اطلاعات لیست خریدها و مکان‌های ثبت شده در کارت‌های اعتباری
اطلاعات زمان، مکان و مدت زمان فیلم‌هایی که افراد در نت‌فلیکس تماشا می‌کنند
فناوری کلان داده چیست؟
رایانه‌های شخصی ما بطور کلی توانایی مدیریت حجم کمی از داده‌ها را دارند. کل اطلاعاتی را که می‌توانید وارد یک کامپیوتر کنید، در نظر بگیرید؛ در عین حال نرم‌افزارهای پایگاه‌داده قابلیت مدیریت حجم‌های بزرگتری از اطلاعات را دارند. این ابزارها می‌توانند روی داده‌های یک درایو سخت قرار بگیرند؛ البته ممکن است به قفسه‌هایی شامل نوت‌بوک‌ها و پوشه‌ها نیاز داشته باشند.
اما این ابزارها برای رسیدگی به کل حجم اطلاعاتی که ما به‌عنوان کلان داده به آن‌ها اشاره می‌کنیم کافی نیستند. به همین خاطر روش‌های جدیدی توسعه یافته‌اند. محاسبات ابری کارها را از کامپیوترهای ما روی سرورهای راه دور تخلیه می‌کند. به همین دلیل روش‌های زیادی برای دسترسی و استفاده از اطلاعات وجود دارد.
اینترنت اشیاء
اینترنتی که شما در حال حاضر می‌شناسید اینترنت افراد است، جایی که در آن مردم از طریق ماشین‌هایی تسهیل‌کننده با یکدیگر ارتباط برقرار می‌کنند. به عنوان نمونهای از این تعاملات، تصور کنید شما سایتی که دیگران طراحی کرده‌اند را بازدید می‌کنید و یا متنی که دیگران در سایت تایپ کرده‌اند می‌خوانید.اینترنت اشیاء جایی است که در آن اشیاء بدون دخالت بشر مستقیما با یکدیگر ارتباط برقرار می‌کنند؛ مثلا یک دستگاهی که بر آب‌و‌هوا نظارت می‌کند در نظر بگیرید؛ ترموستاتی هوشمند به این اطلاعات دسترسی پیدا می‌کند و درجه حرارت منزل شما را تنظیم می‌کند.
کلان داده و اینترنت اشیاء کاملا به یکدیگر وابسته‌اند. سازمان‌ها باید بدانند با حجم انبوهی از اطلاعاتی که جمع‌آوری می‌شود، چه‌کاری باید انجام دهند. اشیاء از طریق اینترنت و به لطف داده‌هایی که در دسترس‌شان است می‌توانند خودشان اقداماتی را صورت بدهند. هرچه دستگاه‌های بیشتری به این روش عمل می‌کنند داده‌های بیشتری تولید می‌شود.
یادگیری ماشین
منظور از یادگیری ماشین در واقع توانایی یادگیری کامپیوتر بر مبنای داده‌ها است؛ همین توانایی اساس شکل‌گیری وضعیت‌های مختلف رادیو اینترنتی پاندورا به سَبک مخصوص شما است. همچنین یادگیری ماشین در پشت پرده‌ی پیشنهادات محتوای یوتیوب و نت‌فلیکس قرار دارد.
این پیش‌بینی‌ها مبتنی بر الگوریتم‌ها هستند. الگوریتم جستجوی گوگل و نیز الگوریتمی که تعیین می‌کند چه چیزی در فید خبری فیسبوک مشاهده کرده‌اید همگی مبتنی بر توانایی یادگیری ماشین هستند.
هوش مصنوعی
هوش مصنوعی گام بعدی پس از یادگیری ماشین است. در هوش مصنوعی نه تنها یادگیری کامپیوتر باز داده‌ها وجود دارد، بلکه کامپیوتر از این اطلاعات در راستای تصمیم‌گیری متکی به خود و شکل‌دهی رفتار خودش استفاده می‌کند. مایکروسافت و گوگل نمونه‌هایی از تلاش برای ساخت ربات‌های انسانی هستند؛ فیسبوک نیز هوش مصنوعی را برای کمک به جلوگیری از خودکشی به کار گرفته است. فناوری به سرعت در حال پیشرفت است، تا جایی که نمونه‌های متعددی وجود دارد که “تفکر کردنِ کامپیوتر” بهتر از نوع بشریِ آن عمل می‌کند.
علم تجزیه و تحلیل کلان داده چیست؟
منابع کلان داده به خودی خود هیچ‌گونه اطلاعاتی را در اختیار ما نمی‌گذارند، در واقع شخصی باید باشد که مفهوم این اطلاعات را دریابد. در واقع کل کاری که در تجزیه و تحلیل کلان داده باید انجام شود به این صورت است: بررسی حجم زیادی از اطلاعات غیر قابل فهم و سپس فهمیدن آنچه می‌توان از آن استخراج کرد.
و به همین ترتیب کلان داده‌ها روی زندگی شما تاثیر می‌گذارند، حتی اگر یک مخالف تکنولوژی دنیای مدرن باشید. اما چرا به کلان داده‌ها روی آورده‌ایم؟ به این علت که با بینش صحیح، کلان داده‌ها مزایای زیادی دارند.
کاربردهای کلان داده
کلان داده همواره در جهت بهبود روند زندگی کاربرد زیادی داشته است؛ در این بخش برخی از موارد کاربرد کلان داده را بررسی خواهیم کرد:
کلان داده در خدمات بهداشتی، درمانی و سلامت
صنعت بیمه سلامت در زمینه اقتباس تکنولوژی‌های جدید سرعت خوبی ندارد. برخی از ارائهدهندگان بیمه‌های بهداشتی، درمانی و سلامت در حال مهاجرت از کاغذ به ابزارهای ذخیره‌سازی دیجیتالی هستند. با این وجود کلان داده در برخی زمینه‌ها تفاوت‌هایی را ایجاد کرده است؛ یکی از این زمینه‌ها یکپارچگی داده‌ها است. بیمه‌گذاران و ارائهدهندگان در حال کار روی ترکیب داده‌های منابع مختلف هستند، داده‌هایی مانند مانند مطالبات، اشعه ایکس، یادداشت‌ها و نسخه‌های پزشکان.
بسیاری معتقدند که اگر داده‌های بیمه سلامت بهتر یکپارچه‌سازی می‌شدند می‌توانستند بیمه‌ی بهتری با هزینه‌ای کمتر ارائه بدهند. در حالی که آمازون، برکشایر هاتاوی و جان پیرپونت مورگان اوایل سال جاری اعلام کردند در زمینه بیمه سلامت با یکدیگر همکاری می‌کنند، تکنولوژی را به عنوان نقطه تمرکز خود (مانند صفحه اصلی روزنامه گاردیَن) اعلام کردند.
دیتای بزرگ (Big Data) در حکومت ها
از 10 ابرکامپیوتر ساخته شده به دست بشر هفت کامپیوتر در آمریکا مستقر هستند و مرکز داده های یوتا در آمریکا که توسط سازمان امنیت ملی آمریکا ساخته شده تنها و تنها برای ردگیری داده های رد و بدل شده در اینترنت مورد استفاده قرار می گیرد و شامل بزرگ ترین حافظه ذخیره داده ها و قوی ترین کامپیوترهای دنیاست، هر چند که مشخصات دقیق آن به دلایل امنیتی در دسترس نیست اما تخمین ها نشان از ذخیره اطلاعات تا 10 اگزابایت را دارد.
در سال 2012 و هنگام انتخاب مجدد باراک اوباما، او از الگوی بیگ دیتا برای پیدا کردن مشکلات مردم و حکومت استفاده کرد و موفقیت بزرگی به دست آورد، اما دموکرات ها چهار سال بعد به همین رو رودست بدی از جمهوری خواهان خوردند و در ایالتی هایی که رقابت تنگاتنگی بین هیلاری کلینتون و دونالد ترامپ بود، دونالد ترامپ با هزینه زیاد و استفاده از بیگ دیتا توانست مسائلی را مطرح کند که نقطه ضعف کلینتون بود و باعث شد رای ترامپ در آن ایالت ها بیشتر باشد.
حاصل استفاده از بیگ دیتا در نهایت این شد که هرچند رای هیلاری کلینتون بسیار بیشتر از دونالد ترامپ بود اما از آن جایی که دونالد ترامپ ایالت های کلیدی را با اختلاف کم برنده شده بود، نتایج کلی انتخابات به سود او تمام شد.
در این میان کشورها و حکومت هایی هم هستند که از بیگ دیتا فقط برای جاسوسی و نفع شخصی استفاده نمی کنند، برای مثال در انگلستان سیستم ثبت نسخه های پزشکی وجود دارد و انستیتو ملی سلامت بریتانیا بدین طریق می تواند از در دسترس بودن تمام داروها و همچنین به روز بودن داروهای تجویزی توسط پزشکان اطمینان حاصل کند
کلان داده در فناوری
بسیاری از شرکت های بزرگ فناوری، اطلاعات بزرگ و باورنکردنی را جمع می کنند تا با تحلیل آن ها بتوانند بهترین پیشنهادها را به استفاده کنندگان خود بدهند. برای مثال شرکت ای بی دو انبار اطلاعاتی 7.5 پتابایتی و 40 پتابایتی دارد که از آن ها برای پیشنهاد بهترین محصولات به مشتریان خود استفاده می کند یا آمازون که با سرورهای خود می تواند روزانه میلیون ها خرید و فروش نیم میلیون فروشنده خود را سرویس دهی کند و سه تا از بزرگ ترین دیتابیس های لینکوس جهان را در خود جای داده است.
فیسبوک هم روزانه 300 میلیون عکس را ذخیره سازی می کند و این یعنی روزانه بیش از 500 ترابایت به حجم سرورهای آن و اطلاعاتی که باید پردازش شود افزوده می شود. از همه بزرگ تر باید گوگل را در نظر بگیرید که ماهانه بیش از 200 میلیارد جست و جو را در خود ذخیره می کند و براساس آن ها به استفاده کنندگان خود پیشنهاد می دهد.
جدا از موارد ذکرشده بیگ دیتا در ورزش، علوم، تحقیقات و بسیاری رشته های دیگر کاربرد دارد و هر روز جای خود را در دنیا بیشتر باز می کند. اما بیگ دیتا و جمع آوری این همه اطلاعات از نظر بسیاری بی اشکال نیست. منتقدان زیادی به نحوه استفاده از بیگ دیتا پرداختند و در مورد آن مقاله نوشتند و در مجموع می توان این انتقادات را در چند بخش کلی تقسیم بندی کرد.
نخستین چالش مربوط به بیگ دیتاها، در حقیقت مربوط به حریم خصوصی افراد است. عده ای معتقدند استفاده از بیگ دیتا مخصوصا در شبکه های اجتماعی ممکن است منجر به افشا شدن اطلاعات حساسی از افراد شود که آن افراد تمایلی به افشاشدن شان نداشته باشند یا موردی که در ابتدای مطلب درباره سازمان امنیت ملی آمریکا گفتیم که از اطلاعات شخصی افراد استفاده می کند.
چالش بعدی این است که جمع آوری میزان زیادی از اطلاعات به تنهایی کافی نیست، ما به تکنیک هایی نیاز داریم که از این حجم عظیم اطلاعات بهترین استنتاج را بکنیم و بتوانیم از آن ها استفاده کنیم. متاسفانه در بسیاری موارد هنوز این تکنیک ها حتی در بزرگ ترین شرکت بهینه و ایده آل نشده و ممکن است در بسیاری موارد منجر به تحلیل های اشتباه شود یا حتی در خیلی موارد تحلیل های درست منجر به عمل اشتباه استفاده کنندگان از آن شود.
چالش نهایی این است که لازمه استفاده از بیگ دیتا ذخیره سازی حجم بسیار بسیار عظمیی از اطلاعات است و به مرور زمان این اطلاعات که بسیاری از آن ها به دردنخور و دورریختنی است هزاران پتابایت و اگزابایت و زتابایت حجم را در دنیا به خود اختصاص خواهندداد و در بلند مدت این می تواند تبدیل به فاجعه شود.
کلان داده در بانکداری و خدمات مالی
صنعت مالی کاملا مصرّ بر تصمیم‌گیری‌های مبتنی بر تحلیل‌های کامپیوتری است. سقوط آنی سهام وال استریت به علت معاملات خودکار از طریق ماشین‌هایی بود که بدون دخالت انسان سهام را به سرعت با قیمتی پایین‌تر می‌فروختند و با توجه به آنچه در بازار درحال رخ دادن بود سایر فروشندگان را وادار به فروش کرده و نسبت به فروش تحریک می‌کردند. این نوع تجارت، تجارت بسامد بالا نامیده می‌شود.
اکنون دانشمندانِ داده‌های مالی، با استفاده از کلان داده‌ها پیشبینی می‌کنند که کدام سهام موفق خواهد بود و کدام یک احتمال دارد سقوط کند. همچنین بانک‌ها هم به کلان داده‌ها به عنوان راهی برای افزایش درآمد نگاه می‌کنند.
کلان داده در سرمایه گذاری
یکی از مهم ترین پیشرفت هایی که بیگ دیتا در سال های اخیر داشته است، صنعت سرمایه گذاری و مخصوصا وال استریت است. برای سال های سال در دنیای سرمایه گذاری این انسان ها بودند که به دنبال روندها و پیش بینی ها می رفتند و از آن جایی که دید انسان محدود است و نمی تواند متغیرهای زیادی را در تصمیم گیری خود دخیل کند باعث ضرر و زیان های بسیاری هم شدند.
نمونه آن در چند سال گذشته شرکت هوایی دلتا ایرلاین بود که در مورد اطلاعات نفتی اشتباه قضاوت کرد و باعث ضرر نیم میلیارد دلاری مجموعه خود شد یا نمونه بزرگ تر آن در سال 2008 اتفاق افتاد و بانک های آمریکا با یک قضاوت اشتباه در بخش مسکن سرمایه گذاری عظیمی کردند و باعث بزرگ ترین ورشکستگی تاریخ در آمریکا شدند. از آن به بعد بود که توجه به بیگ دیتا بیشتر و بیشتر جلب شد.
بیگ دیتاها و تحلیل درست آن ها می تواند متغیرهای بی شمار را در نظر بگیرد و به روندها و پیش بینی های دقیقی دست یابد و این دقیقا اتفاقی است که این روزها در وال استریت می افتد و باعث شده بسیاری از ریسک های سرمایه گذاری حداقل شده و سودها حداکثر شوند. هرچند بسیاری از شرکت های بزرگ کماکان در تصمیمات بزرگ خود از روی غریزه عمل می کنند اما تاریخ ثابت کرده که دیر یا زود این تصمیمات محکوم به شکست است و در نهایت بیگ دیتا کل بازار را به تسخیر خود درخواهدآورد.
کلان داده در تجارت الکترونیکی و بازاریابی
بازاریابی مدرن به داده‌ها وابستگی شدیدی دارد و ما هم با هر خریدی که انجام می‌دهیم اطلاعات زیادی تولید می‌کنیم. در این رابطه کلان داده وعده‌های بسیاری به حوزه‌ی بازاریابی داده است که اصلی ترین آن‌ها پاسخ به دو نیاز اصلی است.
اول به کمک آن‌ها می‌توان درباره شخص خریدار، زمان، مکان، نوع و قیمت خرید اطلاعات کسب کرد؛ و مورد دوم به دست آوردن ارتباطی منطقی بین محصولاتی که مشتریان می‌بینند یا در موردشان می‌خوانند یا می‌شنوند و در نهایت چیزی که خریداری می‌کنند. برخی فروشگاه‌ها با ردیابی کارت‌های اعتباری و وفاداری مشتریان از طریق دوربین یا ردیابی تلفن‌شان می‌فهمند کدام بخش از فروشگاه بیشتر توجه آن‌ها را جلب کرده است. مشتریان قبل از خرید باید به صورت آنلاین حساب‌هایی ایجاد کنند که این کار به سایت‌ها اجازه می‌دهد نه تنها خرید‌های آن‌ها بلکه هر قلمی که آن‌ها مشاهده می‌کنند را نیز ردیابی کنند.
در عوض تکنیک‌هایی مثل هدف‌گیری و شناسایی مشتری که نیمی از بودجه‌ی بازاریابی را هدر می‌دهند و تنها برای کوتاه‌مدت اثربخش هستند، پاسخ به این دو نیاز بسیار اثربخش‌تر است.
برای پاسخ به این نیاز‌ها، بازاریاب‌ها باید با استفاده از کلان داده از طریق تشخیص الگوی مصرف مشتری و شناخت علاقمندی‌ها و عادات مصرف، خرید بعدی وی را پیشبینی کنند
در واقع فروشگاه‌ها طرح‌های خود را بر مبنای علاقه و رفتار مشتریان پایه‌گذاری می‌کنند تا شرایط همکاری بهتری را در تجارت پیدا کنند. فروشندگان آنلاین بر مبنای اطلاعات جمعیت‌شناختی و سایر معیارها درباره‌ی چیزی که ما می‌خواهیم ببینیم تصمیم می‌گیرند. فروشگاه‌های جدید غیر مجازی آمازون نمونهای از ادغام دو دنیا هستند.
نیاز‌های بزرگی وجود دارند که از طریق نظارت بر علایق و رفتار آنلاین ما بوجود می‌آیند. گوگل و فیسبوک غول‌های سودآور تکنولوژی هستند که دلیل آن توانایی آن‌ها در فروش تبلیغات است که نسبت به پلت‌فرم‌ها و روش‌های تبلیغاتی دیگر بهتر می‌توانند گروه مصرف‌کنندگان به خصوص را مورد هدف قرار بدهند؛ این قابلیت آن‌ها به لطف اطلاعاتی است که برای استفاده از سرویس‌های آن‌ها ارائه می‌کنیم.
کلان داده در رسانه ها
رسانه ها مخصوصا در آمریکا سالانه میلیاردها دلار خرج می کنند تا بفهمند مخاطبان آن ها چه کسانی هستند، در چه سنی قرار دارند، جنسیت شان چیست و علاقه مندی هایشان کدامند. بزرگ ترین تهیه کننده این اطلاعات شرکت نیلسن است؛ با کمک این شرکت شبکه های تلویزیونی آمریکا دقیقا می دانند که در چه ساعتی چه تعداد بیننده و با چه مشخصاتی دارند و این اطلاعات به آن ها کمک می کند آینده را پیش بینی کنند و تبلیغات شرکت های دیگر را بر مبنای مخاطبان آن تبلیغات پخش کنند و بالطبع پول بیشتری از آگهی دهندگان بگیرند.
بیگ دیتا در اینترنت اشیا
بیگ دیتا و اینترنت اشیا به هم گره خورده اند. اطلاعات به دست آمده از اینترنت اشیا باعث به هم پیوستگی آن ها می شود و رفتارهای آینده آن ها را تعیین می کند. درست مثل همان اتفاقی که پیش تر گفتیم در رسانه ها می افتد. اینترنت اشیا می تواند با تحلیل اطلاعات به دست آمده در بخش های مختلفی از جمله زندگی روزمره، پزشکی و تولید کاربردهای زیادی داشته باشد.
آیا کلان داده خطرناک است؟
همانطور که کلان داده با وعده‌هایی همراه است ریسک هایی نیز دارد؛
نگران‌کننده‌ترین مسئله، حریم خصوصی و امنیت اطلاعات
کاهش حریم خصوصی از جمله معایب بزرگ کلان داده است؛ اکثریت مردم بیشتر از هر زمان دیگری در تاریخچه‌ی بشری درباره‌ی ما اطلاعات دارند. نه تنها پیدا کردن محل زندگی ما، بلکه دانستن در مورد جایی که می‌رویم، شخصی را که دوست داریم، نحوه‌ی زندگی ما، و تفکرات ما نیز آسان است. این موضوع باعث می‌شود که مسائل شخصی و اجتماعی بیشتر در معرض دستکاری قرار بگیرند. ممکن است ما فریب بخوریم و رمز و شماره کارت اعتباری خود را از دست بدهیم یا تحت تاثیر قرار بگیریم تا به کاندیداهایی رای بدهیم که تمایلی به حمایت از آن‌ها نداریم. داده‌های بیشتر راه‌های بیشتری برای تبلیغ‌کنندگان و شرکت‌های رسانه‌ای فراهم می‌کند تا میل‌ها و ارزش‌های ما را شکل دهند.
نسبت به گذشته اطلاعات و داده‌های بیشتری درباره‌ی ما وجود دارد و این داده‌ها در مکان‌های بیشتری نگه‌داری می‌شوند و این مسئله باعث می‌شود اهداف بیشتری در معرض حمله قرار بگیرند. در حال حاضر سرقت داده‌های ما به صورت غیر قابل کنترل و بی وقفه رخ می‌دهد. حتی شرکت‌هایی که روند درستی برای حفاظت از داده‌های ما در مقابل حملات خارجی دارند اغلب خودشان فعالیت‌های مشکوکی روی داده‌های ما انجام می‌دهند، همانند چیزی که در فیسبوک شاهد بودیم. مسئله‌ی ریسک بعدی پیش‌بینی‌هایی است که افراد از طریق اطلاعات کلان داده انجام می‌دهند. مثلا آیا برای بیمه‌ی سلامتی افرادی که عادت‌های غذایی ناسالم دارند بیشتر هزینه کنیم؟ آیا باید امنیت و ارامش را در مناطقی که پیشبینی می‌کنیم افزایش بدهیم؟ آیا قیمت برای خریداران آنلاین که در مناطق فقیر زندگی می‌کنند افزایش می‌یابد؟
یافتن راه‌هایی برای حفاظت از داده، احترام به حریم خصوصی و حفظ ارزش‌هایمان به صورت چالش‌هایی مداوم با روندی در جهت کلان داده‌ها ادامه خواهد داشت.