به نقل از جهان صنعت : عصر فناوری را که اکنون در آن زندگی می‌کنیم می‌توان عصر «تحول دیجیتال» نامید. رایانه‌ها، تلفن‌ها و بسیاری از فناوری‌های دیگر ارزان، قابل حمل و سریع شده‌اند و در نتیجه در همه جا وجود دارند. امروزه همه چیز به سرعت در حال تغییر است. محرک اصلی این تغییرات، مصرف‌کننده «دیجیتال» است. سرعت تغییر در ترجیحات مشتری، باعث افزایش تقاضا برای کیفیت، عملکرد و طراحی محصولات شده است.
احساسات اکنون برای مصرف‌کننده مهم هستند. الگوهای مصرف در حال تغییر هستند. این تغییر از روندهای آشکار موجود پدیدار می‌شود: تعامل از طریق دستگاه‌های هوشمند، عملکرد کسب‌وکار با سرعت بالا، افزایش تقاضا، اشباع بازارهای سنتی برای شرکت‌ها، افزایش رقابت و ظهور رقبای فناورانه جدید. فناوری‌های منسوخ برای مدت طولانی سود زیادی به ارمغان نمی‌آورند، مدرن‌سازی آنها گران است و به منابع نسبتا زیادی برای نگهداری آنها نیاز دارد.
بازار جهانی کلان‌داده‌ها بسیار سریع در حال رشد است. فعال‌ترین تولیدکنندگان و مصرف‌کنندگان داده، بخش عمومی، مراقبت‌های بهداشتی، تولید و خرده‌فروشی هستند. با این حال، حجم داده‌ها به طور تصاعدی در حال افزایش است و انتظار می‌رود تا سال ۲۰۲۵ بیش از ۱۸۱ زتابایت (۱۸۱ تریلیون گیگابایت) داده مفید وجود داشته باشد. ما در آستانه عصری هستیم که هر دستگاهی آنلاین است، عصری که در آن حسگرها در جهان ما همه جا وجود دارند و جریان‌های پیوسته‌ای از داده‌ها را تولید می‌کنند، عصری که حجم انبوه داده‌های ارائه‌شده و مصرف‌شده در اینترنت به صورت تصاعدی افزایش می‌یابد، عصری که اینترنت اشیا اثرانگشت دیجیتالی از دنیای ما تولید خواهند کرد.
در حالی که به طور سنتی داده‌ها فقط برای یک هدف خاص، اغلب توسط یک نهاد ملی آماری، جمع‌آوری می‌شدند، اکنون جهان به طور فزاینده‌ای در حال کمی شدن است، جایی که حتی کوچک‌ترین شرکت‌ها داده‌های دقیق و گاهی فردی را جمع‌آوری و ثبت می‌کنند. این کار از طریق اکوسیستم وسیعی از نرم‌افزارها (برنامه‌ها) و سخت‌افزار (حسگرها) تعبیه‌شده در دریای وسیع فناوری هوشمند از جمله تلفن‌ها، وسایل متصل به Fi-Wi، اتومبیل‌ها و ماهواره‌ها انجام می‌شود. این حجم داده‌ها به طور چشمگیری هم تنوع داده‌ها و هم سرعت ثبت داده‌ها را افزایش داده است. فرصت‌های جدید برای ‌ایجاد مجموعه داده‌های جدید از اطلاعات بدون ساختار قبلی، مانند متن و تصاویر ماهواره‌ای، فراوان است. این توسعه زمینه‌های جدیدی از مطالعات اقتصادی را باز کرده است. سوالاتی که قبلا فقط چندین ماه یا حتی سال‌ها پس از وقوع قابل پاسخگویی بودند، اکنون در همان زمان می‌توان به آنها پرداخت. بنابراین اقتصاددانان از پیش‌بینی به سمت مطالعه زمان کنونی حرکت کرده‌اند. به عنوان مثال، اکنون می‌توان از جست‌وجوهای گوگل در زمان واقعی برای پیش‌بینی تغییرات بیکاری یا از داده‌های Yelp برای پیش‌بینی الگوهای کسب‌وکار محلی استفاده کرد.
همه این موارد، آشنایی با کلان‌داده‌ها و روش‌های تحلیل آن را برای اقتصاددانان، صاحبان کسب‌وکار و سیاستگذاران اقتصادی ضروری می‌کند. با این حال این حوزه در کشور ما هنوز تا حد زیادی مغفول واقع شده و بسیاری از سیاستگذاران و صاحبان کسب‌وکار با مفاهیم اساسی مربوط به این حوزه آشنایی درستی ندارند. این امر اهمیت پرداختن به این موضوع را دوچندان می‌کند.
واقعیت آن است کلان‌داده حوزه نوظهوری است که در آن فناوری‌های خلاقانه، راه‌های جدید برای استخراج ارزش از موج اطلاعات جدید ارائه می‌دهد. اکنون توانایی مدیریت موثر اطلاعات و استخراج دانش به عنوان یک مزیت رقابتی کلیدی در نظر گرفته می‌شود. بسیاری از سازمان‌ها کسب‌وکار اصلی خود را براساس توانایی جمع‌آوری می‌کنند و تحلیل اطلاعات برای استخراج دانش و بینش تجاری می‌سازند. حالا دیگر پذیرش فناوری کلان‌داده‌ها در بخش‌های صنعتی یک امر لوکس نیست، بلکه یک نیاز ضروری برای بیشتر سازمان‌ها برای بقا و کسب مزیت رقابتی است و آشنایی با ابعاد مختلف آن از این حیث اهمیت دارد.

کلان‌داده چیست؟
اصطلاح «کلان‌داده» در حدود سال ۲۰۱۰ وارد واژگان اصلی شد، زمانی که مردم از سرعت تولید داده‌ها، عمدتا از طریق استفاده از رسانه‌های اجتماعی، آگاه شدند. مهندسان و دانشمندان کامپیوتر به سرعت دریافتند که کلان‌داده را نمی‌توان صرفا براساس اندازه تعریف کرد. در حالی که مطمئنا درست است که حجم داده‌ها در طول دهه گذشته مرتبا افزایش یافته است، اما عوامل دیگری نیز چشم‌انداز اطلاعات را تغییر داده‌اند.
کلان‌داده‌ها اصول رویکردهای فن موجود را به چالش می‌کشد و نیاز به اشکال جدید از پردازش داده‌ها را ایجاد می‌کند تا امکان تصمیم‌گیری، کشف بینش و بهینه‌سازی فرآیند افزایش یابد. با بلوغ حوزه کلان‌داده، چالش‌های دیگر مانند حقیقت (کیفیت داده و عدم قطعیت)، ارزش و غیره اضافه شده است. ارزش کلان‌داده‌ها را می‌توان در زمینه پویایی سازمان‌های مبتنی بر دانش توصیف کرد، جایی که فرآیندهای تصمیم‌گیری و اقدام سازمانی به فرآیند حس‌سازی و خلق دانش وابسته است.

بهره‌برداری از کلان‌داده‌ها
اثرات کلان‌داده فراتر از دنیای تجارت است. در جامعه علمی، انفجار داده‌های موجود چیزی را ایجاد می‌کند که علم داده نامیده می‌شود؛ یک رویکرد جدید مبتنی بر داده برای کشف علمی. توانایی تلسکوپ‌ها یا شتاب‌دهنده‌های ذرات برای تولید چندین پتابایت داده در روز، مشکلات مختلفی را از نظر ذخیره‌سازی و پردازش ایجاد می‌کند. دانشمندان راه‌حل‌های آماده‌ای برای تحلیل و مقایسه صحیح مجموعه داده‌های پراکنده و عظیم ندارند. فعال کردن این چشم‌انداز به فناوری‌های نوآورانه کلان‌داده‌ها برای مدیریت داده، پردازش، تحلیل، کشف و استفاده نیاز دارد.
داده‌ها همانند دارایی‌های سخت و سرمایه انسانی به عامل جدیدی برای تولید تبدیل شده‌اند. داشتن پایه تکنولوژیکی و ساختار سازمانی مناسب برای بهره‌برداری از داده‌ها ضروری است. اکنون تمام کشورها باید از پتانسیل داده‌های بزرگ برای ایجاد ارزش برای جامعه، شهروندان و کسب‌وکارها استفاده کنند و استفاده از آن می‌تواند به یک مزیت رقابتی تبدیل شود. برای افزایش رقابت‌پذیری صنایع از طریق کلان‌داده‌ها به یک استراتژی روشن نیاز است و ضرورت دارد که برای آن برنامه‌ریزی مناسب شود. عدم ورود مناسب به این حوزه، کشورها را وابسته به خارج کرده و ممکن است ذی‌نفعان را از استفاده کامل فناوری کلان‌داده بازدارد. رقابت در فناوری‌ها و راه‌حل‌های کلان‌داده به کشورها، از جمله کشورهای در حال توسعه، منبع جدیدی از رقابت و پتانسیل ایجاد یک صنعت جدید مرتبط با داده را می‌دهد که مشاغل جدید ایجاد می‌کند.

تحول بخش‌های صنعتی
پیش‌بینی می‌شود فواید بالقوه کلان‌داده‌ها بر همه بخش‌ها، از جمله مراقبت‌های بهداشتی، رسانه‌ها، انرژی و خرده‌فروشی تاثیر بگذارد. پتانسیل تحول مثبت در قبال تعدادی از بخش‌های کلیدی شناسایی شده است.

مراقبت‌های بهداشتی
اکنون بسیاری از جوامع به سمت سالخوردگی حرکت می‌کنند و تا چند دهه آینده، بحران جمعیت سالخورده یکی از بحران‌های عمومی در بسیاری از کشورها، از جمله ایران خواهد بود؛ همین امر باعث افزایش مطالبات برای توسعه زیرساخت‌های مراقبت‌های بهداشتی می‌شود. به همین دلیل نیاز فوری به توسعه و بهبود کارایی سیستم مراقبت‌های بهداشت فعلی برای پایدارتر کردن آن وجود دارد. از آنجایی که هزینه توسعه و بهبود این سیستم‌ها می‌تواند بالا باشد، استفاده از کلان‌داده‌ها یک مزیت مهم برای این کار ایجاد می‌کند و می‌تواند باعث صرفه‌جویی در هزینه‌های این کار شود. به طور مثال، در اتحادیه اروپا، استفاده از کلان‌داده‌ها می‌تواند منجر به صرفه‌جویی ۹۰ میلیارد یورویی در هزینه‌های مربوط به این بخش شود. کاربردهای بالینی کلان‌داده گستره وسیعی را شامل می‌شود؛ از جمله تحقیقات راجع به اثربخشی بالینی و مالی مداخلات تا نسل بعدی سیستم‌های پشتیبانی تصمیم بالینی که از مجموعه داده‌های بهداشتی ناهمگن جامع و همچنین تحلیل‌های پیشرفته عملیات بالینی استفاده می‌کنند. برنامه‌های تحقیق و توسعه مراقبت‌های بهداشتی شامل مدل‌سازی پیش‌بینی‌کننده، ابزارهای آماری و الگوریتم‌هایی برای بهبود طراحی کارآزمایی بالینی، پزشکی شخصی‌سازی‌شده و تحلیل الگوهای بیماری‌ها می‌شود.

بخش عمومی
بخش عمومی بخش مهمی از تولید ناخالص داخلی کشورها را تشکیل می‌دهد و می‌تواند به طور قابل‌توجهی از کلان‌داده‌ها برای به دست آوردن کارایی در فرآیندهای اداری بهره‌مند شود. پیش‌بینی می‌شود کلان‌داده‌ها می‌توانند هزینه‌های فعالیت‌های اداری را به میزان ۱۵ تا ۲۰ درصد کاهش دهند. مزایای بالقوه به‌کارگیری کلان‌داده‌ها در بخش عمومی شامل بهبود شفافیت از طریق داده‌های باز (data open)، بهبود تدارکات عمومی، افزایش تخصیص بودجه به برنامه‌ها، خدمات با کیفیت بالاتر، افزایش پاسخگویی بخش عمومی و شهروندی با آگاهی بهتر است. برای آینده، لازم است سیاست‌هایی راجع به اشتراک گذاشتن داده‌ها در میان سازمان‌های دولتی و اطلاع‌رسانی به شهروندان در مورد مخاطرات بین خطرات حریم خصوصی و امنیتی ناشی از اشتراک‌گذاری داده‌ها و مزایایی که می‌توانند به دست آورند، تعریف شود. کلان‌داده‌ها همچنین با توانمندسازی شهروندان برای درک مسائل سیاسی و اجتماعی به روش‌های شفاف جدید، رابطه بین شهروندان و دولت را تغییر می‌دهد و آنها را قادر می‌سازد تا از طریق مشارکت با مسائل محلی، منطقه‌ای، ملی و جهانی درگیر شوند.

امور مالی و بیمه
راه‌های مختلف برای شرکت‌های خدمات مالی وجود دارد که می‌توانند با استخراج و تحلیل داده‌ها به مزایای تجاری دست یابند. این خدمات شامل افزایش خدمات مشتری خرده‌فروشی، شناسایی تقلب و بهبود کارایی، عملیاتی می‌شود. کلان‌داده‌ها را می‌توان در طیف وسیعی از ابزارهای مالی پیچیده مانند مشتقات مالی استفاده کرد. تحلیل پیش‌بینی‌کننده داده‌های داخلی و خارجی منجربه مدیریت بهتر و پیشگیرانه طیف گسترده‌ای از مسائل، از ریسک اعتباری و عملیاتی (مانند تقلب و ریسک شهرت) گرفته تا وفاداری و سودآوری مشتری، می‌شود. یک چالش برای بخش مالی این است که چگونه از وسعت و عمق داده‌های موجود برای جلب رضایت طرفداران تنظیم‌گری بیشتر و همچنین ارائه خدمات شخصی برای مشتریان خود استفاده کند.

رسانه و سرگرمی
تکنیک‌های تحلیل و مصورسازی کلان‌داده‌ها می‌تواند ارائه محتوای رسانه‌ای موثر را امکان‌پذیر کند و تلکام کاربران را قادر می‌سازد تا به طور پویا با رسانه‌ها و محتوای جدید در چندین پلتفرم تعامل داشته باشند.

خرده‌فروشی
فرصت‌های قابل‌توجهی برای استفاده از فناوری کلان‌داده در تعاملات بین خرده‌فروشان و مصرف‌کنندگان وجود دارد. داده‌ها در اینجا نقش فزاینده‌ای ایفا می‌کنند، زیرا مصرف‌کنندگان به جست‌وجو، تحقیق، مقایسه، خرید و پشتیبانی آنلاین می‌پردازند و محصولات فروخته‌شده توسط خرده‌فروشان به طور فزاینده‌ای ردپای داده‌ای خود را ایجاد می‌کنند. کلان‌داده‌ها می‌توانند بهره‌وری و کارایی را افزایش دهند که منجر به افزایش بالقوه ۶۰ درصد حاشیه عملیاتی خرده‌فروشان می‌شود. کلان‌داده‌ها می‌توانند بر خرده‌فروشی در زمینه‌های زیر تاثیر بگذارند:
بازاریابی: فروش متقابل، بازاریابی مبتنی بر مکان، تحلیل رفتار مشتریان، تقسیم‌بندی خرد مشتری، تحلیل احساسات مشتری، بهبود تجربه مصرف‌کننده چندکانالی.
تجاری‌سازی: بهینه‌سازی مجموعه، بهینه‌سازی قیمت‌گذاری، بهینه‌سازی مکان و طراحی.
عملیات: شفافیت عملکرد، بهینه‌سازی ورودی‌های نیروی کار.
زنجیره تامین: مدیریت موجودی، توزیع و بهینه‌سازی لجستیک، اطلاع‌رسانی مذاکرات تامین‌کننده
مدل‌های کسب‌وکار جدید: خدمات مقایسه قیمت، بازارهای مبتنی بر وب.

تولید
بخش تولید اولین پذیرنده فناوری اطلاعات برای طراحی، ساخت و توزیع محصولات است. نسل بعدی کارخانه‌های هوشمند با ماشین‌آلات هوشمند و شبکه‌ای (یعنی اینترنت اشیا، صنعت ۰/۴) شاهد بهبود کارایی بیشتر در طراحی، تولید و کیفیت محصول خواهد بود. کلان‌داده‌ها از طریق محصولات دقیقا هدفمند و توزیع موثر، نیازهای مشتری را برآورده می‌کند. علاوه بر افزایش بهره‌وری و نگهداری پیش‌بینی‌شده، کلان‌داده‌ها مدل‌های تجاری کاملا جدیدی را در زمینه تولید انبوه محصولات فردی ایجاد می‌کند.

انرژی و حمل‌و‌نقل
کلان‌داده‌ها فرصت‌های جدیدی را با روش‌های نوآورانه برای نظارت و کنترل شبکه‌های حمل‌ونقل و لجستیک با استفاده از انواع منابع داده و اینترنت اشیا باز می‌کند. پتانسیل کلان‌داده‌ها در بخش حمل‌ونقل در سراسر جهان در قالب صرفه‌جویی در زمان و سوخت، با اجتناب از انتشار ۳۸۰ مگاتن ۲ CO، ۵۰۰ میلیارد دلار در سراسر جهان برآورد شده است. دیجیتالی شدن سیستم‌های انرژی امکان دستیابی به داده‌های با وضوح بالا و در زمان واقعی را از طریق کنتورهای هوشمند فراهم می‌کند که می‌توانند در تحلیل‌های پیشرفته برای بهبود سطوح کارایی در هر دو طرف تقاضا و عرضه شبکه‌های انرژی مورد استفاده قرار گیرند. ساختمان‌های هوشمند و شهرهای هوشمند محرک‌های کلید افزایش بهره‌وری در بخش‌های انرژی خواهند بود. فناوری کلان‌داده در بخش‌های آب و برق این پتانسیل را دارد که انتشار ۲ CO را تا بیش از ۲ گیگاتن، معادل ۷۹ میلیارد یورو کاهش دهد.
صنعت تلکام یا صنایع ارتباطات، شاخه‌ای از فناوری اطلاعات و ارتباطات است که از کلیه شرکت‌های ارتباطات، مخابرات و نیز ارائه‌دهندگان خدمات اینترنتی تشکیل می‌شود. ‌این صنعت امروزه نقشی اساسی در توسعه ارتباطات سیار و تکامل جوامع اطلاعاتی ایفا می‌کند.

کلان‌داده برای سیاستگذاری و تحلیل اقتصادی
در دسترس بودن کلان‌داده‌ها امکان بررسی سوالات طولانی‌مدت را با استفاده از اطلاعات دقیق‌تر در مورد رفتار اقتصادی فراهم می‌کند. این مجموعه داده‌ها امکان کشف حقایق تجربی جدیدی را فراهم می‌کند که قبلا به دلیل کمبود اطلاعات شناخته شده نبودند.
نقش «کلان‌داده‌ها» در زمینه برنامه‌های اقتصاد دقیقا چیست؟ کلان‌داده‌ها را می‌توان به عنوان مجموعه داده‌هایی تعریف کرد که تحلیل‌شان به سخت‌افزار محاسباتی یا ابزارهای نرم‌افزاری پیشرفته نیاز دارد. یکی از این ابزارها محاسبات توزیع شده است که پردازش یک کار را در چندین ماشین به اشتراک می‌گذارد، به جای یک ماشین واحد که معمولا توسط اقتصاددانان انجام می‌شود. نمونه‌هایی از کلان‌داده‌های مورد استفاده در تحلیل اقتصادی، داده‌های اداری (مانند سوابق مالیاتی برای کل جمعیت یک کشور)، مجموعه داده‌های تجاری (مانند پانل‌های مصرف‌کننده) و داده‌های متنی (مانند داده‌های توئیتر یا اخبار) هستند. در برخی موارد، مجموعه داده‌ها ساختار یافته و آماده برای تحلیل هستند، در حالی که در موارد دیگر (به عنوان مثال متن)، داده‌ها ساختاری ندارند و نیاز به یک مرحله مقدماتی برای استخراج و سازماندهی اطلاعات مربوطه دارند. اقتصاددانان هنوز در مراحل اولیه تحلیل کلان‌داده‌ها هستند و از تحولات سایر رشته‌ها درس می‌گیرند. به طور خاص، پس از کاربردهای اولیه در دهه ۹۰ علاقه مجددی به الگوریتم‌های یادگیری ماشین (ML) وجود دارد. چگونه کلان‌داده‌ها می‌توانند به درک بهتر اقتصاد و حمایت از سیاستگذاری کمک کنند؟ در سطح بسیار کلی، کلان‌داده‌ها فرصتی را برای آشکار کردن ناهمگونی در مصرف‌کنندگان و شرکت‌ها فراهم می‌کنند که معمولا در آمارهای رسمی نادیده گرفته می‌شود. جزئیات زیاد کلان‌داده‌ها می‌تواند برای ساختن شاخص‌هایی که برای توضیح پدیده‌های خاص طراحی شده‌اند، به عنوان مثال، در امتداد یک بعد جغرافیایی یا جمعیتی، مورد سوء‌استفاده قرار گیرد. علاوه بر این، بسیاری از مدل‌های اقتصادی مفروضاتی در مورد پارامترهای رفتاری عمیق ‌ایجاد می‌کنند که برآورد آنها بدون مجموعه داده‌های دقیق دشوار است. یک مثال در پژوهش چتی و همکاران (۲۰۱۴) نشان داده شده است که در آن اطلاعات فردی در مورد عملکرد مدرسه یک کودک با مسیر درآمدهای آتی او که از داده‌های مالیاتی سرویس درآمد داخلی (IRS)به دست می‌آید، تطبیق داده می‌شود. در موقعیت‌های دیگر، کلان‌داده‌ها به اندازه‌گیری مقادیری اجازه می‌دهند که تاکنون نمی‌توانستیم اندازه‌گیری کنیم. حوزه‌ای که از این منابع جایگزین داده سود می‌برد، اقتصاد توسعه است. به عنوان مثال، استوریگارد (۲۰۱۶) از داده‌های ماهواره‌ای نور شب برای تخمین درآمد شهرهای جنوب صحرای آفریقا استفاده می‌کند. یکی دیگر از ابعاد مهمی که در آن کلان‌داده‌ها می‌توانند به تحلیل اقتصادی کمک کنند، ارائه اطلاعاتی است که نه‌تنها جزئی‌تر بوده، بلکه در بعد زمانی نیز فراوان‌تر هستند. در مواقعی که شرایط اقتصاد به سرعت در حال تغییر است، سیاستگذاران برای طراحی پاسخ مناسب سیاستی به اندازه‌گیری دقیق وضعیت اقتصادی نیاز دارند؛ در روزهای ابتدایی همه‌گیری کووید۱۹ در مارس ۲۰۲۰، درست زمانی که سیاستگذاران فشار را احساس کردند تا با وجود فقدان آمار رسمی برای اندازه‌گیری میزان رکود، اقدام به حمایت از اقتصاد کنند. کلان‌داده‌ها کمک می‌کنند تا این داده‌ها زودتر در اختیار اقتصاددانان و سیاستگذاران قرار گیرند. بسیاری از شاخص‌های اقتصادی مرتبط به ندرت مشاهده می‌شوند، مانند تولید ناخالص داخلی (GDP) در دفعات سه ماهه و نرخ بیکاری و شاخص تولید صنعتی در دفعات ماهانه. این متغیرها با تاخیرهایی از چند روز تا چند ماه منتشر می‌شوند. به این دلایل، کلان‌داده‌ها پتانسیل تولید شاخص‌هایی از شرایط کسب‌وکار را دارند که دقیق‌تر و به موقع‌تر باشند. به طور کلی، شرکت‌های خصوصی در حال جمع‌آوری مقادیر قابل توجهی از داده‌ها هستند که می‌تواند برای تکمیل آمار رسمی و اطلاع‌رسانی سیاست‌های اقتصادی مورد استفاده قرار گیرد. همان‌طور که توسط Bostic و همکاران بحث شده است. رویکرد سازمان‌های دولتی برای تولید آمار رسمی، تا حد زیادی براساس نظرسنجی‌های مصرف‌کننده و تجاری است. این رویکرد دقت و نماینده بودن نمونه را تضمین می‌کند، اگرچه روشی گران و زمانبر است. از این رو، در دسترس بودن مجموعه داده‌های جایگزین امکان استخراج اطلاعاتی را فراهم می‌کند که می‌تواند شواهد به دست آمده از بررسی‌ها را تکمیل کند.