ماهي تكنولوجيا البيانات الضخمة Big Data؟

مع برامج تحليل البيانات ومصادر تضخم البيانات وإسهامات البيانات

كتبت: م.آية مصطفى

---

البيانات الضخمة، تعد البيانات هي شريان حياة التكنولوجيا الحديثة ..

وذلك بسبب أهميتها العملية والعلمية، كما أنها تساهم بشكل كبير في اتخاذ القرارات الصحيحة.

بسبب استخدام التكنولوجيا أصبح هناك تنوع وتعدد وتضاعف هائل في كم وحجم البيانات المتداول يوميا حتى أصبحت تعرف بتكنولوجيا البيانات الضخمة أو Big Data.

انضم لكوكب المعرفة 

تساهم تكنولوجيا Big Data اليوم في مختلف المجالات، حيث أصبح لها دور فعال في التسويق التجاري وزيادة بيع المنتجات ورفع كفائتها ومعرفة رأي العملاء فيها.

كما أنها أصبحت عامل مهم وأساسي يعتمد عليه في الشركات الكبرى مثل شركة Facebook وشركة التجارة الإلكترونية Amazon  وغيرها من الشركات الأخرى.

سوف نتعرف سويا من خلال هذا المقال على تكنولوجيا البيانات الضخمة، ماهي؟، وكيف تساهم في مختلف المجالات؟، التحديات والفرص بالإضافة إلى المعلومات الاخرى المتعلقة بمصطلح Big Data تابع معنا.

ما هي البيانات والمعلومات؟

البيانات هي عبارة عن أرقام وصفات غير مرئية ومزدحمة من الصعب الحصول على نتيجة منها قبل معالجتها، كما أنها تعرف من الناحية التقنية.

بأنها هي المدخلات إلى جهاز الكمبيوتر input حيث يتم تشغيلها processing ومعالجتها داخل الجهاز والحصول على output المخرجات في صورة معلومات information.

كما يمكن تعريفها أيضا بأنها المادة الخام التي يتم تجهيزها للحصول على معلومات ولم تكن لها فائدة إلا بعد أن يتم تحليلها ومعالجتها.

لذلك يمكن تعريف المعلومات بأنها البيانات التي تم معالجتها وأصبحت لها قيمة، كما أنها تحتمل الصواب والخطأ وتستخدم في صناعة مختلف القرارات.

من الممكن أن تكون المعلومات رموز أو أرقام أو كلمات، كما أنها لا تفترض المنطقية فهي مجموعة من البيانات المحددة والتي ترتبط بالكمبيوتر أو الإنسان أو وسائل التوثيق المختلفة.

ما هي أشكال البيانات الخام؟

يمكن تقسيم أشكال البيانات إلى ثلاث أنواع هي:

1ـ بيانات غير مهيكلة

هي عبارة عن بيانات إلكترونية من الصعب تصنيفها مثل الرسومات البيانية والصور، بالإضافة إلى المشاركات المكتوبة والفيديوهات.

 والمدونات الإلكترونية على مواقع التواصل الاجتماعي المختلفة، والتي من الصعب معالجتها حيث أنها تشكل النسبة الأكبر من البيانات في العالم لكثرة عددها، حيث أنها تصل إلى ملايين الرسائل يوميا.

2ـ البيانات المنظمة أو مهيكلة

 هي عبارة عن بيانات منظمة في شكل قواعد البيانات أو جداول، كما أنها تتبع مخطط قاعدة بيانات محدد مسبقا، بالإضافة إلى أنها تكون منظمة على شكل حقول منسقة ومثبتة في ملف أو سجل.

3ـ بيانات شبه مهيكلة

 هي بيانات قريبة في شكلها من البيانات المهيكلة ولكنها لا توجد في قاعدة بيانات أو جداول، كما أنها تكون على شكل نص على صفحة ويب.

 فهي بيانات غير مكتملة أو منظمة ولها هيكل، كما أنها قابلة للتغير بشكل غير متوقع وسريع.

مثال للبيانات الشبه مهيكلة اللافتات التي تحتوي على معلومات حول العروض الفنية وزمانها ومكانها وأسعار التذاكر للحضور، أو السيارة المعروضة للبيع مثلا لونها ونوعها والسنة التي صنعت فيها وارقام التواصل.

ما المقصود بقواعد ومستودعات البيانات وما هي أهميتها؟

تعرف قواعد البيانات بأنها مجموعة من البيانات المرتبطة ببعضها والمتعلقة بموضوع أو مجال معين أو تخدم شخص ما، وتكون هذه البيانات مرتبة ومنظمة بطريقة مناسبة وسهلة حتى يمكن الوصول إليها واسترجاعها.

يوجد بعض الشروط التي يجب توافرها في البيانات المترابطة لكي تسمى قاعدة البيانات ومنها:

• يجب أن تصف هذه البيانات مجال معين في الحياة
• يشترط أن تكون البيانات مترابطة مع بعضها ترابط منطقي
• يمكن أن تكون قاعدة البيانات بأي حجم أو أي تعقيد، كما أنها من الممكن أن تحتوي على جدول واحد أو عشرات الجداول بشرط أن يوجد ترابط بينهما

أما مستودع البيانات فهو يمثل مجموعة منطقية من المعلومات يتم جمعها من قواعد مختلفة، والتي تدعم وظيفة صنع القرارات وفعاليات تحليل النشاط.

كما يعرف مستودع البيانات أيضا بأنه دمج بيانات من قواعد بيانات متعددة ووضعها في قاعدة بيانات منفردة.

الأهمية

يعتبر لقواعد البيانات دور أساسي في حياتنا حيث لا يخلو أي مجال من المجالات منها فهي تستخدم في الشركات والمصانع والمستشفيات والجهات الحكومية وغيرها من المؤسسات الأخرى.

تتمثل أكبر فائدة من استخدام قواعد البيانات في أنها تسهل عملية استرجاع البيانات التي تم الحصول عليها بسرعة ومرونة.

كما أنها يمكن من خلالها تخزين كم هائل من البيانات التي تتجاوز إمكانيات البشر في تذكر تفاصيلها، بالإضافة إلى إجراء عمليات ومحاكاة يصعب عملها يدويا.

البيانات الضخمة Big Data

يعود أثر مصطلح البيانات الضخمة إلى عام 2001 م حيث تم نقاشه من قبل Meta Group مجموعة ميتا. كما أنه تم نقاشه مرة أخرى من قبل Gartner للأبحاث عام 2008 م.

والمقصود بهذا المصطلح هو تضخم حجم البيانات من ناحية السرعة والعدد والتنوع في الإنتاج، لذلك يتم البحث عن حلول لإدارة هذا التضخم، سواء في القدرة على تخزينها أو القدرة على تحليلها والاستفادة منها.

كما تم تعريفها أيضا من قبل معهد Mckinesy على أنها بيانات لها حجم أكبر من قدرة قواعد البيانات النمطية على إدارتها والتقاطها وتحليلها وتخزينها. 

تأتي هذه البيانات من مصادر متعددة مثل الفيديوهات والصور الرقمية ومواقع التواصل الاجتماعي المتعددة والهواتف الذكية والهواتف الخلوية الذكية وأجهزة الاستشعار واشارات GPS وغيرها.

تتكون البيانات الضخمة من كل البيانات المهيكلة أو المنظمة والتي تشكل جزء بسيط يصل إلى 10% مقارنة بنسبة المعلومات الغير مهيكلة وهي تشكل الباقي.

وفقا لأبحاث شركة Intel ازدادت البيانات بمعدل مزهل منذ بداية عام 2003م، حيث يتم إنشاء ما يصل إلى 2,5  كوينتيليون بايت من البيانات يوميا.

لذلك أصبحت البيانات الضخمة اليوم من أهم الإتجاهات البحثية  من قبل الشركات، كما أنها من الممكن أن تساهم في تحقيق المكاسب الاقتصادية وتساهم في تنمية العديد من المجالات.

بالإضافة إلى أنه يتم الحصول على قيمة كبيرة من هذه البيانات والتي تحقق العديد من الفرص الجديدة لمختلف العلوم لكي تستفيد منها في الابتكار والتجديد وتحديد مجالاتها.

مثل التمويل والبحث والمراقبة والرعاية الصحية وعلم تحسين الجينات البشرية ومجال النفط والغاز وغيرهما من المجالات العلمية الأخرى.

تتطلب Big Data تحول كبير في مجال الحوسبة للقدرة على توفير المعالجة المطلوبة لتحليل كميات كبيرة من البيانات وتوفير تخزين أفضل لها.

 المصادر التي تساهم في تضخم البيانات

السرعة المذهلة والرهيبة في تضاعف وزيادة أحجام البيانات في سنوات قليلة تعود إلى تعدد وتنوع مصادر هذه البيانات والجهات التي تساهم في توليدها.

ساهم ظهور الجيل الثاني من الويب والإنترنت بشكل كبير في تضاعف حجم البيانات، بالإضافة إلى التطور التكنولوجي السريع، حيث أن الأجهزة الذكية وأجهزة الاستشعار.

 وغيرها من الأجهزة المتصلة بشبكة الإنترنت، قد تساهم بشكل أساسي في تزاحم وتراكم البيانات.

كما تساهم ايضا اجهزة الملاحة GPS في تضخيم البيانات، على سبيل المثال طائرة من نوع A380 تنتج ملايين الشفرات البرمجية كل نصف ساعة.

 وهو يقدر 10 تيرابايت من البيانات والمعلومات التي تولدها المحسسسات والمحركات لوصف جميع التفاصيل الدقيقة أثناء الرحلة.

يساهم أيضا البشر بشكل كبير في إنتاج البيانات الضخمة، حيث تشير دراسة شركة Intel إن الشخص الواحد ينتج حوالي 22 مليون تيرابايت من البيانات.

من خلال تعامله مع الاجهزة الذكية، كما تقدر شركة IBM أن إنتاج البشر للبيانات يصل إلى 2,5 كوينتيليون يوميا، تنبع هذه البيانات من كل مكان مثل.

الفيديوهات ومعاملات البيع والشراء ومعلومات المناخ وتغريدات مواقع التواصل الاجتماعي، وبالرغم من هذا الكم الهائل من البيانات، إلا إن قدرت شركة IDC أن 22% فقط من هذه المعلومات تعتبر مفيدة.

برامج تحليل البيانات الضخمة

يختلف تحليل البيانات الضخمة عن البيانات الصغيرة والتي عادة ما تعتمد على برامج الإحصاء العادية والمعروفة مثل Excel, SAS, SPSS.

حيث تتميز Big Data بسرعتها الفائقة في الضخم والتراكم، لذلك كان من المهم إيجاد برامج لها قدرة عالية على الترتيب والبحث قبل الوصول إلى التحليل.

من أهم هذه البرامج هي مشروع أباتشي Hadoop، وهي إطار يسمح بمعالجة البيانات الكبيرة ويحدد عبر مجموعات من اجهزة الكمبيوتر.

 والتي تستخدم نماذج بسيطة للبرمجة كما أنها تعتمد على التخزين السحابي في عملها بدلا من قواعد البيانات العادية، بالإضافة إلى أنها تتكون من اكثر من برنامج.

البيانات الضخمة التحديات والفرص

ما هي التحديات والفرص الخاصة بالبيانات الضخمة؟

أولا التحديات

يعيش العالم اليوم وسط فيض من المعلومات والبيانات، كما أدى ذلك إلى ظهور سوق جديدة في مجال التكنولوجيا يعرف Big Data.

يعد حجم هذه البيانات وخصوصا المولدة آليا تحديا كبيرا، ويتمثل التحدي في كيفية التعامل مع أحجام هذه البيانات، بالإضافة إلى تنوعها.

حيث توجد حوالي نسبة 80% من هذه البيانات والمعلومات تكون غير مهيكلة أو منتظمة، ويشكل ذلك تحدي كبير يتمثل في صعوبة تمثيلها في الأعمدة والصفوف.

 وذلك لأن مايهم المؤسسات والشركات المختلفة هو القدرة على جمع جميع هذه البيانات وتحليلها معا بطرق جديدة لكي تساعدهم في اتخاذ القرارات في الأوقات المناسبة.

بالإضافة إلى البيانات المهيكلة والبيانات الغير المهيكلة توجد أيضا البيانات الشبه مهيكلة، والتحدي هنا هو كيف يتم التعامل مع تعدد صيغ ومصادر وأنواع هذه البيانات.

بالإضافة إلى جمع البيانات وتعددها هي أيضا تتميز بالسرعة، ويكمن هنا تحدي آخر وهو كيف يتم التعامل مع المعلومات في الوقت المناسب وكيف يتم الحصول على القيمة المرادة منها. 

من أكبر التحديات والتي تعد أخطرها هي ضمان خصوصية البيانات الشخصية، حيث تقوم الشركات بكسب المال عن طريق استغلال بيانات العملاء الشخصية.

لذلك من المفترض أن تستخدم هذه الشركات تكنولوجيا Big Data وتوظيفها لكي تحافظ على ضمان خصوصية بيانات المستهلك.

ثانيا الفرص

تقدم Big Data ميزة تنافسية للشركات والمؤسسات، بشرط أن تحسن تحليلها والاستفادة منها، حيث أنها تقدم لهم فهم أعمق للعملاء ومتطلباتهم.

كما أنها تساهم في اتخاذ القرارات داخل المؤسسة أو الشركة بشكل أكثر فعالية بناء على معلومات مستخرجة من قواعد البيانات الخاصة بالعملاء، بالإضافة إلى زيادة الكفاءة والربح.

لم تقتصر تكنولوجيا البيانات الضخمة على المؤسسات والشركات التجارية فقط، ولكنها تستخدم أيضا في المجالات الصحة ومجالات التنمية ومجال المخابرات مثل وكالة الأمن القومي ناسا وغيرها من المجالات الاخرى.

يعتبر تحليل البيانات مفتاح المنافسة، حيث أن تفاصيل وأحجام المعلومات التي يتم الحصول عليها من قبل الشركات المتزايدة وإنترنت الأشياء.

بالإضافة إلى ارتفاع وسائط الإعلام الاجتماعية والوسائط المتعددة، قد أدى كل ذلك إلى النمو الهائل في البيانات، كما أن يعتبر استخدامها دعما كبير لموجات جديدة من نمو الإنتاج و فائض المستهلك.

بالإضافة إلى كل ذلك تحليل البيانات الضخمة لم يقتصر على الدول المتقدمة أو الدول الصناعية فقط، لكنه يستخدم أيضا في الدول النامية.

حيث أن استخدام الهواتف المحمولة من قبل مليارات الأفراد في جميع أنحاء العالم أتاح فرصة تحليل بيانات الهاتف المحمول، كما ساعد في اكتشاف الأمراض والمراكز الفقيرة في الدول النامية.

أهمية البيانات الضخمة بالنسبة لشركات التقنية والشركات الأخرى

تتنوع الشركات التقنية المسيطرة على سوق التكنولوجيا في العالم بداية من شركات التواصل الاجتماعي إلى شركات المتاجر الإلكترونية وصولا إلى شركات محركات البحث.

ومن أهم هذه الشركات وأكثرها شهرة هي شركة محرك البحث Google وشركة التواصل الاجتماعي Facebook وشركة Twitter وشركة التجارة الإلكترونية Amazon وشركة أو منصة التداول العالمية موقع EBAY.

بالرغم من أن البيانات الضخمة تعتبر تحديا إلا أن معظم شركات التقنية الكبرى تعد من أكثر وأكبر المستفيدين منها، حيث أنها تسمح لهم بتصميم وعمل منتجات جديدة وتقديم خدمات تلبي احتياجاتهم وتتماشى مع متطلبات العملاء.

كما تستخدم أيضا الشركات المصنعة البيانات التي يتم الحصول عليها من مستخدمي منتجاتها في تطوير وتحسين منتجاتها المستقبلية وخلق عروض وخدمات ما بعد البيع.

حيث اصبح لدى الشركات إمكانية هائلة في توليد قيمة كبيرة من قواعد البيانات، بالإضافة إلى إمكانية خفض التكاليف ورفع الإنتاج وتقديم الابتكارات الجديدة وتحسين الكفاءة وجودة المنتجات.

 ويتم ذلك عن طريق تطبيق تقنيات التحليل المتقدمة، حيث أصبحت إمكانية جمع البيانات متاحة وسهلة بسبب كثرة استخدام وسائل الاعلام الاجتماعية وإنترنت الأشياء والوسائط المتعددة.

شركات ومؤسسات أخرى

بجانب الشركات التقنية توجد أيضا العديد من الشركات والمؤسسات الأخرى التي تستخدم تكنولوجيا البيانات الضخمة وتستفيد منها مثل:

• الشركات الخاصة بالسفر والفنادق، حيث أن تحليل البيانات الضخمة يعطيها القدرة على جمع بيانات العملاء وتطبيقها، كما يمكنها  أيضا من اكتشاف المشاكل المحتملة وتحديدها قبل فوات الأوان.  
• قطاع الرعاية الصحية حيث يتم جمع البيانات من سجلات المرضى ومعلومات التأمين وبعض الأنواع من المعلومات الأخرى، ثم يتم تحليلها ويصبح بذلك بإمكان المستشفيات وضع التشخيص الصحيح للمرض وإنقاذ حياة المرضى.
•  المؤسسات الحكومية التي تكافح من أجل انخفاض معدل الجريمة، يبسط استخدام تكنولوجيا البيانات الضخمة هذه العمليات، ويعطي الهيئات الحكومية رؤية شاملة عن النشاط الإجرامي.
• هيئة الأرصاد الجوية والتنبؤ بالكوارث الطبيعية، يتم استخدام البيانات الجغرافية والبيانات المتعلقة بالجيولوجية الطبيعية للتنبؤ بالكوارث المحتمل حدوثها، من خلال تحليل هذه البيانات ومن ثم المقارنة بينها وبين الذي حدث حاليا.

ماهي إسهامات البيانات الضخمة؟

من أهم إسهامات Big Data هي

1ـ الإسهامات الاقتصادية

يتم تصنيف الشركات اليوم ليس من خلال الأرباح والمبيعات فقط كما كان في السابق، ولكن من خلال نوعية المنتجات وتطابقها مع حاجة المستهلك في الأسواق العالمية المختلفة.

وهي تعتمد فيها على علم البيانات وتحليلها حيث أنه يلعب دورا محوريا فيها، كما ساهمت البيانات الضخمة في فتح الآفاق الجديدة لتلك الشركات.

كما أنها قللت أيضا من هامش المخاطرة والمغامرة وأصبح اتخاذ القرار يتم بشكل صحيح وسليم، حيث يساهم ذلك في تحسين أداء الشركات ونموها السريع.

2ـ المساهمة في صنع القرار

تقلل البيانات الضخمة من التأثيرات السلبية الناتجة عن اتخاذ القرارات العشوائية والتي يمكن أن تؤدي إلى انهيار الشركة أو خسارتها المادية.

وذلك نتيجة لاتخاذ القرارات من معلومات محدودة، بفضل تكنولوجيا Big Data أصبح من الممكن تجنب هذا الخطأ، كما أنها توفر قدر كافي من المعلومات المهنية والشخصية التي تساعد في تصويب القرارات ووضعها في مكانها المناسب.

3ـ المساهمة في التنمية

قد توسع استخدام تكنولوجيا البيانات الضخمة لكي تصبح رقما أساسيا في معادلة تنمية بلدان العالم، حيث يرى الكثيرون أن التحول الحادث في هذه البيانات قد وفر قدرة غير مسبوقة لاستخدامها في مجال التنمية والخدمات الحكومية.

حيث تصنف الصور الجغرافية وبيانات الهاتف ضمن البيانات الرقمية المستخدمة في أغراض التنمية، كما تستخدم البيانات الوصفية لهذه الهواتف.

في متابعة مؤشرات متباينة تتعلق بالتنمية الإنسانية منها انتقال الأمراض وصدمات العمل وتحديد أماكن المستخدمين عند وقوع الكوارث وانتشار الأوبئة والأمراض ومحاصرتها.

مثال على ذلك تم الاستفادة من تحليل بيانات الهاتف في قارة إفريقيا لاكتشاف مراكز الفقر من خلال تحليل مدة المكالمات وشراء الأفراد للرصيد.

4ـ المساهمة في تطوير التقنيات الإحصائية

قوة البيانات الضخمة تجعلها علم قائم بذاته تسارع عليه جميع الدول في مختلف الأنشطة والمجالات، حيث أنها كانت محور اجتماع الدورة 59 للمؤتمر العالمي للإحصاء عام 2013 م.

كما تم الاعتماد على هذا العلم في مجال الإحصاء، حيث درست اللجنة الاقتصادية الأوروبية إمكانية استخدام هذه التكنولوجيا في في الإحصائيات الرسمية.

في جميع المجالات المتعلقة بالأسعار مثل فرض الرقابة على الأسعار في أوروبا ويشمل ذلك الأسعار عبر شبكة الإنترنت، وتعتبر هذه خطوة لتنظيم التجارة الأوروبية. 

قدمنا لك عزيزي القارئ أهم المعلومات حول البيانات الضخمة، والآن إذا كانت لديك رغبة في معرفة معلومات أكثر حول هذه التكنولجيا.

يمكنك إخبارنا بذلك من خلال التعليقات، سوف نهتم برأيك.

مفاتيح النجاح في العمل الحر : إفهم سر اللعبة

يتطلب النجاح في العمل الحر تعلم العديد من المهارات، بالإضافة إلى التخطيط الجيد والإصرار والصبر، فإذا اتبعت الاستراتيجيات التي ذكرناها وحرصت على تعلم مهارات النجاح وتطويرها سيساعدك ذلك على تحقيق النجاح في العمل الحر والمجال الذي اخترته لنفسك.

إقرأ الموضوع كاملا

استراتيجيات تحقيق الأهداف: كيف تضع أهدافًا ذكية وتحققها؟

لم تكن الأهداف مجرد أحلام ولكنها بوصلة النجاح والتطور في حياتنا، لذلك سوف نستكشف معا في هذه المقالة استراتيجيات تحديد الأهداف وكيفية تحقيقها، كما نتعرف أيضا على الأهداف الذكية وخصائصها، فلنتابع سويا.

إقرأ الموضوع كاملا

الخبراء يحذرون من مخاطر الذكاء الإصطناعي : وهذا ما قالوه بوضوح

مخاطر الذكاء الاصطناعي أصبحت حديث الساعة .. فكلنا يعلم أن الذكاء الإصطناعي أصبح من أهم المجالات العلمية التي تهدف إلى تطوير البرامج والآلات لكي تقوم بمهام تتطلب قدرات وذكاء يماثل الذكاء البشري، مثل الإبداع والتعلم والتواصل. إنه يفيد البشرية في العديد من المجالات مثل الصحة والتعليم والترفيه والصناعة، ولكنه يحمل أيضا العديد من المخاطر التي قد تهدد القيم والعدالة الإنسانية وأمن وبقاء البشرية.

إقرأ الموضوع كاملا