ما هي الخلية؟ Archiالبنية والأوضاع
⚡ ملخص ذكي
Hive هي طبقة SQL لنظام Hadoop البيئي، حيث تحول عبارات HiveQL إلى مهام موزعة تقرأ البيانات المهيكلة الموجودة بالفعل على HDFS، لذلك يقوم المحللون بالاستعلام عن جداول البيتابايت دون كتابة كود MapReduce بأنفسهم.

ما هي الخلية؟
هايف هي أداة لاستخراج البيانات وتحويلها وتحميلها (ETL) وتخزينها، تم تطويرها باستخدام نظام ملفات هادوب الموزع (HDFS). تُسهّل هايف عملية تنفيذ عمليات مثل
- تغليف البيانات
- استفسارات مخصصة
- تحليل مجموعات البيانات الضخمة
خصائص هامة للخلية
توضح النقاط التالية ما يميز Hive عن برنامج MapReduce العادي.
- في Hive، يتم إنشاء الجداول وقواعد البيانات أولاً ثم يتم تحميل البيانات في هذه الجداول.
- Hive عبارة عن مستودع بيانات مصمم لإدارة واستعلام البيانات المهيكلة فقط والمخزنة في جداول.
- عند التعامل مع البيانات المهيكلة، لا يمتلك MapReduce ميزات التحسين وسهولة الاستخدام مثل الدوال المعرفة من قبل المستخدم (UDFs)، بينما يمتلكها إطار عمل Hive. يشير تحسين الاستعلام إلى طريقة فعالة لتنفيذ الاستعلام من حيث الأداء.
- تُسهّل لغة Hive المستوحاة من لغة SQL على المستخدم فهم برمجة MapReduce المعقدة. فهي تعيد استخدام مفاهيم مألوفة من عالم قواعد البيانات العلائقية، مثل الجداول والصفوف والأعمدة والمخطط، لتسهيل عملية التعلم.
- تعتمد برمجة هادوب على الملفات المسطحة. لذا، يمكن لـ Hive استخدام هياكل الدليل لـ "تقسيم" بيانات لتحسين الأداء في استعلامات معينة.
- يُعدّ مخزن البيانات الوصفية (metastore) أحد المكونات المهمة في Hive، ويُستخدم لتخزين معلومات المخطط. ويوجد هذا المخزن عادةً في قاعدة بيانات علائقية. ويمكننا التفاعل مع Hive باستخدام طرق مثل
- واجهة المستخدم الرسومية الويب
- Java واجهة اتصال قاعدة البيانات (JDBC).
- تتم معظم التفاعلات عادةً عبر واجهة سطر الأوامر (CLI). يوفر Hive واجهة سطر أوامر لكتابة استعلامات Hive باستخدام لغة استعلام Hive (HQL).
- بشكل عام، بناء جملة HQL مشابه لـ SQL صيغة مألوفة لدى معظم محللي البيانات. يعرض الاستعلام النموذجي أدناه جميع السجلات الموجودة في اسم الجدول المذكور.
- استعلام عينة : اختر من
- يدعم برنامج Hive أربعة تنسيقات للملفات، وهي: ملف نصي، ملف تسلسلي، ORC وRCFILE (سجل ملف عمودي).
- يستخدم Hive قاعدة بيانات Derby لتخزين البيانات الوصفية لمستخدم واحد، ويستخدم قاعدة بيانات Derby لتخزين البيانات الوصفية لعدة مستخدمين أو البيانات الوصفية المشتركة. MySQL.
لاقامة MySQL كقاعدة بيانات ولتخزين معلومات البيانات الوصفية، راجع البرنامج التعليمي على تهيئة مخزن بيانات Hive الوصفية باستخدام MySQL، وهو ما يأتي في أعقاب دليل تثبيت هايف.
بعض النقاط الرئيسية حول الخلية:
- الفرق الرئيسي بين HQL و SQL هو أن استعلام Hive يتم تنفيذه على بنية Hadoop التحتية بدلاً من قاعدة بيانات تقليدية.
- يُعد تنفيذ استعلام Hive سلسلة من العمليات التي يتم إنشاؤها تلقائيًا مابريديوس وظائف.
- يدعم Hive مفاهيم التقسيم والتجميع لتسهيل استرجاع البيانات عندما يقوم العميل بتنفيذ الاستعلام.
- يدعم Hive التخصيص الدوال المعرفة من قبل المستخدم (UDFs) لأغراض تنظيف البيانات وتصفيتها وما شابه ذلك. ويمكن تعريف دوال Hive المعرفة من قبل المستخدم (UDFs) وفقًا لمتطلبات المبرمجين.
خلية مقابل قواعد البيانات العلائقية
يؤدي Hive وظائف لا تستطيع قواعد البيانات العلائقية القيام بها. عندما تصل البيانات إلى بيتابايتات، يصبح إرجاع النتائج في ثوانٍ أمرًا بالغ الأهمية، ويؤدي Hive ذلك بكفاءة عالية. وفيما يلي أبرز الاختلافات.
قواعد البيانات العلائقية هي من "مخطط عند القراءة ومخطط عند الكتابة"أولاً، يتم إنشاء جدول، ثم تُدرج البيانات فيه. في جداول قواعد البيانات العلائقية، يمكن تنفيذ وظائف مثل الإدراج والتحديث والتعديل.
هايف هو "المخطط للقراءة فقط"لذا فإن وظائف مثل التحديث والتعديل لم تكن تعمل في الإصدارات المبكرة، لأن استعلام Hive في مجموعة نموذجية يعمل عبر عقد بيانات متعددة، مما جعل من المستحيل تحديث البيانات وتعديلها عبر عقد متعددة (إصدارات Hive أقل من 0.13).
يدعم Hive أيضًا "اقرأ كثيراً، واكتب مرة واحدة" نمط، لذلك في الإصدارات الحديثة يمكن تحديث الجدول بعد الإدخال.
NOTE: تأتي الإصدارات الأحدث من Hive بميزات مُحسّنة. فقد قدّم الإصدار 0.14 من Hive ميزتي التحديث والحذف، وأضافت الإصدارات اللاحقة دعمًا كاملاً لمعاملات ACID.
يلخص الجدول أدناه المقارنة.
| البعد | قاعدة بيانات علائقية | اباتشي خلية |
|---|---|---|
| التحقق من صحة المخطط | عند الكتابة | تمت القراءة |
| حجم البيانات النموذجي | من جيجابايت إلى تيرابايت | من تيرابايت إلى بيتابايت |
| عبء العمل | قراءة وكتابة البيانات على مستوى الصفوف في نظام معالجة المعاملات الفورية (OLTP) | تحليلات الدفعات بالمسح الكامل |
| لغة الاستعلام | SQL | HQL، لهجة مستوحاة من لغة SQL |
| التنفيذ | محرك قاعدة البيانات | وظائف المجموعات الموزعة |
خلية النحل Architecture
يوضح الرسم البياني أدناه Apache بنية Hive بالتفصيل.
يتكون نظام Hive بشكل أساسي من 3 أجزاء رئيسية:
- عملاء هايف
- خدمات هايف
- تخزين وحوسبة هايف
عملاء الخلية
يوفر Hive برامج تشغيل مختلفة للتواصل مع أنواع مختلفة من التطبيقات. بالنسبة للتطبيقات القائمة على Thrift، فإنه يوفر عميل Thrift للتواصل.
في عمل Java يوفر هذا النظام برامج تشغيل JDBC للتطبيقات ذات الصلة، وبرامج تشغيل ODBC لأي نوع آخر من التطبيقات. تتواصل هذه البرامج وبرامج التشغيل بدورها مع خادم Hive ضمن خدمات Hive.
خدمات هايف
تتم تفاعلات العميل مع Hive من خلال خدمات Hive. إذا أراد العميل إجراء أي عملية متعلقة بالاستعلام في Hive، فعليه التواصل من خلال خدمات Hive.
تعمل واجهة سطر الأوامر كخدمة Hive لعمليات DDL. تتواصل جميع برامج التشغيل مع خادم Hive وبرنامج التشغيل الرئيسي في خدمات Hive، كما هو موضح في مخطط البنية أعلاه.
يُعد برنامج التشغيل في خدمات Hive هو برنامج التشغيل الرئيسي: فهو يتواصل مع JDBC وODBC والتطبيقات الأخرى الخاصة بالعميل، ثم يمرر طلباتهم إلى مخزن البيانات الوصفية ونظام الملفات لمزيد من المعالجة.
تخزين الخلية والحوسبة
تتواصل خدمات Hive مثل مخزن البيانات الوصفية ونظام الملفات وعميل المهام بدورها مع وحدة تخزين Hive وتنفذ الإجراءات التالية:
- يتم تخزين معلومات البيانات المتعلقة بالجداول التي تم إنشاؤها في Hive في Hive قاعدة بيانات ميتا ستور.
- يتم تخزين نتائج الاستعلام والبيانات المحملة في الجداول في مجموعة Hadoop على HDFS.
سير تنفيذ المهمة
الرسم البياني أدناه tracاستعلام واحد من واجهة المستخدم إلى عقد البيانات والعودة.
من خلال الرسم التخطيطي أعلاه، يمكننا فهم آلية تنفيذ المهام في Hive مع Hadoop. ويتصرف تدفق البيانات في Hive وفق النمط التالي.
- تنفيذ استعلام من واجهة المستخدم (UI)
- يتفاعل برنامج التشغيل مع المترجم للحصول على الخطة. (تشير الخطة هنا إلى عملية تنفيذ الاستعلام وجمع معلومات البيانات الوصفية ذات الصلة).
- يقوم المترجم بإنشاء خطة لتنفيذ المهمة. ويتواصل المترجم مع مخزن البيانات الوصفية للحصول على طلب البيانات الوصفية.
- يقوم مخزن البيانات الوصفية بإرسال معلومات البيانات الوصفية إلى المترجم.
- يتواصل المترجم مع برنامج التشغيل بالخطة المقترحة لتنفيذ الاستعلام
- يقوم برنامج التشغيل بإرسال خطط التنفيذ إلى محرك التنفيذ
- يعمل محرك التنفيذ (EE) كجسر بين Hive و Hadoop لمعالجة الاستعلام، بما في ذلك عمليات DFS:
- يتصل EE أولاً بـ NameNode ثم بـ DataNodes للحصول على القيم المخزنة في الجداول.
- يسترجع نظام EE السجلات المطلوبة من عقد البيانات. توجد بيانات الجدول الفعلية على عقد البيانات فقط؛ أما من عقدة الاسم، فيسترجع فقط البيانات الوصفية للاستعلام.
- يقوم بجمع البيانات الفعلية من عقد البيانات المتعلقة بالاستعلام المذكور
- يتواصل النظام الإلكتروني ثنائي الاتجاه مع مخزن البيانات الوصفية لتنفيذ عمليات لغة تعريف البيانات (DDL) مثل: إنشاء، حذف، وتعديل على الجداول وقواعد البيانات. يخزن مخزن البيانات الوصفية أسماء قواعد البيانات والجداول والأعمدة فقط.
- يتواصل EE بدوره مع برامج Hadoop الخفية مثل NameNode و DataNodes والوظائف tracker لتنفيذ الاستعلام على نظام ملفات Hadoop
- جلب النتائج من برنامج التشغيل
- إرسال النتائج إلى محرك التنفيذ. بمجرد جلب النتائج من عقد البيانات إلى محرك التنفيذ، يقوم بإرسالها مرة أخرى إلى برنامج التشغيل وواجهة المستخدم (الواجهة الأمامية).
يبقى Hive على اتصال بنظام ملفات Hadoop وبرامجه الخدمية عبر محرك التنفيذ. ويشير السهم المنقط في الرسم التخطيطي إلى هذا الاتصال.
أوضاع مختلفة للخلية
يمكن لـ Hive العمل في وضعين حسب حجم عقد البيانات في Hadoop. وهذان الوضعان هما:
- وضع المحلي
- وضع MapReduce
متى يتم استخدام الوضع المحلي
- إذا تم تثبيت Hadoop في وضع شبه موزع مع عقدة بيانات واحدة، فإننا نستخدم Hive في هذا الوضع.
- إذا كان حجم البيانات صغيرًا بما يكفي ليقتصر على جهاز محلي واحد، فيمكننا استخدام هذا الوضع
- ستكون المعالجة سريعة جدًا على مجموعات البيانات الأصغر الموجودة في الجهاز المحلي
متى يتم استخدام وضع MapReduce
- إذا كان لدى Hadoop عدة عقد بيانات، وكانت البيانات موزعة عبر هذه العقد، فإننا نستخدم Hive في هذا الوضع.
- يُجري هذا النظام عملياته على كميات كبيرة من البيانات، ويتم تنفيذ الاستعلام بالتوازي.
- يمكن معالجة مجموعات البيانات الكبيرة بأداء أفضل من خلال هذا الوضع
في Hive، يمكننا تعيين خاصية لتحديد الوضع الذي يجب أن يعمل به Hive. بشكل افتراضي، يعمل في وضع MapReduce، وللوضع المحلي، يمكنك استخدام الإعداد التالي:
SET mapred.job.tracker=local;
بدءًا من الإصدار 0.7 من Hive، يدعم النظام وضعًا لتشغيل مهام MapReduce محليًا تلقائيًا. في Hive 4.x، المحرك الافتراضي هو Apache Tez، لذا تنطبق هذه الخاصية على مسار MapReduce القديم.
ما هو Hive Server2 (HS2)؟
HiveServer2 (HS2) عبارة عن واجهة خادم تؤدي الوظائف التالية:
- تمكن العملاء البعيدين من تنفيذ الاستعلامات ضد Hive
- يسترجع نتائج تلك الاستعلامات
تضيف الإصدارات الحالية ميزات متقدمة تعتمد على Thrift RPC، مثل:
- التزامن متعدد العملاء
- التحقّق من المُستخدم
يقع HS2 خلف Beeline وكل جلسة JDBC أو ODBC، ولهذا السبب حل محل واجهة سطر الأوامر Hive أحادية المستخدم. عوامل تشغيل HiveQL والوظائف المدمجة تُعدّ الإشارة الخطوة التالية الطبيعية.


