ما هي الخلية؟ Archiالبنية والأوضاع

⚡ ملخص ذكي

Hive هي طبقة SQL لنظام Hadoop البيئي، حيث تحول عبارات HiveQL إلى مهام موزعة تقرأ البيانات المهيكلة الموجودة بالفعل على HDFS، لذلك يقوم المحللون بالاستعلام عن جداول البيتابايت دون كتابة كود MapReduce بأنفسهم.

  • 🐝 ما هو : أداة ETL وتخزين البيانات التي تضيف الجداول والصفوف والأعمدة فوق الملفات المخزنة في HDFS.
  • 🗂️ متجر ميتسوبيشي: توجد معلومات المخطط في مخزن بيانات وصفية علائقي، مدعومًا بواسطة Derby لمستخدم واحد و بواسطة MySQL للوصول المشترك.
  • ؟؟؟؟ مقابل نظام إدارة قواعد البيانات العلائقية: يقوم Hive بالتحقق من صحة المخطط عند القراءة، ويتوسع أفقيًا، ويفضل عمليات المسح الكبيرة على تحديثات مستوى الصف التي تتعامل معها قاعدة البيانات.
  • ؟؟؟؟ ️ ثلاث طبقات: يشكل العملاء والخدمات والتخزين البنية، بينما يقوم برنامج التشغيل بتنسيق المترجم ومخزن البيانات الوصفية ومحرك التنفيذ.
  • 🔀 وضعين: يناسب الوضع المحلي عقدة بيانات واحدة وملفات صغيرة، بينما ينشر وضع MapReduce التنفيذ عبر مجموعة متعددة العقد.
  • ؟؟؟؟ HiveServer2: تضيف واجهة HS2 القائمة على Thrift ميزة التزامن متعدد العملاء والمصادقة للجلسات البعيدة.

بنية وأنماط Hive

ما هي الخلية؟

هايف هي أداة لاستخراج البيانات وتحويلها وتحميلها (ETL) وتخزينها، تم تطويرها باستخدام نظام ملفات هادوب الموزع (HDFS). تُسهّل هايف عملية تنفيذ عمليات مثل

  • تغليف البيانات
  • استفسارات مخصصة
  • تحليل مجموعات البيانات الضخمة

خصائص هامة للخلية

توضح النقاط التالية ما يميز Hive عن برنامج MapReduce العادي.

  • في Hive، يتم إنشاء الجداول وقواعد البيانات أولاً ثم يتم تحميل البيانات في هذه الجداول.
  • Hive عبارة عن مستودع بيانات مصمم لإدارة واستعلام البيانات المهيكلة فقط والمخزنة في جداول.
  • عند التعامل مع البيانات المهيكلة، لا يمتلك MapReduce ميزات التحسين وسهولة الاستخدام مثل الدوال المعرفة من قبل المستخدم (UDFs)، بينما يمتلكها إطار عمل Hive. يشير تحسين الاستعلام إلى طريقة فعالة لتنفيذ الاستعلام من حيث الأداء.
  • تُسهّل لغة Hive المستوحاة من لغة SQL على المستخدم فهم برمجة MapReduce المعقدة. فهي تعيد استخدام مفاهيم مألوفة من عالم قواعد البيانات العلائقية، مثل الجداول والصفوف والأعمدة والمخطط، لتسهيل عملية التعلم.
  • تعتمد برمجة هادوب على الملفات المسطحة. لذا، يمكن لـ Hive استخدام هياكل الدليل لـ "تقسيم" بيانات لتحسين الأداء في استعلامات معينة.
  • يُعدّ مخزن البيانات الوصفية (metastore) أحد المكونات المهمة في Hive، ويُستخدم لتخزين معلومات المخطط. ويوجد هذا المخزن عادةً في قاعدة بيانات علائقية. ويمكننا التفاعل مع Hive باستخدام طرق مثل
    • واجهة المستخدم الرسومية الويب
    • Java واجهة اتصال قاعدة البيانات (JDBC).
  • تتم معظم التفاعلات عادةً عبر واجهة سطر الأوامر (CLI). يوفر Hive واجهة سطر أوامر لكتابة استعلامات Hive باستخدام لغة استعلام Hive (HQL).
  • بشكل عام، بناء جملة HQL مشابه لـ SQL صيغة مألوفة لدى معظم محللي البيانات. يعرض الاستعلام النموذجي أدناه جميع السجلات الموجودة في اسم الجدول المذكور.
    • استعلام عينة : اختر من
  • يدعم برنامج Hive أربعة تنسيقات للملفات، وهي: ملف نصي، ملف تسلسلي، ORC وRCFILE (سجل ملف عمودي).
  • يستخدم Hive قاعدة بيانات Derby لتخزين البيانات الوصفية لمستخدم واحد، ويستخدم قاعدة بيانات Derby لتخزين البيانات الوصفية لعدة مستخدمين أو البيانات الوصفية المشتركة. MySQL.

لاقامة MySQL كقاعدة بيانات ولتخزين معلومات البيانات الوصفية، راجع البرنامج التعليمي على تهيئة مخزن بيانات Hive الوصفية باستخدام MySQL، وهو ما يأتي في أعقاب دليل تثبيت هايف.

بعض النقاط الرئيسية حول الخلية:

  • الفرق الرئيسي بين HQL و SQL هو أن استعلام Hive يتم تنفيذه على بنية Hadoop التحتية بدلاً من قاعدة بيانات تقليدية.
  • يُعد تنفيذ استعلام Hive سلسلة من العمليات التي يتم إنشاؤها تلقائيًا مابريديوس وظائف.
  • يدعم Hive مفاهيم التقسيم والتجميع لتسهيل استرجاع البيانات عندما يقوم العميل بتنفيذ الاستعلام.
  • يدعم Hive التخصيص الدوال المعرفة من قبل المستخدم (UDFs) لأغراض تنظيف البيانات وتصفيتها وما شابه ذلك. ويمكن تعريف دوال Hive المعرفة من قبل المستخدم (UDFs) وفقًا لمتطلبات المبرمجين.

خلية مقابل قواعد البيانات العلائقية

يؤدي Hive وظائف لا تستطيع قواعد البيانات العلائقية القيام بها. عندما تصل البيانات إلى بيتابايتات، يصبح إرجاع النتائج في ثوانٍ أمرًا بالغ الأهمية، ويؤدي Hive ذلك بكفاءة عالية. وفيما يلي أبرز الاختلافات.

قواعد البيانات العلائقية هي من "مخطط عند القراءة ومخطط عند الكتابة"أولاً، يتم إنشاء جدول، ثم تُدرج البيانات فيه. في جداول قواعد البيانات العلائقية، يمكن تنفيذ وظائف مثل الإدراج والتحديث والتعديل.

هايف هو "المخطط للقراءة فقط"لذا فإن وظائف مثل التحديث والتعديل لم تكن تعمل في الإصدارات المبكرة، لأن استعلام Hive في مجموعة نموذجية يعمل عبر عقد بيانات متعددة، مما جعل من المستحيل تحديث البيانات وتعديلها عبر عقد متعددة (إصدارات Hive أقل من 0.13).

يدعم Hive أيضًا "اقرأ كثيراً، واكتب مرة واحدة" نمط، لذلك في الإصدارات الحديثة يمكن تحديث الجدول بعد الإدخال.

NOTE: تأتي الإصدارات الأحدث من Hive بميزات مُحسّنة. فقد قدّم الإصدار 0.14 من Hive ميزتي التحديث والحذف، وأضافت الإصدارات اللاحقة دعمًا كاملاً لمعاملات ACID.

يلخص الجدول أدناه المقارنة.

البعد قاعدة بيانات علائقية اباتشي خلية
التحقق من صحة المخطط عند الكتابة تمت القراءة
حجم البيانات النموذجي من جيجابايت إلى تيرابايت من تيرابايت إلى بيتابايت
عبء العمل قراءة وكتابة البيانات على مستوى الصفوف في نظام معالجة المعاملات الفورية (OLTP) تحليلات الدفعات بالمسح الكامل
لغة الاستعلام SQL HQL، لهجة مستوحاة من لغة SQL
التنفيذ محرك قاعدة البيانات وظائف المجموعات الموزعة

خلية النحل Architecture

يوضح الرسم البياني أدناه Apache بنية Hive بالتفصيل.

مخطط معماري لـ Apache Hive يوضح العملاء والخدمات والتخزين والحوسبة

يتكون نظام Hive بشكل أساسي من 3 أجزاء رئيسية:

  1. عملاء هايف
  2. خدمات هايف
  3. تخزين وحوسبة هايف

عملاء الخلية

يوفر Hive برامج تشغيل مختلفة للتواصل مع أنواع مختلفة من التطبيقات. بالنسبة للتطبيقات القائمة على Thrift، فإنه يوفر عميل Thrift للتواصل.

في عمل Java يوفر هذا النظام برامج تشغيل JDBC للتطبيقات ذات الصلة، وبرامج تشغيل ODBC لأي نوع آخر من التطبيقات. تتواصل هذه البرامج وبرامج التشغيل بدورها مع خادم Hive ضمن خدمات Hive.

خدمات هايف

تتم تفاعلات العميل مع Hive من خلال خدمات Hive. إذا أراد العميل إجراء أي عملية متعلقة بالاستعلام في Hive، فعليه التواصل من خلال خدمات Hive.

تعمل واجهة سطر الأوامر كخدمة Hive لعمليات DDL. تتواصل جميع برامج التشغيل مع خادم Hive وبرنامج التشغيل الرئيسي في خدمات Hive، كما هو موضح في مخطط البنية أعلاه.

يُعد برنامج التشغيل في خدمات Hive هو برنامج التشغيل الرئيسي: فهو يتواصل مع JDBC وODBC والتطبيقات الأخرى الخاصة بالعميل، ثم يمرر طلباتهم إلى مخزن البيانات الوصفية ونظام الملفات لمزيد من المعالجة.

تخزين الخلية والحوسبة

تتواصل خدمات Hive مثل مخزن البيانات الوصفية ونظام الملفات وعميل المهام بدورها مع وحدة تخزين Hive وتنفذ الإجراءات التالية:

  • يتم تخزين معلومات البيانات المتعلقة بالجداول التي تم إنشاؤها في Hive في Hive قاعدة بيانات ميتا ستور.
  • يتم تخزين نتائج الاستعلام والبيانات المحملة في الجداول في مجموعة Hadoop على HDFS.

سير تنفيذ المهمة

الرسم البياني أدناه tracاستعلام واحد من واجهة المستخدم إلى عقد البيانات والعودة.

مخطط تدفق تنفيذ وظائف Hive tracإرسال استعلام من واجهة المستخدم إلى عقد البيانات

من خلال الرسم التخطيطي أعلاه، يمكننا فهم آلية تنفيذ المهام في Hive مع Hadoop. ويتصرف تدفق البيانات في Hive وفق النمط التالي.

  1. تنفيذ استعلام من واجهة المستخدم (UI)
  2. يتفاعل برنامج التشغيل مع المترجم للحصول على الخطة. (تشير الخطة هنا إلى عملية تنفيذ الاستعلام وجمع معلومات البيانات الوصفية ذات الصلة).
  3. يقوم المترجم بإنشاء خطة لتنفيذ المهمة. ويتواصل المترجم مع مخزن البيانات الوصفية للحصول على طلب البيانات الوصفية.
  4. يقوم مخزن البيانات الوصفية بإرسال معلومات البيانات الوصفية إلى المترجم.
  5. يتواصل المترجم مع برنامج التشغيل بالخطة المقترحة لتنفيذ الاستعلام
  6. يقوم برنامج التشغيل بإرسال خطط التنفيذ إلى محرك التنفيذ
  7. يعمل محرك التنفيذ (EE) كجسر بين Hive و Hadoop لمعالجة الاستعلام، بما في ذلك عمليات DFS:
    • يتصل EE أولاً بـ NameNode ثم بـ DataNodes للحصول على القيم المخزنة في الجداول.
    • يسترجع نظام EE السجلات المطلوبة من عقد البيانات. توجد بيانات الجدول الفعلية على عقد البيانات فقط؛ أما من عقدة الاسم، فيسترجع فقط البيانات الوصفية للاستعلام.
    • يقوم بجمع البيانات الفعلية من عقد البيانات المتعلقة بالاستعلام المذكور
    • يتواصل النظام الإلكتروني ثنائي الاتجاه مع مخزن البيانات الوصفية لتنفيذ عمليات لغة تعريف البيانات (DDL) مثل: إنشاء، حذف، وتعديل على الجداول وقواعد البيانات. يخزن مخزن البيانات الوصفية أسماء قواعد البيانات والجداول والأعمدة فقط.
    • يتواصل EE بدوره مع برامج Hadoop الخفية مثل NameNode و DataNodes والوظائف tracker لتنفيذ الاستعلام على نظام ملفات Hadoop
  1. جلب النتائج من برنامج التشغيل
  2. إرسال النتائج إلى محرك التنفيذ. بمجرد جلب النتائج من عقد البيانات إلى محرك التنفيذ، يقوم بإرسالها مرة أخرى إلى برنامج التشغيل وواجهة المستخدم (الواجهة الأمامية).

يبقى Hive على اتصال بنظام ملفات Hadoop وبرامجه الخدمية عبر محرك التنفيذ. ويشير السهم المنقط في الرسم التخطيطي إلى هذا الاتصال.

أوضاع مختلفة للخلية

يمكن لـ Hive العمل في وضعين حسب حجم عقد البيانات في Hadoop. وهذان الوضعان هما:

  • وضع المحلي
  • وضع MapReduce

متى يتم استخدام الوضع المحلي

  • إذا تم تثبيت Hadoop في وضع شبه موزع مع عقدة بيانات واحدة، فإننا نستخدم Hive في هذا الوضع.
  • إذا كان حجم البيانات صغيرًا بما يكفي ليقتصر على جهاز محلي واحد، فيمكننا استخدام هذا الوضع
  • ستكون المعالجة سريعة جدًا على مجموعات البيانات الأصغر الموجودة في الجهاز المحلي

متى يتم استخدام وضع MapReduce

  • إذا كان لدى Hadoop عدة عقد بيانات، وكانت البيانات موزعة عبر هذه العقد، فإننا نستخدم Hive في هذا الوضع.
  • يُجري هذا النظام عملياته على كميات كبيرة من البيانات، ويتم تنفيذ الاستعلام بالتوازي.
  • يمكن معالجة مجموعات البيانات الكبيرة بأداء أفضل من خلال هذا الوضع

في Hive، يمكننا تعيين خاصية لتحديد الوضع الذي يجب أن يعمل به Hive. بشكل افتراضي، يعمل في وضع MapReduce، وللوضع المحلي، يمكنك استخدام الإعداد التالي:

SET mapred.job.tracker=local;

بدءًا من الإصدار 0.7 من Hive، يدعم النظام وضعًا لتشغيل مهام MapReduce محليًا تلقائيًا. في Hive 4.x، المحرك الافتراضي هو Apache Tez، لذا تنطبق هذه الخاصية على مسار MapReduce القديم.

ما هو Hive Server2 (HS2)؟

HiveServer2 (HS2) عبارة عن واجهة خادم تؤدي الوظائف التالية:

  • تمكن العملاء البعيدين من تنفيذ الاستعلامات ضد Hive
  • يسترجع نتائج تلك الاستعلامات

تضيف الإصدارات الحالية ميزات متقدمة تعتمد على Thrift RPC، مثل:

  • التزامن متعدد العملاء
  • التحقّق من المُستخدم

يقع HS2 خلف Beeline وكل جلسة JDBC أو ODBC، ولهذا السبب حل محل واجهة سطر الأوامر Hive أحادية المستخدم. عوامل تشغيل HiveQL والوظائف المدمجة تُعدّ الإشارة الخطوة التالية الطبيعية.

الأسئلة الشائعة

هايف عبارة عن طبقة استعلام مجمعة تقوم بمسح الجداول الكبيرة من خلال مهام موزعة. أما إتش بيس فهو مخزن بيانات NoSQL مصمم للقراءة والكتابة العشوائية في أجزاء من الثانية على صفوف مفردة. يحل هذان النظامان أنماط الوصول المتعارضة، وغالبًا ما يعملان جنبًا إلى جنب.

يعمل Hive على MapReduce أو Apache Tez أو Apache Spark. تم إيقاف MapReduce ويستخدم Hive 4.x افتراضيًا Tez، الذي يحتفظ بالنتائج الوسيطة في الذاكرة بدلاً من كتابتها على القرص بين المراحل.

يمنح الجدول المُدار Hive ملكية البيانات الوصفية والملفات، لذا قم بإزالته.ping يحذف هذا الأمر البيانات من دليل المستودع. يخزن الجدول الخارجي البيانات الوصفية فقط، ثم يُحذف.ping لا يمس الملفات الأساسية.

تُغذي نماذج التكلفة المُتعلمة مُخطط البيانات بإحصائيات التنفيذ للتنبؤ بحجم المسح، وترتيب الربط، وتقليم الأقسام بدقة أكبر من التقديرات الثابتة. وتُظهر منصات الحوسبة السحابية نفس الإشارات التي تُقدمها توصيات الضغط وتخطيط الأقسام.

يقوم برنامج Copilot بصياغة عمليات الربط في HiveQL، ووظائف النافذة، و Java هياكل الدوال المعرفة من قبل المستخدم مأخوذة من تعليق، مما يقلل من العمل الروتيني. لا يزال يتعين التحقق من أسماء الأعمدة ومفاتيح التقسيم وأنواع البيانات مقابل قاعدة البيانات الوصفية الحقيقية أولاً.

نعم. أضاف Hive 0.14 أوامر التحديث والحذف، وقدمت الإصدارات اللاحقة دعمًا كاملاً لخصائص ACID للجداول المعاملاتية. ويُوسّع Hive 4.x هذا الدعم ليشمل جداول Apache Iceberg مع عزل اللقطات وتطوير المخطط.

تُتيح جميعها الوصول إلى SQL عبر نفس الملفات. يُفضّل Hive عمليات المعالجة الدفعية الطويلة ويملك قاعدة البيانات الوصفية التي تقرأها الأنظمة الأخرى. Spark يناسب SQL خطوط الأنابيب المختلطة؛ ويستهدف Trino الاستعلامات التفاعلية عبر مصادر متعددة.

نعم، إلى حد كبير من خلال متجر هايف ميتا، الذي لا يزال المعيار المعتمد في الكتالوجات. Sparkتقرأ كل من Trino وPresto وFlink البيانات. ولا يزال Hive نفسه يقدم خدمات تحويل الدفعات المجدولة وتحميل البيانات من المستودعات.

تلخيص هذه التدوينة بـ: