Mi az a Hive? Architecture & Modes

Mi az a Hive?

A Hive egy ETL és adattárház eszköz, amelyet a Hadoop elosztott fájlrendszerre (HDFS) fejlesztettek ki. A Hive megkönnyíti az olyan műveletek végrehajtását, mint a

• Adatok beágyazása
• Ad-hoc lekérdezések
• Hatalmas adathalmazok elemzése

A Hive fontos jellemzői

Az alábbi pontok elmagyarázzák, mi különbözteti meg a Hive-ot egy sima MapReduce programtól.

• A Hive-ben először a táblák és adatbázisok jönnek létre, majd az adatok betöltődnek ezekbe a táblákba.
• A Hive egy adattárház, amelyet csak táblázatokban tárolt strukturált adatok kezelésére és lekérdezésére terveztek.
• Strukturált adatok kezelésekor a MapReduce nem rendelkezik optimalizálási és használhatósági funkciókkal, mint az UDF-ek, de a Hive keretrendszer igen. A lekérdezésoptimalizálás a lekérdezések végrehajtásának teljesítmény szempontjából hatékony módját jelenti.
• A Hive SQL-inspirálta nyelve kiemeli a felhasználót a MapReduce programozás bonyolultságából. A relációs adatbázisok világából ismert fogalmakat, például a táblázatokat, sorokat, oszlopokat és sémákat használja újra a könnyebb elsajátítás érdekében.
• A Hadoop programozása egyszerű fájlokon működik. Tehát a Hive könyvtárszerkezeteket használhat a következőkre: „partíció” adatok bizonyos lekérdezések teljesítményének javítása érdekében.
• A Hive fontos összetevője a metaadattár, amely a sémainformációk tárolására szolgál. Ez a metaadattár jellemzően egy relációs adatbázisban található. A Hive-val olyan metódusokkal kommunikálhatunk, mint a
  • Webes felhasználói felület
  • Java Adatbázis-kapcsolat (JDBC) interfész
• A legtöbb interakció általában parancssori felületen (CLI) keresztül történik. A Hive egy CLI-t biztosít Hive lekérdezések írásához a Hive Query Language (HQL) használatával.
• Általában a HQL szintaxis hasonló a SQL szintaxis, amelyet a legtöbb adatelemző ismer. Az alábbi minta lekérdezés megjeleníti az említett tábla nevében található összes rekordot.
  • Minta lekérdezés : Válasszon
• A Hive négy fájlformátumot támogat, ezek a következők: TEXTFILE, SEQUENCEFILE, ORC és RCFILE (Rögzítés oszlopfájl).
• Egyfelhasználós metaadatok tárolásához a Hive a Derby adatbázist használja, többfelhasználós vagy megosztott metaadatok tárolásához pedig a Hive a következőt. MySQL.

A beállításhoz MySQL adatbázisként és metaadat-információk tárolására vonatkozóan tekintse meg a következő oktatóanyagot: a Hive metaadattár konfigurálása a következővel: MySQL, amely a Kaptár telepítési útmutató.

Néhány kulcsfontosságú pont a Hive-vel kapcsolatban:

• A HQL és az SQL közötti fő különbség az, hogy a Hive lekérdezés a Hadoop infrastruktúráján fut, nem pedig egy hagyományos adatbázison.
• A Hive lekérdezés végrehajtása automatikusan generált lekérdezések sorozata. MapReduce munkahelyeket.
• A Hive támogatja a partíciós és tárolókoncepciókat az adatok egyszerű lekéréséhez, amikor az ügyfél végrehajtja a lekérdezést.
• A kaptár támogatja az egyéni UDF-ek (felhasználó által definiált függvények) adattisztításhoz, szűréshez és hasonló munkákhoz. A programozók igényei szerint definiálhatók Hive UDF-ek.

Hive vs relációs adatbázisok

A Hive olyan funkciókat lát el, amelyekre a relációs adatbázisok nem képesek. Amikor az adatok petabájtban futnak, az eredmények másodperceken belüli visszaadása számít, és a Hive ezt hatékonyan teszi. A főbb különbségek a következők.

A relációs adatbázisok a következők: „séma olvasáskor és séma íráskor”: először egy tábla jön létre, majd adatok kerülnek beillesztésre ebbe a táblába. A relációs adatbázis tábláin olyan funkciók hajthatók végre, mint a beszúrás, frissítés és módosítás.

A kaptár „Séma csak olvasható”Tehát az olyan függvények, mint az update és a modification, nem működtek a korai kiadásokban, mivel egy Hive lekérdezés egy tipikus fürtben több DataNode-on fut, ami lehetetlenné tette az adatok frissítését és módosítását több csomóponton keresztül (0.13 alatti Hive verziók).

A Hive támogatja a „Sokat olvasok, egyszer írok” minta, így a legújabb verziókban a tábla frissíthető a beszúrás után.

JEGYZET: A Hive újabb verziói frissített funkciókkal rendelkeznek. A Hive 0.14-es verziójában új funkciókként jelentek meg az UPDATE és a DELETE, a későbbi kiadások pedig teljes ACID tranzakció-támogatást adtak hozzá.

Az alábbi táblázat összefoglalja az összehasonlítást.

Kaptár Architectúra

Az alábbi ábra elmagyarázza a Apache A kaptár architektúrája részletesen.

A kaptár alapvetően 3 fő részből áll:

1. Hive kliensek
2. Kaptárszolgáltatások
3. Kaptár-tárolás és számítástechnika

Hive ügyfelek

A Hive különböző illesztőprogramokat biztosít a különböző alkalmazástípusokkal való kommunikációhoz. Thrift-alapú alkalmazásokhoz egy Thrift klienst biztosít a kommunikációhoz.

Minden Java kapcsolódó alkalmazásokhoz JDBC illesztőprogramokat biztosít. Bármely más típusú alkalmazáshoz ODBC illesztőprogramokat biztosít. Ezek a kliensek és illesztőprogramok viszont kommunikálnak a Hive szerverrel a Hive szolgáltatásokon belül.

Hive szolgáltatások

A kliens és a Hive közötti interakciók Hive szolgáltatásokon keresztül történnek. Ha a kliens bármilyen lekérdezéssel kapcsolatos műveletet szeretne végrehajtani a Hive-ban, akkor a Hive szolgáltatásokon keresztül kell kommunikálnia.

A parancssori felület (CLI) Hive szolgáltatásként működik a DDL műveletekhez. Minden illesztőprogram kommunikál a Hive szerverrel és a Hive szolgáltatások fő illesztőprogramjával, ahogy az a fenti architektúra ábrán is látható.

A Hive szolgáltatásokban található illesztőprogram a fő illesztőprogram: ez kommunikál a JDBC-vel, az ODBC-vel és más kliensspecifikus alkalmazásokkal, majd továbbítja a kéréseiket a metaadattárnak és a fájlrendszernek további feldolgozás céljából.

Kaptár tárolás és számítástechnika

A Hive szolgáltatások, mint például a metaadattár, a fájlrendszer és a feladatkliens, viszont kommunikálnak a Hive tárolófelülettel, és a következő műveleteket hajtják végre:

• A Hive-ban létrehozott táblák metaadat-információi a Hive-ban tárolódnak. metaadattár adatbázis.
• A lekérdezés eredményeit és a táblákba betöltött adatokat a Hadoop klaszter tárolja a következőn: HDFS.

Feladat végrehajtási folyamata

Az alábbi ábra tracEgyetlen lekérdezés a felhasználói felületről az DataNode-okba és vissza.

A fenti ábrából megérthetjük a Hive és a Hadoop közötti feladatvégrehajtási folyamatot. A Hive adatfolyama a következő mintázat szerint viselkedik.

1. Lekérdezés végrehajtása a felhasználói felületről (UI)
2. Az illesztőprogram a fordítóval együttműködve szerzi meg a tervet. (Itt a terv a lekérdezés végrehajtási folyamatára és a kapcsolódó metaadat-információk gyűjtésére utal.)
3. A fordítóprogram létrehozza a végrehajtásra kerülő feladat tervét. A fordítóprogram kommunikál a metaadattárral a metaadat-kérelem beszerzése érdekében.
4. A metaadattár metaadat-információkat küld vissza a fordítónak.
5. A fordítóprogram kommunikál az illesztőprogrammal a lekérdezés végrehajtására vonatkozó javasolt tervvel.
6. A meghajtó végrehajtási terveket küld a végrehajtó motornak.
7. A végrehajtó motor (EE) hídként működik a Hive és a Hadoop között a lekérdezés feldolgozásában, beleértve a DFS-műveleteket is:
   • Az EE először a NameNode-dal, majd a DataNode-okkal veszi fel a kapcsolatot, hogy lekérje a táblázatokban tárolt értékeket.
   • Az EE a kívánt rekordokat a DataNode-okból kéri le. A tényleges táblaadatok csak az adatcsomópontokon találhatók; a NameNode-ból csak a lekérdezéshez szükséges metaadatokat kéri le.
   • Tényleges adatokat gyűjt az említett lekérdezéshez kapcsolódó adatcsomópontokból.
   • Az EE kétirányú kommunikációt folytat a metaadattárral, hogy DDL (adatdefiníciós nyelv) műveleteket hajtson végre, például LÉTREHOZÁS, ELDOBÁS és MÓDOSÍTÁS táblákon és adatbázisokon. A metaadattár csak az adatbázis-, tábla- és oszlopneveket tárolja.
   • Az EE viszont Hadoop démonokkal kommunikál, mint például a NameNode, a DataNode és a job. tracker a lekérdezés végrehajtásához a Hadoop fájlrendszeren

8. Eredmények lekérése a sofőrtől
9. Eredmények küldése a végrehajtó motornak. Miután az eredményeket lekérték az adatcsomópontokról az EE-hez, az visszaküldi azokat az illesztőprogramnak és a felhasználói felületnek (front-end).

A Hive a végrehajtó motoron keresztül kapcsolatban marad a Hadoop fájlrendszerrel és annak démonaival. Az ábrán a szaggatott nyíl ezt a kommunikációt mutatja.

A Hive különböző módjai

A Hive kétféle módban működhet a Hadoop adatcsomópontjainak méretétől függően. Ezek a módok a következők:

• Helyi mód
• MapReduce mód

Mikor kell használni a helyi módot

• Ha a Hadoop pszeudo-elosztott módban van telepítve egy adatcsomóponttal, akkor ebben a módban használjuk a Hive-ot.
• Ha az adatméret elég kicsi ahhoz, hogy egyetlen helyi gépre korlátozódjon, akkor ezt a módot használhatjuk.
• A feldolgozás nagyon gyors lesz a helyi gépen lévő kisebb adatkészleteken

Mikor kell használni a MapReduce módot?

• Ha a Hadoop több adatcsomóponttal rendelkezik, és az adatok a különböző csomópontok között oszlanak meg, akkor ebben a módban a Hive-ot használjuk.
• Nagy mennyiségű adaton működik, és a lekérdezés párhuzamosan fut.
• Nagy adathalmazok jobb teljesítményű feldolgozása érhető el ezzel a móddal

A Hive-ban beállíthatunk egy tulajdonságot, amely meghatározza, hogy a Hive melyik módban működjön. Alapértelmezés szerint MapReduce módban működik, lokális módban pedig a következő beállítást használhatjuk:

SET mapred.job.tracker=local;

A Hive 0.7-es verziójától kezdve támogatja azt a módot, amely automatikusan helyi módban futtatja a MapReduce feladatokat. A Hive 4.x verzióján az alapértelmezett motor az Apache Tez, így ez a tulajdonság a korábbi MapReduce elérési útra vonatkozik.

Mi az a Hive Server2 (HS2)?

A HiveServer2 (HS2) egy szerver interfész, amely a következő funkciókat látja el:

• Lehetővé teszi a távoli ügyfelek számára, hogy lekérdezéseket hajtsanak végre a Hive ellen
• Lekéri a lekérdezések eredményeit

A jelenlegi verziók a Thrift RPC-n alapuló fejlett funkciókat adnak hozzá, például:

• Több ügyfél párhuzamossága
• Hitelesítés

A HS2 a Beeline és minden JDBC vagy ODBC munkamenet mögött áll, ezért váltotta fel az egyfelhasználós Hive parancssori felületet. HiveQL operátorok és beépített függvények A hivatkozás a természetes következő lépés.

GYIK