Hvad er Hive? Architecture & Modes

Af: David Carter David Carter
Hours Opdateret

⚡ Smart opsummering

Hive er SQL-laget i Hadoop-økosystemet, der omdanner HiveQL-sætninger til distribuerede job, der læser strukturerede data, der allerede findes på HDFS, så analytikere forespørger petabyte-tabeller uden selv at skrive MapReduce-kode.

  • ???? Hvad er det: Et ETL- og datalagringsværktøj, der tilføjer tabeller, rækker og kolonner oven på filer gemt i HDFS.
  • 🗂️ Metastore: Skemaoplysninger findes i et relationelt metastore, bakket op af Derby for én bruger og af MySQL for delt adgang.
  • 🆚 Mod et RDBMS: Hive validerer skemaet ved læsning, skalerer horisontalt og favoriserer store scanninger frem for de opdateringer på rækkeniveau, som en database håndterer.
  • 🏗️ Tre lag: Klienter, tjenester og lagring danner arkitekturen, hvor driveren koordinerer compiler, metastore og udførelsesmotor.
  • 🔀 To tilstande: Lokal tilstand passer til en enkelt dataknude og små filer, mens MapReduce-tilstand spreder udførelsen på tværs af en klynge med flere noder.
  • 🔌 HiveServer2: Den Thrift-baserede HS2-grænseflade tilføjer samtidighed mellem flere klienter og godkendelse til fjernsessioner.
Læs mere

Hive-arkitektur og -tilstande

Hvad er Hive?

Hive er et ETL- og datalagringsværktøj udviklet oven på Hadoop Distributed File System (HDFS). Hive gør det nemt at udføre operationer som f.eks.

  • Dataindkapsling
  • Ad hoc forespørgsler
  • Analyse af enorme datasæt

Vigtige egenskaber ved Hive

Punkterne nedenfor forklarer, hvad der adskiller Hive fra et almindeligt MapReduce-program.

  • I Hive oprettes først tabeller og databaser, og derefter indlæses data i disse tabeller.
  • Hive er et datalager designet til at administrere og forespørge udelukkende strukturerede data, der er gemt i tabeller.
  • Når det gælder strukturerede data, har MapReduce ikke optimerings- og brugervenlighedsfunktioner som UDF'er, men det har Hive-frameworket. Forespørgselsoptimering refererer til en effektiv måde at udføre forespørgsler på med hensyn til ydeevne.
  • Hives SQL-inspirerede sprog adskiller brugeren fra kompleksiteten i MapReduce-programmering. Det genbruger velkendte koncepter fra relationsdatabaseverdenen, såsom tabeller, rækker, kolonner og skemaer, for at lette læringen.
  • Hadoops programmering fungerer på flade filer. Så Hive kan bruge mappestrukturer til at "skillevæg" data for at forbedre ydeevnen på bestemte forespørgsler.
  • En vigtig komponent i Hive er metastoren, der bruges til at lagre skemainformation. Denne metastore findes typisk i en relationsdatabase. Vi kan interagere med Hive ved hjælp af metoder som
    • Web GUI
    • Java Database Connectivity (JDBC) interface
  • De fleste interaktioner finder typisk sted via en kommandolinjegrænseflade (CLI). Hive leverer en CLI til at skrive Hive-forespørgsler ved hjælp af Hive Query Language (HQL).
  • Generelt ligner HQL-syntaksen SQL syntaks, som de fleste dataanalytikere er bekendt med. Eksempelforespørgslen nedenfor viser alle de poster, der findes i det nævnte tabelnavn.
    • Eksempel forespørgsel : Vælg * fra
  • Hive understøtter fire filformater, disse er TEXTFILE, SEQUENCEFILE, ORC og RCFILE (Optag kolonnefil).
  • Til lagring af metadata for én bruger bruger Hive Derby-databasen, og til metadata for flere brugere eller delte metadata bruger Hive MySQL.

Til opsætning MySQL som databasen og for at gemme metadataoplysninger, se vejledningen på konfiguration af Hive-metastoren med MySQL, som følger efter den Hive installationsvejledning.

Nogle af hovedpunkterne om Hive:

  • Den største forskel mellem HQL og SQL er, at en Hive-forespørgsel udføres på Hadoops infrastruktur i stedet for på en traditionel database.
  • Udførelse af Hive-forespørgsler er en række automatisk genererede KortReducer beskæftigelse.
  • Hive understøtter partition- og bucket-koncepter for nem hentning af data, når klienten udfører forespørgslen.
  • Hive understøtter brugerdefineret UDF'er (brugerdefinerede funktioner) til datarensning, filtrering og lignende arbejde. I henhold til programmørernes krav kan man definere Hive UDF'er.

Hive vs relationelle databaser

Hive udfører funktioner, som relationelle databaser ikke kan. Når data kører i petabytes, er det vigtigt at returnere resultater i sekunder, og Hive gør dette effektivt. De vigtigste forskelle er følgende.

Relationelle databaser er af "Skema ved læsning og skema ved skrivning"Først oprettes en tabel, derefter indsættes data i tabellen. På relationelle databasetabeller kan funktioner som indsættelser, opdateringer og ændringer udføres.

Bistade er "Skema kun skrivebeskyttet"Så funktioner som opdatering og ændring fungerede ikke i tidlige udgivelser, fordi en Hive-forespørgsel i en typisk klynge kører på tværs af flere DataNodes, hvilket gjorde det umuligt at opdatere og ændre data på tværs af flere noder (Hive-versioner under 0.13).

Hive understøtter også "Læs mange, skriv én gang" mønster, så i nyere versioner kan en tabel opdateres efter indsættelse.

BEMÆRK VENLIGST: Nyere versioner af Hive kommer med opdaterede funktioner. Hive 0.14 introducerede UPDATE og DELETE som nye funktioner, og senere udgivelser tilføjede fuld understøttelse af ACID-transaktioner.

Tabellen nedenfor kondenserer sammenligningen.

Aspect Relationel database Apache Hive
Skema validering Ved skrivning Læst
Typisk datavolumen Gigabyte til terabyte Terabyte til petabyte
arbejdsbyrde OLTP på rækkeniveau læser og skriver Fuld scanning af batchanalyser
Forespørgselssprog SQL HQL, en SQL-inspireret dialekt
Udførelse Database motor Distribuerede klyngejob

RELATEREDE ARTIKLER

Hive Architecture

Diagrammet nedenfor forklarer Apache Hive-arkitektur i detaljer.

Apache Hive-arkitekturdiagram, der viser klienter, tjenester, lagring og databehandling

Hive består hovedsageligt af 3 kernedele:

  1. Hive-klienter
  2. Hive-tjenester
  3. Hive-lagring og -databehandling

Hive-kunder

Hive leverer forskellige drivere til kommunikation med forskellige typer applikationer. Til Thrift-baserede applikationer leverer den en Thrift-klient til kommunikation.

Til Java Til relaterede applikationer leverer den JDBC-drivere. Til alle andre typer applikationer leverer den ODBC-drivere. Disse klienter og drivere kommunikerer til gengæld med Hive-serveren i Hive-tjenesterne.

Hive Services

Klientinteraktioner med Hive udføres via Hive-tjenester. Hvis klienten ønsker at udføre en forespørgselsrelateret handling i Hive, skal den kommunikere via Hive-tjenester.

CLI'en fungerer som Hive-tjenesten til DDL-operationer. Alle drivere kommunikerer med Hive-serveren og hoveddriveren i Hive-tjenester, som vist i arkitekturdiagrammet ovenfor.

Driveren i Hive-tjenester er den primære driver: den kommunikerer med JDBC, ODBC og andre klientspecifikke applikationer og sender derefter deres anmodninger til metastoret og filsystemet til videre behandling.

Hive Storage og Computing

Hive-tjenester såsom metastoren, filsystemet og jobklienten kommunikerer til gengæld med Hive-lagring og udfører følgende handlinger:

  • Metadataoplysninger om tabeller oprettet i Hive gemmes i Hive metastore-database.
  • Forespørgselsresultater og data, der indlæses i tabellerne, gemmes i Hadoop-klyngen på HDFS.

Jobudførelsesflow

Diagrammet nedenfor tracsender én forespørgsel fra brugergrænsefladen til DataNodes og tilbage.

Flowdiagram for udførelse af Hive-job tracsende en forespørgsel fra brugergrænsefladen til DataNodes

Ud fra ovenstående diagram kan vi forstå jobudførelsesflowet i Hive med Hadoop. Dataflowet i Hive opfører sig i følgende mønster.

  1. Udførelse af en forespørgsel fra brugergrænsefladen
  2. Driveren interagerer med compileren for at hente planen. (Her refererer plan til forespørgselsudførelsesprocessen og dens relaterede indsamling af metadatainformation.)
  3. Compileren opretter planen for det job, der skal udføres. Compileren kommunikerer med metastoret for at hente metadataanmodningen.
  4. Metastoren sender metadatainformation tilbage til compileren
  5. Compileren kommunikerer med driveren med den foreslåede plan for at udføre forespørgslen.
  6. Chaufføren sender udførelsesplaner til udførelsesmotoren
  7. Udførelsesmotoren (EE) fungerer som en bro mellem Hive og Hadoop for at behandle forespørgslen, inklusive DFS-operationer:
    • EE kontakter først NameNode og derefter DataNodes for at hente de værdier, der er gemt i tabellerne.
    • EE henter de ønskede poster fra DataNodes. De faktiske tabeldata findes kun på datanoderne; fra NameNode henter den kun metadata til forespørgslen.
    • Den indsamler faktiske data fra datanoderne relateret til den nævnte forespørgsel.
    • EE kommunikerer tovejs med metastoren for at udføre DDL (data definition language) operationer såsom OPRET, SLIP og ÆNDRE på tabeller og databaser. Metastoren gemmer kun database-, tabel- og kolonnenavne.
    • EE kommunikerer til gengæld med Hadoop-daemoner såsom NameNode, DataNodes og job. tracker til at udføre forespørgslen oven på Hadoop-filsystemet
  1. Henter resultater fra driveren
  2. Sender resultater til udførelsesmotoren. Når resultaterne er hentet fra datanoderne til EE'en, sender den resultaterne tilbage til driveren og til brugergrænsefladen (frontend).

Hive holder kontakten med Hadoop-filsystemet og dets dæmoner via eksekveringsmotoren. Den stiplede pil i diagrammet viser denne kommunikation.

Forskellige tilstande af Hive

Hive kan fungere i to tilstande afhængigt af størrelsen af ​​datanoderne i Hadoop. Disse tilstande er:

  • Lokal tilstand
  • MapReduce-tilstand

Hvornår skal man bruge lokal tilstand

  • Hvis Hadoop er installeret i pseudodistribueret tilstand med én datanode, bruger vi Hive i denne tilstand.
  • Hvis datastørrelsen er lille nok til at være begrænset til en enkelt lokal maskine, kan vi bruge denne tilstand
  • Behandlingen vil være meget hurtig på mindre datasæt, der findes på den lokale maskine

Hvornår skal MapReduce-tilstand bruges

  • Hvis Hadoop har flere datanoder, og data er fordelt på tværs af de forskellige noder, bruger vi Hive i denne tilstand
  • Den arbejder på store mængder data, og forespørgslen udføres parallelt.
  • Behandling af store datasæt med bedre ydeevne kan opnås gennem denne tilstand

I Hive kan vi indstille en egenskab, der angiver, hvilken tilstand Hive skal fungere i. Som standard fungerer den i MapReduce-tilstand, og til lokal tilstand kan du bruge følgende indstilling:

SET mapred.job.tracker=local;

Fra Hive version 0.7 og fremefter understøttes en tilstand, der automatisk kører MapReduce-job i lokal tilstand. På Hive 4.x er standardmotoren Apache Tez, så denne egenskab gælder for den ældre MapReduce-sti.

Hvad er Hive Server2 (HS2)?

HiveServer2 (HS2) er en servergrænseflade, der udfører følgende funktioner:

  • Gør det muligt for fjernklienter at udføre forespørgsler mod Hive
  • Henter resultaterne af disse forespørgsler

Nuværende versioner tilføjer avancerede funktioner baseret på Thrift RPC, såsom:

  • Multi-klient samtidighed
  • Godkendelse

HS2 ligger bag Beeline og alle JDBC- eller ODBC-sessioner, hvilket er grunden til, at den erstattede Hive CLI til én bruger. HiveQL-operatorer og indbyggede funktioner Reference er det naturlige næste skridt.

Ofte Stillede Spørgsmål

Hive er et batch-forespørgselslag, der scanner store tabeller gennem distribuerede job. HBase er et NoSQL-lager, der er bygget til tilfældige læsninger og skrivninger på millisekunder på enkelte rækker. De løser modsatte adgangsmønstre og kører ofte side om side.

Hive kører på MapReduce, Apache Tez eller Apache SparkMapReduce er udfaset, og Hive 4.x bruger som standard Tez, som gemmer mellemresultater i hukommelsen i stedet for at skrive dem til disken mellem faserne.

En administreret tabel giver Hive ejerskab over metadata og filer, så dropping den sletter dataene fra lagermappen. En ekstern tabel gemmer kun metadata, og slipperping det lader de underliggende filer være uberørte.

Lærte omkostningsmodeller fører udførelsesstatistikker tilbage til planlæggeren for at forudsige scanningsvolumen, join-rækkefølge og partitionsbeskæring mere præcist end statiske estimater. Cloudplatforme viser de samme signaler som komprimering og anbefalinger til partitionslayout.

Copilot laver udkast til HiveQL-joins, vinduesfunktioner og Java UDF-skeletter fra en kommentar, hvilket forkorter standardarbejdet. Kolonnenavne, partitionsnøgler og datatyper skal stadig først kontrolleres mod den rigtige metastore.

Ja. Hive 0.14 tilføjede UPDATE og DELETE, og senere udgivelser leverede fuld ACID-understøttelse af transaktionelle tabeller. Hive 4.x udvider dette gennem Apache Iceberg-tabeller med snapshot-isolering og skemaudvikling.

Alle tre eksponerer SQL over de samme filer. Hive foretrækker lange batchjob og ejer den metastore, som de andre læser. Spark SQL er egnet til blandede pipelines; Trino er rettet mod interaktive forespørgsler på tværs af flere kilder.

Ja, primært gennem Hive Metastore, som fortsat er katalogstandarden Spark, Trino, Presto og Flink læser alle. Hive håndterer stadig planlagte batchtransformationer og lagerbelastninger.

Opsummer dette indlæg med: