Hvad er Hive? Architecture & Modes
⚡ Smart opsummering
Hive er SQL-laget i Hadoop-økosystemet, der omdanner HiveQL-sætninger til distribuerede job, der læser strukturerede data, der allerede findes på HDFS, så analytikere forespørger petabyte-tabeller uden selv at skrive MapReduce-kode.

Hvad er Hive?
Hive er et ETL- og datalagringsværktøj udviklet oven på Hadoop Distributed File System (HDFS). Hive gør det nemt at udføre operationer som f.eks.
- Dataindkapsling
- Ad hoc forespørgsler
- Analyse af enorme datasæt
Vigtige egenskaber ved Hive
Punkterne nedenfor forklarer, hvad der adskiller Hive fra et almindeligt MapReduce-program.
- I Hive oprettes først tabeller og databaser, og derefter indlæses data i disse tabeller.
- Hive er et datalager designet til at administrere og forespørge udelukkende strukturerede data, der er gemt i tabeller.
- Når det gælder strukturerede data, har MapReduce ikke optimerings- og brugervenlighedsfunktioner som UDF'er, men det har Hive-frameworket. Forespørgselsoptimering refererer til en effektiv måde at udføre forespørgsler på med hensyn til ydeevne.
- Hives SQL-inspirerede sprog adskiller brugeren fra kompleksiteten i MapReduce-programmering. Det genbruger velkendte koncepter fra relationsdatabaseverdenen, såsom tabeller, rækker, kolonner og skemaer, for at lette læringen.
- Hadoops programmering fungerer på flade filer. Så Hive kan bruge mappestrukturer til at "skillevæg" data for at forbedre ydeevnen på bestemte forespørgsler.
- En vigtig komponent i Hive er metastoren, der bruges til at lagre skemainformation. Denne metastore findes typisk i en relationsdatabase. Vi kan interagere med Hive ved hjælp af metoder som
- Web GUI
- Java Database Connectivity (JDBC) interface
- De fleste interaktioner finder typisk sted via en kommandolinjegrænseflade (CLI). Hive leverer en CLI til at skrive Hive-forespørgsler ved hjælp af Hive Query Language (HQL).
- Generelt ligner HQL-syntaksen SQL syntaks, som de fleste dataanalytikere er bekendt med. Eksempelforespørgslen nedenfor viser alle de poster, der findes i det nævnte tabelnavn.
- Eksempel forespørgsel : Vælg * fra
- Hive understøtter fire filformater, disse er TEXTFILE, SEQUENCEFILE, ORC og RCFILE (Optag kolonnefil).
- Til lagring af metadata for én bruger bruger Hive Derby-databasen, og til metadata for flere brugere eller delte metadata bruger Hive MySQL.
Til opsætning MySQL som databasen og for at gemme metadataoplysninger, se vejledningen på konfiguration af Hive-metastoren med MySQL, som følger efter den Hive installationsvejledning.
Nogle af hovedpunkterne om Hive:
- Den største forskel mellem HQL og SQL er, at en Hive-forespørgsel udføres på Hadoops infrastruktur i stedet for på en traditionel database.
- Udførelse af Hive-forespørgsler er en række automatisk genererede KortReducer beskæftigelse.
- Hive understøtter partition- og bucket-koncepter for nem hentning af data, når klienten udfører forespørgslen.
- Hive understøtter brugerdefineret UDF'er (brugerdefinerede funktioner) til datarensning, filtrering og lignende arbejde. I henhold til programmørernes krav kan man definere Hive UDF'er.
Hive vs relationelle databaser
Hive udfører funktioner, som relationelle databaser ikke kan. Når data kører i petabytes, er det vigtigt at returnere resultater i sekunder, og Hive gør dette effektivt. De vigtigste forskelle er følgende.
Relationelle databaser er af "Skema ved læsning og skema ved skrivning"Først oprettes en tabel, derefter indsættes data i tabellen. På relationelle databasetabeller kan funktioner som indsættelser, opdateringer og ændringer udføres.
Bistade er "Skema kun skrivebeskyttet"Så funktioner som opdatering og ændring fungerede ikke i tidlige udgivelser, fordi en Hive-forespørgsel i en typisk klynge kører på tværs af flere DataNodes, hvilket gjorde det umuligt at opdatere og ændre data på tværs af flere noder (Hive-versioner under 0.13).
Hive understøtter også "Læs mange, skriv én gang" mønster, så i nyere versioner kan en tabel opdateres efter indsættelse.
BEMÆRK VENLIGST: Nyere versioner af Hive kommer med opdaterede funktioner. Hive 0.14 introducerede UPDATE og DELETE som nye funktioner, og senere udgivelser tilføjede fuld understøttelse af ACID-transaktioner.
Tabellen nedenfor kondenserer sammenligningen.
| Aspect | Relationel database | Apache Hive |
|---|---|---|
| Skema validering | Ved skrivning | Læst |
| Typisk datavolumen | Gigabyte til terabyte | Terabyte til petabyte |
| arbejdsbyrde | OLTP på rækkeniveau læser og skriver | Fuld scanning af batchanalyser |
| Forespørgselssprog | SQL | HQL, en SQL-inspireret dialekt |
| Udførelse | Database motor | Distribuerede klyngejob |
Hive Architecture
Diagrammet nedenfor forklarer Apache Hive-arkitektur i detaljer.
Hive består hovedsageligt af 3 kernedele:
- Hive-klienter
- Hive-tjenester
- Hive-lagring og -databehandling
Hive-kunder
Hive leverer forskellige drivere til kommunikation med forskellige typer applikationer. Til Thrift-baserede applikationer leverer den en Thrift-klient til kommunikation.
Til Java Til relaterede applikationer leverer den JDBC-drivere. Til alle andre typer applikationer leverer den ODBC-drivere. Disse klienter og drivere kommunikerer til gengæld med Hive-serveren i Hive-tjenesterne.
Hive Services
Klientinteraktioner med Hive udføres via Hive-tjenester. Hvis klienten ønsker at udføre en forespørgselsrelateret handling i Hive, skal den kommunikere via Hive-tjenester.
CLI'en fungerer som Hive-tjenesten til DDL-operationer. Alle drivere kommunikerer med Hive-serveren og hoveddriveren i Hive-tjenester, som vist i arkitekturdiagrammet ovenfor.
Driveren i Hive-tjenester er den primære driver: den kommunikerer med JDBC, ODBC og andre klientspecifikke applikationer og sender derefter deres anmodninger til metastoret og filsystemet til videre behandling.
Hive Storage og Computing
Hive-tjenester såsom metastoren, filsystemet og jobklienten kommunikerer til gengæld med Hive-lagring og udfører følgende handlinger:
- Metadataoplysninger om tabeller oprettet i Hive gemmes i Hive metastore-database.
- Forespørgselsresultater og data, der indlæses i tabellerne, gemmes i Hadoop-klyngen på HDFS.
Jobudførelsesflow
Diagrammet nedenfor tracsender én forespørgsel fra brugergrænsefladen til DataNodes og tilbage.
Ud fra ovenstående diagram kan vi forstå jobudførelsesflowet i Hive med Hadoop. Dataflowet i Hive opfører sig i følgende mønster.
- Udførelse af en forespørgsel fra brugergrænsefladen
- Driveren interagerer med compileren for at hente planen. (Her refererer plan til forespørgselsudførelsesprocessen og dens relaterede indsamling af metadatainformation.)
- Compileren opretter planen for det job, der skal udføres. Compileren kommunikerer med metastoret for at hente metadataanmodningen.
- Metastoren sender metadatainformation tilbage til compileren
- Compileren kommunikerer med driveren med den foreslåede plan for at udføre forespørgslen.
- Chaufføren sender udførelsesplaner til udførelsesmotoren
- Udførelsesmotoren (EE) fungerer som en bro mellem Hive og Hadoop for at behandle forespørgslen, inklusive DFS-operationer:
- EE kontakter først NameNode og derefter DataNodes for at hente de værdier, der er gemt i tabellerne.
- EE henter de ønskede poster fra DataNodes. De faktiske tabeldata findes kun på datanoderne; fra NameNode henter den kun metadata til forespørgslen.
- Den indsamler faktiske data fra datanoderne relateret til den nævnte forespørgsel.
- EE kommunikerer tovejs med metastoren for at udføre DDL (data definition language) operationer såsom OPRET, SLIP og ÆNDRE på tabeller og databaser. Metastoren gemmer kun database-, tabel- og kolonnenavne.
- EE kommunikerer til gengæld med Hadoop-daemoner såsom NameNode, DataNodes og job. tracker til at udføre forespørgslen oven på Hadoop-filsystemet
- Henter resultater fra driveren
- Sender resultater til udførelsesmotoren. Når resultaterne er hentet fra datanoderne til EE'en, sender den resultaterne tilbage til driveren og til brugergrænsefladen (frontend).
Hive holder kontakten med Hadoop-filsystemet og dets dæmoner via eksekveringsmotoren. Den stiplede pil i diagrammet viser denne kommunikation.
Forskellige tilstande af Hive
Hive kan fungere i to tilstande afhængigt af størrelsen af datanoderne i Hadoop. Disse tilstande er:
- Lokal tilstand
- MapReduce-tilstand
Hvornår skal man bruge lokal tilstand
- Hvis Hadoop er installeret i pseudodistribueret tilstand med én datanode, bruger vi Hive i denne tilstand.
- Hvis datastørrelsen er lille nok til at være begrænset til en enkelt lokal maskine, kan vi bruge denne tilstand
- Behandlingen vil være meget hurtig på mindre datasæt, der findes på den lokale maskine
Hvornår skal MapReduce-tilstand bruges
- Hvis Hadoop har flere datanoder, og data er fordelt på tværs af de forskellige noder, bruger vi Hive i denne tilstand
- Den arbejder på store mængder data, og forespørgslen udføres parallelt.
- Behandling af store datasæt med bedre ydeevne kan opnås gennem denne tilstand
I Hive kan vi indstille en egenskab, der angiver, hvilken tilstand Hive skal fungere i. Som standard fungerer den i MapReduce-tilstand, og til lokal tilstand kan du bruge følgende indstilling:
SET mapred.job.tracker=local;
Fra Hive version 0.7 og fremefter understøttes en tilstand, der automatisk kører MapReduce-job i lokal tilstand. På Hive 4.x er standardmotoren Apache Tez, så denne egenskab gælder for den ældre MapReduce-sti.
Hvad er Hive Server2 (HS2)?
HiveServer2 (HS2) er en servergrænseflade, der udfører følgende funktioner:
- Gør det muligt for fjernklienter at udføre forespørgsler mod Hive
- Henter resultaterne af disse forespørgsler
Nuværende versioner tilføjer avancerede funktioner baseret på Thrift RPC, såsom:
- Multi-klient samtidighed
- Godkendelse
HS2 ligger bag Beeline og alle JDBC- eller ODBC-sessioner, hvilket er grunden til, at den erstattede Hive CLI til én bruger. HiveQL-operatorer og indbyggede funktioner Reference er det naturlige næste skridt.


