Hva er Hive? Architecture & Modes

Hva er Hive?

Hive er et ETL- og datavarehusverktøy utviklet på toppen av Hadoop Distributed File System (HDFS). Hive gjør jobben enkel for å utføre operasjoner som

• Datainnkapsling
• Ad hoc-spørsmål
• Analyse av enorme datasett

Viktige egenskaper ved Hive

• I Hive opprettes først tabeller og databaser, og deretter lastes data inn i disse tabellene.
• Hive som datavarehus designet for å administrere og spørre kun strukturerte data som er lagret i tabeller.
• Mens han arbeider med strukturerte data, har ikke Map Reduce optimaliserings- og brukervennlighetsfunksjoner som UDF-er, men Hive-rammeverket har det. Spørringsoptimalisering refererer til en effektiv måte å utføre spørringer på når det gjelder ytelse.
• Hives SQL-inspirerte språk skiller brukeren fra kompleksiteten til Map Reduce-programmering. Den gjenbruker kjente konsepter fra relasjonsdatabaseverdenen, som tabeller, rader, kolonner og skjemaer, etc. for enkel læring.
• Hadoops programmering fungerer på flate filer. Så Hive kan bruke katalogstrukturer til å "partisjonere" data for å forbedre ytelsen på visse spørringer.
• En ny og viktig komponent i Hive dvs. Metastore som brukes til å lagre skjemainformasjon. Denne Metastore ligger vanligvis i en relasjonsdatabase. Vi kan samhandle med Hive ved å bruke metoder som
  • Web GUI
  • Java Database Connectivity (JDBC) grensesnitt
• De fleste interaksjoner har en tendens til å foregå over et kommandolinjegrensesnitt (CLI). Hive tilbyr en CLI for å skrive Hive-spørringer ved å bruke Hive Query Language (HQL)
• Generelt er HQL-syntaksen lik SQL syntaks som de fleste dataanalytikere er kjent med. Eksempelspørringen nedenfor viser alle postene som finnes i nevnte tabellnavn.
  • Eksempel på spørring : Velg * fra
• Hive støtter fire filformater TEXTFILE, SEQUENCEFILE, ORC og RCFILE (Record Columnar File).
• For lagring av metadata for én bruker bruker Hive derbydatabase og for metadata for flere brukere eller delte metadatatilfeller bruker Hive MYSQL.

For oppsett MySQL som database og for å lagre metadatainformasjon, sjekk veiledning "Installasjon og konfigurasjon av HIVE og MYSQL"

Noen av hovedpunktene om Hive:

• Den største forskjellen mellom HQL og SQL er at Hive-spørringen kjøres på Hadoops infrastruktur i stedet for den tradisjonelle databasen.
• Utførelsen av Hive-spørringen kommer til å bli som en serie med automatisk genererte kartreduksjonsjobber.
• Hive støtter partisjons- og bøttekonsepter for enkel henting av data når klienten utfører spørringen.
• Hive støtter tilpassede spesifikke UDF (User Defined Functions) for datarensing, filtrering osv. I henhold til kravene til programmererne kan man definere Hive UDFer.

Hive vs relasjonsdatabaser

Ved å bruke Hive kan vi utføre noe særegen funksjonalitet som ikke oppnås i relasjonsdatabaser. For en enorm mengde data som er i peta-byte, er det viktig å spørre etter dem og få resultater på sekunder. Og Hive gjør dette ganske effektivt, den behandler forespørslene raskt og gir resultater på sekundets tid.

La nå se hva som gjør Hive så rask.

Noen viktige forskjeller mellom Hive og relasjonsdatabaser er følgende;

Relasjonsdatabaser er av "Schema on READ og Schema on Write". Først oppretter du en tabell og setter deretter inn data i den aktuelle tabellen. På relasjonsdatabasetabeller kan funksjoner som innsettinger, oppdateringer og modifikasjoner utføres.

Hive er "Skjema på LESBARE". Så funksjoner som oppdatering, modifikasjoner osv. fungerer ikke med dette. Fordi Hive-spørringen i en typisk klynge kjører på flere datanoder. Så det er ikke mulig å oppdatere og endre data på tvers av flere noder.( Hive-versjoner under 0.13)

Hive støtter også "LES Mange SKRIV En gang" mønster. Noe som betyr at etter å ha satt inn tabell kan vi oppdatere tabellen i de nyeste Hive-versjonene.

MERKNADER: Den nye versjonen av Hive kommer imidlertid med oppdaterte funksjoner. Hive-versjoner (Hive 0.14) kommer med oppdaterings- og slettingsalternativer som nye funksjoner

Hive Architecture

Skjermbildet ovenfor forklarer Apache Hive arkitektur i detalj

Hive består hovedsakelig av 3 kjernedeler

1. Hive-kunder
2. Hive-tjenester
3. Hive-lagring og databehandling

Hive-kunder:

Hive gir forskjellige drivere for kommunikasjon med en annen type applikasjoner. For Thrift-baserte applikasjoner vil det gi Thrift-klient for kommunikasjon.

Til Java relaterte applikasjoner, gir den JDBC-drivere. Annet enn alle typer applikasjoner leverte ODBC-drivere. Disse klientene og driverne kommuniserer igjen med Hive-serveren i Hive-tjenestene.

Hive-tjenester:

Kundeinteraksjoner med Hive kan utføres gjennom Hive-tjenester. Hvis klienten ønsker å utføre spørringsrelaterte operasjoner i Hive, må den kommunisere gjennom Hive Services.

CLI er kommandolinjegrensesnittet som fungerer som Hive-tjeneste for DDL-operasjoner (Data definition Language). Alle drivere kommuniserer med Hive-serveren og til hoveddriveren i Hive-tjenester som vist i arkitekturdiagrammet ovenfor.

Driver som finnes i Hive-tjenestene representerer hoveddriveren, og den kommuniserer alle typer JDBC, ODBC og andre klientspesifikke applikasjoner. Driveren vil behandle disse forespørslene fra forskjellige applikasjoner til metabutikker og feltsystemer for videre behandling.

Hive-lagring og databehandling:

Hive-tjenester som Meta Store, Filsystem og Job Client kommuniserer på sin side med Hive-lagring og utfører følgende handlinger

• Metadatainformasjon for tabeller opprettet i Hive lagres i Hive "Metalagringsdatabase".
• Spørringsresultater og data lastet inn i tabellene vil bli lagret i Hadoop-klyngen på HDFS.

Jobbutførelsesflyt:

Fra skjermbildet ovenfor kan vi forstå jobbutførelsesflyten i Hive med Hadoop

Dataflyten i Hive oppfører seg i følgende mønster;

1. Utføre spørring fra brukergrensesnittet (brukergrensesnitt)
2. Driveren samhandler med Compiler for å få planen. (Her refererer planen til utførelse av spørringer) prosess og dens relaterte metadatainformasjonsinnsamling
3. Kompilatoren lager planen for en jobb som skal utføres. Kompilator kommuniserer med Meta Store for å få metadataforespørsel
4. Metalager sender metadatainformasjon tilbake til kompilatoren
5. Kompilatoren kommuniserer med driveren med den foreslåtte planen for å utføre spørringen
6. Driver Sender utførelsesplaner til utførelsesmotoren
7. Execution Engine (EE) fungerer som en bro mellom Hive og Hadoop for å behandle spørringen. For DFS-operasjoner.

• EE bør først kontakte Name Node og deretter til Data noder for å få verdiene lagret i tabeller.
• EE kommer til å hente ønskede poster fra datanoder. De faktiske dataene til tabeller ligger kun i datanoden. Mens den fra Name Node bare henter metadatainformasjonen for spørringen.
• Den samler inn faktiske data fra datanoder relatert til nevnte spørring
• Execution Engine (EE) kommuniserer toveis med Meta-butikken i Hive for å utføre DDL-operasjoner (Data Definition Language). Her utføres DDL-operasjoner som CREATE, DROP og ALTERING tabeller og databaser. Meta store vil kun lagre informasjon om databasenavn, tabellnavn og kolonnenavn. Den vil hente data relatert til nevnte spørring.
• Utførelsesmotoren (EE) kommuniserer igjen med Hadoop-daemoner som navnenoden, datanodene og jobbnodene. tracker for å kjøre spørringen oppå Hadoop-filsystemet

8. Henter resultater fra sjåføren
9. Sender resultater til utførelsesmotoren. Når resultatene er hentet fra datanoder til EE, vil den sende resultatene tilbake til driveren og til brukergrensesnittet (frontend)

Hive Kontinuerlig i kontakt med Hadoop-filsystemet og dets demoner via utførelsesmotoren. Den stiplede pilen i jobbflytdiagrammet viser kommunikasjonen med utførelsesmotoren med Hadoop-demoner.

Ulike moduser av Hive

Hive kan operere i to moduser avhengig av størrelsen på datanodene i Hadoop.

Disse modusene er,

• Lokal modus
• Kartreduksjonsmodus

Når du skal bruke lokal modus:

• Hvis Hadoop er installert i pseudo-modus med én datanode, bruker vi Hive i denne modusen
• Hvis datastørrelsen er mindre enn begrenset til en enkelt lokal maskin, kan vi bruke denne modusen
• Behandlingen vil være veldig rask på mindre datasett som finnes på den lokale maskinen

Når du skal bruke kartreduksjonsmodus:

• Hvis Hadoop har flere datanoder og data er fordelt over forskjellige noder, bruker vi Hive i denne modusen
• Den vil utføre på store mengder datasett og spørring kommer til å kjøre parallelt
• Behandling av store datasett med bedre ytelse kan oppnås gjennom denne modusen

I Hive kan vi sette denne egenskapen til å nevne hvilken modus Hive kan fungere? Som standard fungerer det i Map Reduce-modus, og for lokal modus kan du ha følgende innstilling.

Hive for å jobbe i lokal modussett

SETt mapped.job.tracker=lokal;

Fra Hive versjon 0.7 støtter den en modus for å kjøre kartreduksjonsjobber i lokal modus automatisk.

Hva er Hive Server2 (HS2)?

HiveServer2 (HS2) er et servergrensesnitt som utfører følgende funksjoner:

• Gjør det mulig for eksterne klienter å utføre spørringer mot Hive
• Hent resultatene av nevnte søk

Fra den nyeste versjonen har den noen avanserte funksjoner basert på Thrift RPC som;

• Multiklient samtidighet
• Autentisering

Sammendrag

Hive er et ETL- og datavarehusverktøy på toppen av Hadoop-økosystemet og brukes til å behandle strukturerte og semistrukturerte data.

• Hive er en database som finnes i Hadoop-økosystemet som utfører DDL- og DML-operasjoner, og den gir fleksibelt spørrespråk som HQL for bedre spørring og behandling av data.
• Det gir så mange funksjoner sammenlignet med RDMS som har visse begrensninger.

For brukerspesifikk logikk for å møte kundens krav.

• Det gir mulighet for å skrive og distribuere tilpassede definerte skript og brukerdefinerte funksjoner.
• I tillegg gir den partisjoner og bøtter for lagringsspesifikke logikker.