Pregrade i kante za košnice s primjerom
⚡ Pametni sažetak
Particije i kontejneri su dva načina na koja Apache Hive dijeli podatke tablice na disku: particija stvara jedan direktorij po ključnoj vrijednosti, dok kontejner hashira retke u fiksni broj datoteka.

Tablice, particije i kante su dijelovi Hive modeliranja podataka. Tablica definira shemu, particija dijeli tu tablicu u direktorije na disku, a kanta dijeli podatke unutar direktorija u fiksni broj datoteka.
Što su particije?
Hive Partitions je način organiziranja tablica u particije dijeljenjem tablica na različite dijelove na temelju ključeva particija. Fizički, svaka particija je zaseban poddirektorij unutar mape tablice u HDFS-u, što Hiveu omogućuje preskakanje podataka koji mu nisu potrebni.
Particija je korisna kada tablica ima jedan ili više particijskih ključeva. Particijski ključevi su osnovni elementi za određivanje načina pohrane podataka u tablici. Particijski ključ nije pohranjen unutar samih podatkovnih datoteka - njegova vrijednost je kodirana u nazivu direktorija, tako da filtriranje upita na tom ključu može odbaciti cijele direktorije prije nego što se pročita bilo koji redak. To se naziva odvajanje particije.
Na primjer: –
„Klijent ima neke podatke o e-trgovini koji pripadaju operacijama u Indiji u kojima se spominju operacije svake države (38 država) kao cjelina. Ako uzmemo stupac države kao ključ particije i izvršimo particije na tim podacima o Indiji kao cjelini, možemo dobiti broj particija (38 particija) koji je jednak broju država (38) prisutnih u Indiji. Tako da se podaci o svakoj državi mogu zasebno pregledavati u tablicama particija.“
Uzorak Code Isječak za particije
Šest naredbi u nastavku izvršava se redom u Hive ljusci. Svaka je zaseban korak, a snimke zaslona koje slijede prikazuju isti slijed izvršavanja na aktivnom klasteru.
- Izrada tablice allstates
create table allstates(state string, District string,Enrolments string) row format delimited fields terminated by ',';
- Učitavanje podataka u kreiranu tablicu allstates
Load data local inpath '/home/hduser/Desktop/AllStates.csv' into table allstates;
- Izrada pregradne tablice
create table state_part(District string,Enrolments string) PARTITIONED BY(state string);
- Za particiju moramo postaviti ovo svojstvo
set hive.exec.dynamic.partition.mode=nonstrict - Učitavanje podataka u particijsku tablicu
INSERT OVERWRITE TABLE state_part PARTITION(state) SELECT district,enrolments,state from allstates;
- Stvarna obrada i formiranje particijskih tablica na temelju stanja kao particijskog ključa
U HDFS pohrani bit će 38 izlaza particije s nazivom datoteke kao nazivom stanja. To ćemo provjeriti u ovom koraku.
Sljedeće snimke zaslona prikazuju izvršavanje gore navedenog koda.
Na prvom ekranu, korak 1 se izvršava na košnica> upit i stvara sve države tablica s tri stupca i zarezom kao razdjelnikom polja.
Sljedeći zaslon pokriva korake 2 i 3: datoteka AllStates.csv se učitava u sve državei particionirana tablica dio_stanja stvara se sa stanjem deklariranim kao ključem particije.
Zatim se pojavljuju koraci 4 i 5. Način dinamičke particije postavljen je na nestrogi, a naredba INSERT OVERWRITE pokreće MapReduce zadatak čiji zapisnici pokazuju da se za svaku vrijednost stanja učitava jedna particija.
Popisivanje skladišnog direktorija u HDFS-u potvrđuje rezultat 6. koraka – ljuska izvještava o 38 stavki, jednoj dio_stanja/stanje= imenik po državi.
Iz gornjeg koda radimo sljedeće stvari
- Izrada tablice allstates s nazivima u 3 stupca kao što su država, okrug i upisi
- Učitavanje podataka u tablicu allstates
- Stvaranje particijske tablice sa stanjem kao particijskim ključem
- U ovom koraku postavljanje načina particije kao nestrogo (ovaj način će aktivirati dinamički način particije)
- Učitavanje podataka u tablicu particija state_part
- Stvarna obrada i formiranje particijskih tablica na temelju stanja kao particijskog ključa
- U HDFS pohrani bit će 38 izlaza particije s nazivom datoteke kao nazivom stanja. U ovom koraku vidimo 38 izlaza particije u HDFS-u.
Statičko vs. dinamičko particioniranje u Hiveu
Gornji obrađeni primjer koristi dinamičko particioniranje, ali Hive podržava dva stila učitavanja i razlika određuje koliko typing – i koliki rizik – nosi svaki teret.
Statičko particioniranje imenuje vrijednost particije u samoj naredbi, tako da vrijednost mora biti poznata prije pokretanja učitavanja, a jedna naredba popunjava točno jednu particiju. Dinamičko particioniranje omogućuje Hiveu da pročita vrijednost particije iz zadnjeg stupca SELECT liste i stvori direktorije tijekom izvođenja, zbog čega je primjeru potreban samo jedan INSERT za stvaranje 38 direktorija.
| Aspekt | Statičko particioniranje | Dinamičko particioniranje |
|---|---|---|
| Vrijednost particije | Ručno isporučeno u klauzuli PARTITION | Čitanje za vrijeme izvođenja iz stupca SELECT |
| Particije po izjavi | jedan | Mnogi |
| konfiguracija | Radi u zadanom strogom načinu rada | Potrebno je postaviti hive.exec.dynamic.partition.mode na nestriktno |
| Brzina opterećenja | Brže, jer nije potrebno skeniranje vrijednosti | Sporije, jer zadatak grupira retke po ključu |
| Najprikladniji za | Mali, poznati setovi poput dnevnog opterećenja | Veliki ili nepoznati skupovi ključeva, kao što je 38 država |
Dinamička opterećenja su također ograničena. Hive ograničava koliko particija jedan zadatak može stvoriti - prema zadanim postavkama 100 po mapperu ili reduceru i 1000 za cijelu naredbu - a zadatak ne uspijeva nakon što se prijeđe bilo koja od gornjih granica, tako da ključ s vrlo visokom kardinalnošću treba povećati ta ograničenja ili drugačiji dizajn.
Što je Buckets?
Kante u Hiveu se koriste za odvajanje podataka Hive tablice u više datoteka ili direktorija. Koriste se za učinkovito ispitivanje i, za razliku od particije, broj kanti je fiksan prilikom stvaranja tablice, tako da nikada ne raste s podacima.
- Podaci koji se nalaze u tim particijama mogu se dalje podijeliti u segmente (buckets).
- Dijeljenje se vrši na temelju hash-a određenih stupaca koje smo odabrali u tablici
- Kante koriste neki oblik algoritma za hashiranje na pozadini za čitanje svakog zapisa i njegovo smještanje u kante.
- U koju kantu red završava određuje se hash_function(bucketing_column) mod num_buckets, tako da jednake vrijednosti uvijek završavaju u istoj datoteci
- Na Hive 0.x i 1.x, skladištenje je moralo biti omogućeno s postavi hive.enforce.bucketing=true; prije umetka
Ta posljednja postavka je povijest na trenutnom klasteru: priručnik za Apache Hive napominje da nije potrebno od Hivea 2.x nadalje, jer mehanizam sada automatski bira broj reduktora i stupac klasteriranja iz definicije tablice.
Korak 1) Stvaranje spremnika kao što je prikazano u nastavku.
Donji ekran prikazuje naredbu CREATE TABLE za kanta za uzorke, s klauzulom CLUSTERED BY na dnu koja fiksira broj spremnika.
Iz gornje snimke zaslona
- Izrađujemo uzorak s nazivima stupaca kao što su ime, ID_posla, odjel, plaća i država
- Ovdje stvaramo 4 kante
- Nakon što se podaci učitaju, automatski se smještaju u 4 košarice.
- Stupac zemlje je stupac klasteriranja, tako da se svaki redak za jednu zemlju zapisuje u istu datoteku spremnika
Korak 2) Učitavanje podataka u tablicu samplebucket
Pod pretpostavkom da je tablica „zaposlenici“ već kreirana u Hive sustavu, u ovom koraku ćemo vidjeti učitavanje podataka iz tablice zaposlenika u tablicu samplebucket.
Prije nego što počnemo premještati podatke o zaposlenicima u spremnike, provjerite sadrže li nazive stupaca kao što su ime_ime, ID_posla, odjel, plaća i država.
Ovdje učitavamo podatke u samplebucket iz tablice zaposlenika – donji ekran prikazuje naredbu INSERT OVERWRITE koja izvršava kopiranje.
Korak 3) Prikaz 4 kante kreirane u 1. koraku
Popis direktorija tablica u HDFS-u pokazuje fizički rezultat: četiri numerirane datoteke podataka umjesto jedne.
Iz gornje snimke zaslona možemo vidjeti da se podaci iz tablice zaposlenika prenose u 4 kante kreirane u koraku 1.
Particioniranje košnica u odnosu na bucketing: Ključne razlike
Obje značajke režu tablicu na manje dijelove, ali to rade na različitim razinama datotečnog sustava i rješavaju različite probleme. Tablica u nastavku ih uspoređuje.
| Točka usporedbe | Particioniranje | Punjenje u kante |
|---|---|---|
| Jedinica je stvorena | Direktorij po ključnoj vrijednosti | Datoteka po hash bucketu |
| Deklarirano s | PODIJELJENO PO | GRUPIRANO OD ... U n KANTICA |
| Broj komada | Raste s brojem različitih vrijednosti | Ispravljeno pri kreiranju tablice |
| Stupac pohranjen u podatkovnim datotekama | Ne – vrijednost se nalazi u nazivu direktorija | Da – stupac ostaje normalan stupac |
| Najbolja vrsta stupca | Niska kardinalnost, kao što su država, godina ili zemlja | Visoka kardinalnost, kao što je user_id ili transaction_id |
| Glavna korist | Orezivanje particija preskače nepotrebne direktorije | Ravnomjerne veličine datoteka, jeftino uzorkovanje i spajanja na strani mape |
Njih dvoje nisu rivali. Uobičajeni produkcijski raspored particionira tablicu činjenica po datumu, a zatim svaki dan razvrstava u ćelije na temelju ključa za spajanje, tako da upit preusmjerava podatke na jedan direktorij, a zatim spaja ćelije unutar njega.
Kada koristiti particioniranje, segmentiranje ili oboje
Odabir između njih započinje kardinalnošću stupca i oblikom upita koji će čitati tablicu.
- Pregrada kada upiti gotovo uvijek filtriraju isti stupac niske kardinalnosti i kada broj različitih vrijednosti ostaje u stotinama, a ne u milijunima
- Vedrica kada korisni stupac ima previše različitih vrijednosti da bi bio direktorij ili kada se tablica više puta spaja ili uzorkuje na tom stupcu
- Koristite oboje za velike tablice činjenica: particija na datumu, zatim odjeljak unutar svake particije na ključu spajanja
Način kvara na koji treba paziti je problem malih datoteka. Particioniranje na stupcu s vrlo visokom kardinalnošću – vremenskom oznakom ili identifikatorom korisnika – stvara tisuće sićušnih direktorija, od kojih svaki sadrži datoteku daleko manju od veličine bloka HDFS-a. To napuhuje memoriju NameNode-a i usporava svako skeniranje, što je upravo rezultat koji je particioniranje trebalo spriječiti. Bucketing to izbjegava jer je broj datoteka ograničen definicijom tablice.
Bucketing ima svoju klastersku napomenu: raspored je ispravan samo ako ga svaki pisač poštuje. Broj bucketa deklariran pri stvaranju su metapodaci, pa zadatak koji piše u tablicu bez ispravnog klasteriranja može ostaviti datoteke koje ne odgovaraju deklariranom rasporedu, a kasnije uzorkovanje ili spajanje bucketa će čitati pogrešne retke.







