Pregrade i kante za košnice s primjerom

⚡ Pametni sažetak

Particije i kontejneri su dva načina na koja Apache Hive dijeli podatke tablice na disku: particija stvara jedan direktorij po ključnoj vrijednosti, dok kontejner hashira retke u fiksni broj datoteka.

  • 🗂️ Particija je direktorij: Svaka zasebna vrijednost particijske ključa postaje vlastiti poddirektorij unutar mape tablice u HDFS-u.
  • ✂️ Obrezivanje particije: Upit koji filtrira prema ključu particije čita samo odgovarajuće direktorije umjesto skeniranja cijele tablice.
  • ️ Potreban dinamički način rada: Učitavanje više particija iz SELECT-a zahtijeva da hive.exec.dynamic.partition.mode bude postavljen na nonstrict.
  • 🧮 Bucket je datoteka: CLUSTERED BY hashira odabrani stupac i zapisuje svaki redak u jednu od fiksnog broja datoteka.
  • 🔍 Uzorkovanje i spajanja: Tablice u bucketima podržavaju učinkovito TABLESAMPLE čitanje i spajanje bucketa na strani mape što obične tablice ne mogu.
  • 📐 Odaberite po kardinalnosti: Particionirajte na stupce niske kardinalnosti kao što su stanje ili datum i stupce visoke kardinalnosti u segmente kao što su identifikatori korisnika.

Objašnjenje particija i kanti košnica s rađenim primjerom

Tablice, particije i kante su dijelovi Hive modeliranja podataka. Tablica definira shemu, particija dijeli tu tablicu u direktorije na disku, a kanta dijeli podatke unutar direktorija u fiksni broj datoteka.

Što su particije?

Hive Partitions je način organiziranja tablica u particije dijeljenjem tablica na različite dijelove na temelju ključeva particija. Fizički, svaka particija je zaseban poddirektorij unutar mape tablice u HDFS-u, što Hiveu omogućuje preskakanje podataka koji mu nisu potrebni.

Particija je korisna kada tablica ima jedan ili više particijskih ključeva. Particijski ključevi su osnovni elementi za određivanje načina pohrane podataka u tablici. Particijski ključ nije pohranjen unutar samih podatkovnih datoteka - njegova vrijednost je kodirana u nazivu direktorija, tako da filtriranje upita na tom ključu može odbaciti cijele direktorije prije nego što se pročita bilo koji redak. To se naziva odvajanje particije.

Na primjer: –

„Klijent ima neke podatke o e-trgovini koji pripadaju operacijama u Indiji u kojima se spominju operacije svake države (38 država) kao cjelina. Ako uzmemo stupac države kao ključ particije i izvršimo particije na tim podacima o Indiji kao cjelini, možemo dobiti broj particija (38 particija) koji je jednak broju država (38) prisutnih u Indiji. Tako da se podaci o svakoj državi mogu zasebno pregledavati u tablicama particija.“

Uzorak Code Isječak za particije

Šest naredbi u nastavku izvršava se redom u Hive ljusci. Svaka je zaseban korak, a snimke zaslona koje slijede prikazuju isti slijed izvršavanja na aktivnom klasteru.

  1. Izrada tablice allstates
    create table allstates(state string, District string,Enrolments string)
    
    row format delimited
    
    fields terminated by ',';
    
  2. Učitavanje podataka u kreiranu tablicu allstates
    Load data local inpath '/home/hduser/Desktop/AllStates.csv' into table allstates;
  3. Izrada pregradne tablice
    create table state_part(District string,Enrolments string) PARTITIONED BY(state string);
  4. Za particiju moramo postaviti ovo svojstvo
    set hive.exec.dynamic.partition.mode=nonstrict
  5. Učitavanje podataka u particijsku tablicu
    INSERT OVERWRITE TABLE state_part PARTITION(state)
    SELECT district,enrolments,state from  allstates;
  6. Stvarna obrada i formiranje particijskih tablica na temelju stanja kao particijskog ključa

U HDFS pohrani bit će 38 izlaza particije s nazivom datoteke kao nazivom stanja. To ćemo provjeriti u ovom koraku.

Sljedeće snimke zaslona prikazuju izvršavanje gore navedenog koda.

Na prvom ekranu, korak 1 se izvršava na košnica> upit i stvara sve države tablica s tri stupca i zarezom kao razdjelnikom polja.

Hive ljuska stvara tablicu allstates s tri razdvojena stupca

Sljedeći zaslon pokriva korake 2 i 3: datoteka AllStates.csv se učitava u sve državei particionirana tablica dio_stanja stvara se sa stanjem deklariranim kao ključem particije.

Učitavanje AllStates.csv u allstates i stvaranje particionirane tablice state_part

Zatim se pojavljuju koraci 4 i 5. Način dinamičke particije postavljen je na nestrogi, a naredba INSERT OVERWRITE pokreće MapReduce zadatak čiji zapisnici pokazuju da se za svaku vrijednost stanja učitava jedna particija.

Izlaz zadatka MapReduce učitava jednu Hive particiju po vrijednosti stanja

Popisivanje skladišnog direktorija u HDFS-u potvrđuje rezultat 6. koraka – ljuska izvještava o 38 stavki, jednoj dio_stanja/stanje= imenik po državi.

HDFS popis koji prikazuje 38 direktorija particija state_part u Hive skladištu

Iz gornjeg koda radimo sljedeće stvari

  1. Izrada tablice allstates s nazivima u 3 stupca kao što su država, okrug i upisi
  2. Učitavanje podataka u tablicu allstates
  3. Stvaranje particijske tablice sa stanjem kao particijskim ključem
  4. U ovom koraku postavljanje načina particije kao nestrogo (ovaj način će aktivirati dinamički način particije)
  5. Učitavanje podataka u tablicu particija state_part
  6. Stvarna obrada i formiranje particijskih tablica na temelju stanja kao particijskog ključa
  7. U HDFS pohrani bit će 38 izlaza particije s nazivom datoteke kao nazivom stanja. U ovom koraku vidimo 38 izlaza particije u HDFS-u.

Statičko vs. dinamičko particioniranje u Hiveu

Gornji obrađeni primjer koristi dinamičko particioniranje, ali Hive podržava dva stila učitavanja i razlika određuje koliko typing – i koliki rizik – nosi svaki teret.

Statičko particioniranje imenuje vrijednost particije u samoj naredbi, tako da vrijednost mora biti poznata prije pokretanja učitavanja, a jedna naredba popunjava točno jednu particiju. Dinamičko particioniranje omogućuje Hiveu da pročita vrijednost particije iz zadnjeg stupca SELECT liste i stvori direktorije tijekom izvođenja, zbog čega je primjeru potreban samo jedan INSERT za stvaranje 38 direktorija.

Aspekt Statičko particioniranje Dinamičko particioniranje
Vrijednost particije Ručno isporučeno u klauzuli PARTITION Čitanje za vrijeme izvođenja iz stupca SELECT
Particije po izjavi jedan Mnogi
konfiguracija Radi u zadanom strogom načinu rada Potrebno je postaviti hive.exec.dynamic.partition.mode na nestriktno
Brzina opterećenja Brže, jer nije potrebno skeniranje vrijednosti Sporije, jer zadatak grupira retke po ključu
Najprikladniji za Mali, poznati setovi poput dnevnog opterećenja Veliki ili nepoznati skupovi ključeva, kao što je 38 država

Dinamička opterećenja su također ograničena. Hive ograničava koliko particija jedan zadatak može stvoriti - prema zadanim postavkama 100 po mapperu ili reduceru i 1000 za cijelu naredbu - a zadatak ne uspijeva nakon što se prijeđe bilo koja od gornjih granica, tako da ključ s vrlo visokom kardinalnošću treba povećati ta ograničenja ili drugačiji dizajn.

Što je Buckets?

Kante u Hiveu se koriste za odvajanje podataka Hive tablice u više datoteka ili direktorija. Koriste se za učinkovito ispitivanje i, za razliku od particije, broj kanti je fiksan prilikom stvaranja tablice, tako da nikada ne raste s podacima.

  • Podaci koji se nalaze u tim particijama mogu se dalje podijeliti u segmente (buckets).
  • Dijeljenje se vrši na temelju hash-a određenih stupaca koje smo odabrali u tablici
  • Kante koriste neki oblik algoritma za hashiranje na pozadini za čitanje svakog zapisa i njegovo smještanje u kante.
  • U koju kantu red završava određuje se hash_function(bucketing_column) mod num_buckets, tako da jednake vrijednosti uvijek završavaju u istoj datoteci
  • Na Hive 0.x i 1.x, skladištenje je moralo biti omogućeno s postavi hive.enforce.bucketing=true; prije umetka

Ta posljednja postavka je povijest na trenutnom klasteru: priručnik za Apache Hive napominje da nije potrebno od Hivea 2.x nadalje, jer mehanizam sada automatski bira broj reduktora i stupac klasteriranja iz definicije tablice.

Korak 1) Stvaranje spremnika kao što je prikazano u nastavku.

Donji ekran prikazuje naredbu CREATE TABLE za kanta za uzorke, s klauzulom CLUSTERED BY na dnu koja fiksira broj spremnika.

Hive CREATE TABLE naredba grupira uzorak u četiri kante

Iz gornje snimke zaslona

  • Izrađujemo uzorak s nazivima stupaca kao što su ime, ID_posla, odjel, plaća i država
  • Ovdje stvaramo 4 kante
  • Nakon što se podaci učitaju, automatski se smještaju u 4 košarice.
  • Stupac zemlje je stupac klasteriranja, tako da se svaki redak za jednu zemlju zapisuje u istu datoteku spremnika

Korak 2) Učitavanje podataka u tablicu samplebucket

Pod pretpostavkom da je tablica „zaposlenici“ već kreirana u Hive sustavu, u ovom koraku ćemo vidjeti učitavanje podataka iz tablice zaposlenika u tablicu samplebucket.

Prije nego što počnemo premještati podatke o zaposlenicima u spremnike, provjerite sadrže li nazive stupaca kao što su ime_ime, ID_posla, odjel, plaća i država.

Ovdje učitavamo podatke u samplebucket iz tablice zaposlenika – donji ekran prikazuje naredbu INSERT OVERWRITE koja izvršava kopiranje.

Naredba INSERT OVERWRITE kopira retke zaposlenika u tablicu samplebucket

Korak 3) Prikaz 4 kante kreirane u 1. koraku

Popis direktorija tablica u HDFS-u pokazuje fizički rezultat: četiri numerirane datoteke podataka umjesto jedne.

HDFS popis četiriju bucket datoteka stvorenih u direktoriju samplebucket

Iz gornje snimke zaslona možemo vidjeti da se podaci iz tablice zaposlenika prenose u 4 kante kreirane u koraku 1.

Particioniranje košnica u odnosu na bucketing: Ključne razlike

Obje značajke režu tablicu na manje dijelove, ali to rade na različitim razinama datotečnog sustava i rješavaju različite probleme. Tablica u nastavku ih uspoređuje.

Točka usporedbe Particioniranje Punjenje u kante
Jedinica je stvorena Direktorij po ključnoj vrijednosti Datoteka po hash bucketu
Deklarirano s PODIJELJENO PO GRUPIRANO OD ... U n KANTICA
Broj komada Raste s brojem različitih vrijednosti Ispravljeno pri kreiranju tablice
Stupac pohranjen u podatkovnim datotekama Ne – vrijednost se nalazi u nazivu direktorija Da – stupac ostaje normalan stupac
Najbolja vrsta stupca Niska kardinalnost, kao što su država, godina ili zemlja Visoka kardinalnost, kao što je user_id ili transaction_id
Glavna korist Orezivanje particija preskače nepotrebne direktorije Ravnomjerne veličine datoteka, jeftino uzorkovanje i spajanja na strani mape

Njih dvoje nisu rivali. Uobičajeni produkcijski raspored particionira tablicu činjenica po datumu, a zatim svaki dan razvrstava u ćelije na temelju ključa za spajanje, tako da upit preusmjerava podatke na jedan direktorij, a zatim spaja ćelije unutar njega.

Kada koristiti particioniranje, segmentiranje ili oboje

Odabir između njih započinje kardinalnošću stupca i oblikom upita koji će čitati tablicu.

  • Pregrada kada upiti gotovo uvijek filtriraju isti stupac niske kardinalnosti i kada broj različitih vrijednosti ostaje u stotinama, a ne u milijunima
  • Vedrica kada korisni stupac ima previše različitih vrijednosti da bi bio direktorij ili kada se tablica više puta spaja ili uzorkuje na tom stupcu
  • Koristite oboje za velike tablice činjenica: particija na datumu, zatim odjeljak unutar svake particije na ključu spajanja

Način kvara na koji treba paziti je problem malih datoteka. Particioniranje na stupcu s vrlo visokom kardinalnošću – vremenskom oznakom ili identifikatorom korisnika – stvara tisuće sićušnih direktorija, od kojih svaki sadrži datoteku daleko manju od veličine bloka HDFS-a. To napuhuje memoriju NameNode-a i usporava svako skeniranje, što je upravo rezultat koji je particioniranje trebalo spriječiti. Bucketing to izbjegava jer je broj datoteka ograničen definicijom tablice.

Bucketing ima svoju klastersku napomenu: raspored je ispravan samo ako ga svaki pisač poštuje. Broj bucketa deklariran pri stvaranju su metapodaci, pa zadatak koji piše u tablicu bez ispravnog klasteriranja može ostaviti datoteke koje ne odgovaraju deklariranom rasporedu, a kasnije uzorkovanje ili spajanje bucketa će čitati pogrešne retke.

Pitanja i odgovori

Pokrenite SHOW PARTITIONS table_name u Hive ljusci. Čita metastore i ispisuje jedan redak po direktoriju particije, što je brže od navođenja putanje skladišta u HDFS-u, a također potvrđuje da je metastore sinkroniziran.

ALTER TABLE table_name ADD PARTITION (state='Goa') registrira novi direktorij, a ALTER TABLE table_name DROP PARTITION (state='Goa') ga uklanja. Dropping upravljana particija briše svoje podatke, dok ispuštanjeping vanjski samo briše unos u metastoreu.

Hive prema zadanim postavkama ograničava dinamičke particije na 100 po čvoru i 1000 po naredbi. Ključ s više različitih vrijednosti prelazi ograničenje i prekida posao. Podignite hive.exec.max.dynamic.partitions.pernode i hive.exec.max.dynamic.partitions ili odaberite grublji ključ.

Ne. Bilo je potrebno na Hive 0.x i 1.x kako bi se broj reduktora uskladio s brojem spremnika. HIVE-12331 ga je uklonio u Hive 2.0, a mehanizam sada izvodi i broj reduktora i stupac po klasterima iz tablice.

TABLESAMPLE(BUCKET x OUT OF y ON column) čita samo odgovarajuće datoteke s bucketima umjesto da skenira sve. Budući da su retci hashirani na istom stupcu u vrijeme pisanja, uzorak je ponovljiv i daleko jeftiniji od filtra slučajnih redaka.

Podjela tablice na tisuće sitnih datoteka troši memoriju NameNode-a i pokreće jedan zadatak po datoteci, pa se skeniranje usporava. Obično slijedi ključ particije s vrlo visokom kardinalnošću. Grublji ključevi, grupiranje ili sažimanje datoteka rješavaju problem.

Da. Analiza dnevnika upita i modeli strojnog učenja u alatima kao što je Cloudera Workload XM rangiraju stupce prema učestalosti filtriranja, nagibu i kardinalnosti, a zatim predlažu raspored. Prijedlog još treba pregledati jer ne može vidjeti planirana opterećenja.

Copilot brzo iz komentara izrađuje naredbe PARTITIONED BY i CLUSTERED BY, a agentski asistenti mogu generirati cijeli skript za učitavanje. Uvijek provjerite generirani broj spremnika i ključ u odnosu na stvarnu kardinalnost, jer model pogađa samo iz imena.

Sažmite ovu objavu uz: