Hive-partitioner och hinkar med exempel
⚡ Smart sammanfattning
Partitioner och buckets är de två sätten Apache Hive delar upp tabelldata på disk: en partition skapar en katalog per nyckelvärde, medan en bucket hashar rader till ett fast antal filer.

Tabeller, partitioner och hinkar är delarna av Hive-datamodellering. En tabell definierar schemat, en partition delar upp tabellen i kataloger på disken och en hink delar upp data i en katalog i ett fast antal filer.
Vad är partitioner?
Hive-partitioner är ett sätt att organisera tabeller i partitioner genom att dela upp tabeller i olika delar baserat på partitionsnycklar. Fysiskt sett är varje partition en separat underkatalog under tabellmappen i HDFS, vilket gör att Hive kan hoppa över data som den inte behöver.
Partitionering är användbart när tabellen har en eller flera partitionsnycklar. Partitionsnycklar är grundläggande element för att bestämma hur data lagras i tabellen. En partitionsnyckel lagras inte inuti själva datafilerna – dess värde är kodat i katalognamnet, så en frågefiltrering på den nyckeln kan ignorera hela kataloger innan någon rad läses. Detta kallas partitionsrensning.
Till exempel: –
"Klienten har e-handelsdata som tillhör indiska operationer där varje delstatsoperation (38 delstater) nämns som en helhet. Om vi tar delstatskolumnen som partitionsnyckel och utför partitioner på den indiska datan som helhet kan vi få antalet partitioner (38 partitioner) vilket är lika med antalet delstater (38) som finns i Indien. Så att varje delstatsdata kan visas separat i partitionstabeller."
Prov Code Snippet för partitioner
De sex satserna nedan körs i ordning i Hive-skalet. Varje sats är ett separat steg, och skärmdumparna som följer visar samma sekvens som körs på ett livekluster.
- Skapande av tabellen allstates
create table allstates(state string, District string,Enrolments string) row format delimited fields terminated by ',';
- Laddar data till den skapade tabellen allstates
Load data local inpath '/home/hduser/Desktop/AllStates.csv' into table allstates;
- Skapande av partitionstabell
create table state_part(District string,Enrolments string) PARTITIONED BY(state string);
- För partition måste vi ställa in den här egenskapen
set hive.exec.dynamic.partition.mode=nonstrict - Laddar data till partitionstabellen
INSERT OVERWRITE TABLE state_part PARTITION(state) SELECT district,enrolments,state from allstates;
- Faktisk bearbetning och bildning av partitionstabeller baserat på status som partitionsnyckel
Det kommer att finnas 38 partitionsutgångar i HDFS-lagringen med filnamnet som tillståndsnamn. Vi kommer att kontrollera detta i det här steget.
Följande skärmdumpar visar hur ovan nämnda kod körs.
På den första skärmen körs steg 1 vid bikupa> uppmana och skapar alla stater tabell med dess tre kolumner och ett kommatecken som fältavgränsare.
Nästa skärm täcker steg 2 och 3: AllStates.csv-filen laddas in i alla stateroch den partitionerade tabellen delstatsdel skapas med state deklarerat som partitionsnyckel.
Steg 4 och 5 visas härnäst. Dynamiskt partitionsläge är inställt på icke-strikt, och INSERT OVERWRITE-satsen startar ett MapReduce-jobb vars logglinjer visar att en partition laddas för varje tillståndsvärde.
Att lista lagerkatalogen i HDFS bekräftar resultatet av steg 6 – skalet rapporterar 38 objekt, varav ett delstatsdel/delstat= katalog per stat.
Från ovanstående kod gör vi följande saker
- Skapande av tabellen allstates med 3 kolumnnamn som stat, distrikt och inskrivningar
- Läser in data i tabellen allstates
- Skapande av partitionstabell med tillstånd som partitionsnyckel
- I det här steget ställer du in partitionsläget som icke-strikt (detta läge aktiverar dynamiskt partitionsläge)
- Läser in data i partitionstabellen state_part
- Faktisk bearbetning och bildning av partitionstabeller baserat på status som partitionsnyckel
- Det kommer att finnas 38 partitionsutgångar i HDFS-lagring med filnamnet som tillståndsnamn. I det här steget ser vi de 38 partitionsutgångarna i HDFS.
Statisk vs dynamisk partitionering i Hive
Det bearbetade exemplet ovan använder dynamisk partitionering, men Hive stöder två laddningsstilar och skillnaden avgör hur mycket typing – och hur mycket risk – varje last medför.
Statisk partitionering namnger partitionsvärdet i själva satsen, så värdet måste vara känt innan inläsningen körs och en sats fyller exakt en partition. Dynamisk partitionering låter Hive läsa partitionsvärdet från den sista kolumnen i SELECT-listan och skapa katalogerna vid körning, vilket är anledningen till att exemplet bara behöver en enda INSERT för att producera 38 kataloger.
| Aspect | Statisk partitionering | Dynamisk partitionering |
|---|---|---|
| Partitionsvärde | Tillhandahålls för hand i PARTITION-klausulen | Läs vid körning från SELECT-kolumnen |
| Partitioner per sats | One | Många |
| konfiguration | Fungerar i standardläget för strikt | Behöver hive.exec.dynamic.partition.mode inställt på nonstrict |
| Last hastighet | Snabbare, eftersom ingen värdeskanning behövs | Långsammare, eftersom jobbet grupperar rader efter nyckel |
| Passar bäst till | Små, kända uppsättningar som en daglig belastning | Stora eller okända nyckeluppsättningar som 38 tillstånd |
Dynamiska belastningar är också begränsade. Hive begränsar hur många partitioner ett jobb kan skapa – som standard 100 per mapper eller reducer och 1000 för hela satsen – och jobbet misslyckas när något av gränserna överskrids, så en nyckel med mycket hög kardinalitet behöver dessa gränser höjas eller en annan design.
Vad är Buckets?
Buckets i Hive används för att segregera Hive-tabelldata till flera filer eller kataloger. De används för effektiva frågor, och till skillnad från en partition är antalet buckets fast när tabellen skapas, så den växer aldrig med datan.
- Data som finns i dessa partitioner kan delas upp ytterligare i buckets (hinks)
- Uppdelningen utförs baserat på hash av specifika kolumner som vi valt i tabellen.
- Buckets använder någon form av hash-algoritm i backend för att läsa varje post och placera den i buckets.
- Vilken hink en rad landar i bestäms av hash_function(bucketing_column) mod num_buckets, så lika värden hamnar alltid i samma fil
- På Hive 0.x och 1.x var bucketing tvunget att aktiveras med sätt hive.enforce.bucketing=true; före insatsen
Den sista inställningen är historik för ett aktuellt kluster: Apache Hive-manualen Observera att det inte behövs från och med Hive 2.x, eftersom motorn nu automatiskt väljer reducer-antalet och kluster-efter-kolumnen från tabelldefinitionen.
Steg 1) Skapa hink som visas nedan.
Skärmen nedan visar CREATE TABLE-satsen för provhink, med CLUSTERED BY-klausulen längst ner som fastställer antalet buckets.
Från ovanstående skärmdump
- Vi skapar samplebucket med kolumnnamn som förnamn, jobb-id, avdelning, lön och land.
- Vi skapar fyra hinkar här
- När informationen har laddats placeras den automatiskt i fyra buckets.
- Landskolumnen är klusterkolumnen, så varje rad för ett land skrivs till samma bucketfil
Steg 2) Laddar data till tabellens exempelbucket
Om vi antar att tabellen "employees" redan är skapad i Hive-systemet, kommer vi i det här steget att se hur data från tabellen "employees" laddas till tabellen samplebucket.
Innan vi börjar flytta anställdas data till buckets, se till att den består av kolumnnamn som förnamn, jobb-id, avdelning, lön och land.
Här laddar vi data till samplebucket från tabellen employees – skärmen nedan visar INSERT OVERWRITE-satsen som utför kopieringen.
Steg 3) Visar de fyra buckets som skapades i steg 1
Om man listar tabellkatalogen i HDFS visas det fysiska resultatet: fyra numrerade datafiler istället för en.
Från skärmdumpen ovan kan vi se att data från tabellen medarbetare överförs till de fyra buckets som skapades i steg 1.
Hive-partitionering vs. Bucketing: Viktiga skillnader
Båda funktionerna delar upp en tabell i mindre delar, men de gör det på olika nivåer i filsystemet och de besvarar olika problem. Tabellen nedan ställer dem sida vid sida.
| Punkt av jämförelse | partitione~~POS=TRUNC | Bucketing |
|---|---|---|
| Enhet skapad | En katalog per nyckelvärde | En fil per hash-bucket |
| Deklarerad med | PARTITIONERAD AV | KLUSTERAD AV … I n SKINKER |
| Antal bitar | Växer med antalet distinkta värden | Åtgärdat vid tabellskapande |
| Kolumn lagrad i datafiler | Nej – värdet finns i katalognamnet | Ja – kolumnen förblir en vanlig kolumn |
| Bästa kolumntyp | Låg kardinalitet, såsom delstat, år eller land | Hög kardinalitet, såsom user_id eller transaction_id |
| Huvudfördel | Partitionsrensning hoppar över onödiga kataloger | Jämna filstorlekar, billig sampling och kartsideskopplingar |
De två är inte rivaler. En vanlig produktionslayout partitionerar en faktatabell efter datum och hinkar sedan varje dag på join-nyckeln, så en fråga beskärs till en katalog och joiner sedan hink-till-hink inuti den.
När man ska använda partitionering, bucketing eller båda
Valet mellan dem börjar med kolumnens kardinalitet och formen på de frågor som ska läsa tabellen.
- Dela när frågor nästan alltid filtrerar på samma kolumn med låg kardinalitet, och när antalet distinkta värden stannar i hundratals snarare än miljontals
- Bucket när den användbara kolumnen har för många distinkta värden för att vara en katalog, eller när tabellen kopplas eller samplas upprepade gånger på den kolumnen.
- Använd båda för stora faktatabeller: partitionera på datumet, sedan hink inuti varje partition på kopplingsnyckeln
Det felläge man bör hålla utkik efter är problemet med små filer. Partitionering på en kolumn med mycket hög kardinalitet – en tidsstämpel eller en kundidentifierare – producerar tusentals små kataloger, där var och en innehåller en fil långt under HDFS-blockstorleken. Det blåser upp NameNode-minnet och gör varje skanning långsammare, vilket är precis det resultat partitioneringen var avsedd att förhindra. Bucketing undviker detta eftersom filantalet begränsas av tabelldefinitionen.
Bucketing har sin egen förbehåll: layouten är bara korrekt om alla skribenter följer den. Antalet buckets som deklareras vid skapandet är metadata, så ett jobb som skriver till tabellen utan att klustra korrekt kan lämna filer som inte matchar den deklarerade layouten, och senare sampling eller bucket joins kommer att läsa fel rader.







