Hive-partitioner och hinkar med exempel

⚡ Smart sammanfattning

Partitioner och buckets är de två sätten Apache Hive delar upp tabelldata på disk: en partition skapar en katalog per nyckelvärde, medan en bucket hashar rader till ett fast antal filer.

  • 🗂️ Partitionen är en katalog: Varje distinkt värde för partitionsnyckeln blir en egen underkatalog under tabellmappen i HDFS.
  • ✂️ Beskärning av skiljeväggar: En fråga som filtrerar på partitionsnyckeln läser bara matchande kataloger istället för att skanna hela tabellen.
  • ⚙️ Dynamiskt läge krävs: För att läsa in många partitioner från en SELECT-partition måste hive.exec.dynamic.partition.mode vara inställt på nonstrict.
  • 🧮 Bucket är en fil: KLUSTERAD AV hashar den valda kolumnen och skriver varje rad till en av ett fast antal filer.
  • 🔍 Sampling och kopplingar: Bucket-tabeller stöder effektiva TABLESAMPLE-läsningar och bucket-kopplingar på kartsidan som vanliga tabeller inte kan.
  • 📐 Välj efter kardinalitet: Partitionera på kolumner med låg kardinalitet, till exempel tillstånd eller datum, och hinkade kolumner med hög kardinalitet, till exempel användar-ID:er.

Hive-partitioner och buckets förklarade med ett fungerande exempel

Tabeller, partitioner och hinkar är delarna av Hive-datamodellering. En tabell definierar schemat, en partition delar upp tabellen i kataloger på disken och en hink delar upp data i en katalog i ett fast antal filer.

Vad är partitioner?

Hive-partitioner är ett sätt att organisera tabeller i partitioner genom att dela upp tabeller i olika delar baserat på partitionsnycklar. Fysiskt sett är varje partition en separat underkatalog under tabellmappen i HDFS, vilket gör att Hive kan hoppa över data som den inte behöver.

Partitionering är användbart när tabellen har en eller flera partitionsnycklar. Partitionsnycklar är grundläggande element för att bestämma hur data lagras i tabellen. En partitionsnyckel lagras inte inuti själva datafilerna – dess värde är kodat i katalognamnet, så en frågefiltrering på den nyckeln kan ignorera hela kataloger innan någon rad läses. Detta kallas partitionsrensning.

Till exempel: –

"Klienten har e-handelsdata som tillhör indiska operationer där varje delstatsoperation (38 delstater) nämns som en helhet. Om vi ​​tar delstatskolumnen som partitionsnyckel och utför partitioner på den indiska datan som helhet kan vi få antalet partitioner (38 partitioner) vilket är lika med antalet delstater (38) som finns i Indien. Så att varje delstatsdata kan visas separat i partitionstabeller."

Prov Code Snippet för partitioner

De sex satserna nedan körs i ordning i Hive-skalet. Varje sats är ett separat steg, och skärmdumparna som följer visar samma sekvens som körs på ett livekluster.

  1. Skapande av tabellen allstates
    create table allstates(state string, District string,Enrolments string)
    
    row format delimited
    
    fields terminated by ',';
    
  2. Laddar data till den skapade tabellen allstates
    Load data local inpath '/home/hduser/Desktop/AllStates.csv' into table allstates;
  3. Skapande av partitionstabell
    create table state_part(District string,Enrolments string) PARTITIONED BY(state string);
  4. För partition måste vi ställa in den här egenskapen
    set hive.exec.dynamic.partition.mode=nonstrict
  5. Laddar data till partitionstabellen
    INSERT OVERWRITE TABLE state_part PARTITION(state)
    SELECT district,enrolments,state from  allstates;
  6. Faktisk bearbetning och bildning av partitionstabeller baserat på status som partitionsnyckel

Det kommer att finnas 38 partitionsutgångar i HDFS-lagringen med filnamnet som tillståndsnamn. Vi kommer att kontrollera detta i det här steget.

Följande skärmdumpar visar hur ovan nämnda kod körs.

På den första skärmen körs steg 1 vid bikupa> uppmana och skapar alla stater tabell med dess tre kolumner och ett kommatecken som fältavgränsare.

Hive-skal skapar allstates-tabellen med tre avgränsade kolumner

Nästa skärm täcker steg 2 och 3: AllStates.csv-filen laddas in i alla stateroch den partitionerade tabellen delstatsdel skapas med state deklarerat som partitionsnyckel.

Laddar AllStates.csv till allstates och skapar den partitionerade tabellen state_part

Steg 4 och 5 visas härnäst. Dynamiskt partitionsläge är inställt på icke-strikt, och INSERT OVERWRITE-satsen startar ett MapReduce-jobb vars logglinjer visar att en partition laddas för varje tillståndsvärde.

MapReduce-jobbets utdata laddar en Hive-partition per tillståndsvärde

Att lista lagerkatalogen i HDFS bekräftar resultatet av steg 6 – skalet rapporterar 38 objekt, varav ett delstatsdel/delstat= katalog per stat.

HDFS-lista som visar 38 state_part-part-partionskataloger i Hive-lagret

Från ovanstående kod gör vi följande saker

  1. Skapande av tabellen allstates med 3 kolumnnamn som stat, distrikt och inskrivningar
  2. Läser in data i tabellen allstates
  3. Skapande av partitionstabell med tillstånd som partitionsnyckel
  4. I det här steget ställer du in partitionsläget som icke-strikt (detta läge aktiverar dynamiskt partitionsläge)
  5. Läser in data i partitionstabellen state_part
  6. Faktisk bearbetning och bildning av partitionstabeller baserat på status som partitionsnyckel
  7. Det kommer att finnas 38 partitionsutgångar i HDFS-lagring med filnamnet som tillståndsnamn. I det här steget ser vi de 38 partitionsutgångarna i HDFS.

Statisk vs dynamisk partitionering i Hive

Det bearbetade exemplet ovan använder dynamisk partitionering, men Hive stöder två laddningsstilar och skillnaden avgör hur mycket typing – och hur mycket risk – varje last medför.

Statisk partitionering namnger partitionsvärdet i själva satsen, så värdet måste vara känt innan inläsningen körs och en sats fyller exakt en partition. Dynamisk partitionering låter Hive läsa partitionsvärdet från den sista kolumnen i SELECT-listan och skapa katalogerna vid körning, vilket är anledningen till att exemplet bara behöver en enda INSERT för att producera 38 kataloger.

Aspect Statisk partitionering Dynamisk partitionering
Partitionsvärde Tillhandahålls för hand i PARTITION-klausulen Läs vid körning från SELECT-kolumnen
Partitioner per sats One Många
konfiguration Fungerar i standardläget för strikt Behöver hive.exec.dynamic.partition.mode inställt på nonstrict
Last hastighet Snabbare, eftersom ingen värdeskanning behövs Långsammare, eftersom jobbet grupperar rader efter nyckel
Passar bäst till Små, kända uppsättningar som en daglig belastning Stora eller okända nyckeluppsättningar som 38 tillstånd

Dynamiska belastningar är också begränsade. Hive begränsar hur många partitioner ett jobb kan skapa – som standard 100 per mapper eller reducer och 1000 för hela satsen – och jobbet misslyckas när något av gränserna överskrids, så en nyckel med mycket hög kardinalitet behöver dessa gränser höjas eller en annan design.

Vad är Buckets?

Buckets i Hive används för att segregera Hive-tabelldata till flera filer eller kataloger. De används för effektiva frågor, och till skillnad från en partition är antalet buckets fast när tabellen skapas, så den växer aldrig med datan.

  • Data som finns i dessa partitioner kan delas upp ytterligare i buckets (hinks)
  • Uppdelningen utförs baserat på hash av specifika kolumner som vi valt i tabellen.
  • Buckets använder någon form av hash-algoritm i backend för att läsa varje post och placera den i buckets.
  • Vilken hink en rad landar i bestäms av hash_function(bucketing_column) mod num_buckets, så lika värden hamnar alltid i samma fil
  • På Hive 0.x och 1.x var bucketing tvunget att aktiveras med sätt hive.enforce.bucketing=true; före insatsen

Den sista inställningen är historik för ett aktuellt kluster: Apache Hive-manualen Observera att det inte behövs från och med Hive 2.x, eftersom motorn nu automatiskt väljer reducer-antalet och kluster-efter-kolumnen från tabelldefinitionen.

Steg 1) Skapa hink som visas nedan.

Skärmen nedan visar CREATE TABLE-satsen för provhink, med CLUSTERED BY-klausulen längst ner som fastställer antalet buckets.

Hive CREATE TABLE-sats klustrar samplebucket i fyra buckets

Från ovanstående skärmdump

  • Vi skapar samplebucket med kolumnnamn som förnamn, jobb-id, avdelning, lön och land.
  • Vi skapar fyra hinkar här
  • När informationen har laddats placeras den automatiskt i fyra buckets.
  • Landskolumnen är klusterkolumnen, så varje rad för ett land skrivs till samma bucketfil

Steg 2) Laddar data till tabellens exempelbucket

Om vi ​​antar att tabellen "employees" redan är skapad i Hive-systemet, kommer vi i det här steget att se hur data från tabellen "employees" laddas till tabellen samplebucket.

Innan vi börjar flytta anställdas data till buckets, se till att den består av kolumnnamn som förnamn, jobb-id, avdelning, lön och land.

Här laddar vi data till samplebucket från tabellen employees – skärmen nedan visar INSERT OVERWRITE-satsen som utför kopieringen.

INSERT OVERWRITE-satsen kopierar anställdas rader till samplebucket-tabellen

Steg 3) Visar de fyra buckets som skapades i steg 1

Om man listar tabellkatalogen i HDFS visas det fysiska resultatet: fyra numrerade datafiler istället för en.

HDFS-lista över de fyra bucketfilerna som skapats under samplebucket-katalogen

Från skärmdumpen ovan kan vi se att data från tabellen medarbetare överförs till de fyra buckets som skapades i steg 1.

Hive-partitionering vs. Bucketing: Viktiga skillnader

Båda funktionerna delar upp en tabell i mindre delar, men de gör det på olika nivåer i filsystemet och de besvarar olika problem. Tabellen nedan ställer dem sida vid sida.

Punkt av jämförelse partitione~~POS=TRUNC Bucketing
Enhet skapad En katalog per nyckelvärde En fil per hash-bucket
Deklarerad med PARTITIONERAD AV KLUSTERAD AV … I n SKINKER
Antal bitar Växer med antalet distinkta värden Åtgärdat vid tabellskapande
Kolumn lagrad i datafiler Nej – värdet finns i katalognamnet Ja – kolumnen förblir en vanlig kolumn
Bästa kolumntyp Låg kardinalitet, såsom delstat, år eller land Hög kardinalitet, såsom user_id eller transaction_id
Huvudfördel Partitionsrensning hoppar över onödiga kataloger Jämna filstorlekar, billig sampling och kartsideskopplingar

De två är inte rivaler. En vanlig produktionslayout partitionerar en faktatabell efter datum och hinkar sedan varje dag på join-nyckeln, så en fråga beskärs till en katalog och joiner sedan hink-till-hink inuti den.

När man ska använda partitionering, bucketing eller båda

Valet mellan dem börjar med kolumnens kardinalitet och formen på de frågor som ska läsa tabellen.

  • Dela när frågor nästan alltid filtrerar på samma kolumn med låg kardinalitet, och när antalet distinkta värden stannar i hundratals snarare än miljontals
  • Bucket när den användbara kolumnen har för många distinkta värden för att vara en katalog, eller när tabellen kopplas eller samplas upprepade gånger på den kolumnen.
  • Använd båda för stora faktatabeller: partitionera på datumet, sedan hink inuti varje partition på kopplingsnyckeln

Det felläge man bör hålla utkik efter är problemet med små filer. Partitionering på en kolumn med mycket hög kardinalitet – en tidsstämpel eller en kundidentifierare – producerar tusentals små kataloger, där var och en innehåller en fil långt under HDFS-blockstorleken. Det blåser upp NameNode-minnet och gör varje skanning långsammare, vilket är precis det resultat partitioneringen var avsedd att förhindra. Bucketing undviker detta eftersom filantalet begränsas av tabelldefinitionen.

Bucketing har sin egen förbehåll: layouten är bara korrekt om alla skribenter följer den. Antalet buckets som deklareras vid skapandet är metadata, så ett jobb som skriver till tabellen utan att klustra korrekt kan lämna filer som inte matchar den deklarerade layouten, och senare sampling eller bucket joins kommer att läsa fel rader.

Vanliga frågor

Kör SHOW PARTITIONS table_name i Hive-skalet. Det läser metaarkivet och skriver ut en rad per partitionskatalog, vilket är snabbare än att lista datalagersökvägen i HDFS och bekräftar också att metaarkivet är synkroniserat.

ALTER TABLE table_name ADD PARTITION (state='Goa') registrerar en ny katalog och ALTER TABLE table_name DROP PARTITION (state='Goa') tar bort den.ping en hanterad partition tar bort sina data, medan den släpperping en extern rensar bara metaarkivposten.

Hive begränsar dynamiska partitioner till 100 per nod och 1000 per kommando som standard. En nyckel med mer distinkta värden överskrider gränsen och avslutar jobbet. Öka hive.exec.max.dynamic.partitions.pernode och hive.exec.max.dynamic.partitions, eller välj en grövre nyckel.

Nej. Det behövdes i Hive 0.x och 1.x för att tvinga reducer-antalet att matcha bucket-antalet. HIVE-12331 tog bort det i Hive 2.0, och motorn härleder nu både reducer-antalet och kluster-efter-kolumnen från tabellen.

TABLESAMPLE(BUCKET x OUT OF y ON kolumn) läser bara matchande bucketfiler istället för att skanna allt. Eftersom raderna hashades på samma kolumn vid skrivtillfället är urvalet repeterbart och mycket billigare än ett slumpmässigt radfilter.

Att dela upp en tabell i tusentals små filer slösar bort NameNode-minne och startar en uppgift per fil, så skanningar blir långsammare. Den följer vanligtvis en partitionsnyckel med mycket hög kardinalitet. Grovare nycklar, bucketing eller filkomprimering åtgärdar det.

Ja. Analys av frågeloggar och maskininlärningsmodeller i verktyg som Cloudera Workload XM rangordnar kolumner efter filterfrekvens, skevhet och kardinalitet och föreslår sedan en layout. Förslaget behöver fortfarande granskas eftersom det inte kan se planerade arbetsbelastningar.

Copilot utarbetar snabbt PARTITIONED BY- och CLUSTERED BY-satser från en kommentar, och agentassistenter kan generera ett helt laddningsskript. Kontrollera alltid det genererade antalet buckets och nyckeln mot den verkliga kardinaliteten, eftersom modellen gissar enbart från namn.

Sammanfatta detta inlägg med: