Taru andmetüübid: tarus andmebaaside loomine ja eemaldamine

Andmetüübid on Hive'i päringukeeles ja andmete modelleerimisel väga olulised elemendid. Tabeli veergude tüüpide määratlemiseks peame teadma andmetüüpe ja nende kasutamist.

Järgnevalt antakse lühike ülevaade mõnest Hive'is esinevast andmetüübist:

• Numbrilised tüübid
• Stringi tüübid
• Kuupäeva/kellaaja tüübid
• Komplekssed tüübid

Andmetüübid tarus

Iga Hive'i veerg deklareeritakse ühe alloleva tüübiga. Esimesena tulevad lihttüübid, millele järgnevad keerukamad tüübid, mis sisaldavad ühes veerus rohkem kui ühte väärtust.

Taru numbrilised andmetüübid

Numbriliste veergude suurus on ühest baidist kaheksa baitini, seega väärtustele sobivaima väikseima tüübi valimine hoiab nii salvestus- kui ka skannimiskulud madalad.

Taru stringi andmetüübid

Märgiveerud on kolme kujuga ja erinevus seisneb selles, kas Hive jõustab deklareeritud pikkuse.

Taru kuupäeva/kellaaja andmetüübid

Ajalised veerud salvestatakse ilma ajavööndi nihketa, mida tasub meeles pidada enne erinevate klastrite kirjutatud väärtuste võrdlemist.

Taru muud andmetüübid

Kaks täiendavat primitiivi asuvad väljaspool numbri-, stringi- ja kuupäevaperekondi, kuid esinevad regulaarselt reaalsetes skeemides.

Taru keerulised andmetüübid

Komplekssed tüübid pesastavad väärtused ühte veergu, mis eemaldab lisaliite, mida relatsiooniline disain vajaks.

Näide taru keerukatest andmetüüpidest

Ülaltoodud tabel annab deklaratsiooni vormi. Allolev lause koondab kolm keerukat tüüpi ühte tabelisse, nii et eraldajaklausleid ja juurdepääsusüntaksit saab koos näha.

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

Siin on vaja kolme eraldi eraldajat: üks veergude vahel, teine ​​massiivi ARRAY või STRUCT elementide vahel ja kolmas MAP-võtme ja selle väärtuse vahel. Kui tabel on olemas, loetakse iga kompleksveerg omaenda aksessori abil.

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

Allolev tabel võtab kokku, milline ligipääsusüsteem millisesse tüüpi kuulub.

Komplekssed tüübid võivad olla pesastatud, seega ARRAY > on kehtiv veerudeklaratsioon. Kui veerupaigutus on paika pandud, luuakse tabelid ise punktis käsitletud lausetega. Taru loomine, muutmine ja tabeli kustutamine.

Kuidas luua ja kustutada andmebaase tarus

Hive'i andmebaas on lihtsalt nimeruum, mis rühmitab tabeleid, seega on see esimene objekt, mis enne tabelitega töötamise alustamist luuakse. Järgnevalt on toodud sammud andmebaaside loomiseks ja kustutamiseks Hive'is.

1. samm) Looge andmebaas Hive'is

Hive'i kestas andmebaasi loomiseks peame kasutama allolevas süntaksis näidatud käsku:

süntaksit:

Create database <DatabaseName>

Näide: Loo andmebaas „guru99”

Allolev ekraanipilt näitab loomise käsku, millele järgneb show-käsk, mis loetleb kõik klastri andmebaasid.

Ülaltoodud ekraanipildi põhjal teeme kahte asja:

1. Andmebaasi “guru99” loomine tarus
2. Olemasolevate andmebaaside kuvamine käsuga „show”

Samal ekraanil kuvatakse show käsu käivitamisel lõpus andmebaas „guru99”, mis tähendab, et andmebaas „guru99” on edukalt loodud.

2. samm) Andmebaasi kustutamine tarus

Tilga jaoksping Hive'i kestas oleva andmebaasi puhul peame kasutama käsku „drop”, nagu on näidatud allolevas süntaksis:

süntaksit:

Drop database <DatabaseName>

Näide: Andmebaasi guru99 kustutamine

Järgmisel ekraanipildil käivitatakse esmalt drop-lause ja järgnev show-käsk ei loetle enam andmebaasi.

Ülaltoodud ekraanipildil teeme kahte asja:

1. Me oleme langusesping andmebaas 'guru99' Hive'ist
2. Sama ristkontroll käsuga „show”

Samal ekraanil, pärast andmebaaside kontrollimist käsuga show, ei ilmu Hive'i andmebaasi „guru99“. Seega saame nüüd kinnitada, et andmebaas „guru99“ on kustutatud.

Taru andmebaasi käsud: USE, DESCRIBE, SHOW ja ALTER DATABASE

Kaks ülaltoodud lauset kasutavad oma lühimat vormi. Dokumenteeritud süntaks sisaldab valikulisi klausleid, mis otsustavad, kuhu failid maanduvad ja mis juhtub, kui nimi on juba võetud.

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

Märksõnad DATABASE ja SCHEMA on kogu käsus omavahel asendatavad, seega teevad CREATE SCHEMA ja CREATE DATABASE täpselt sama asja. Ülejäänud käsud täiendavad igapäevast tööd nimeruumiga.

Tasub meelde jätta kaks vaikesätet. Ilma LOCATION-klauslita asuvad failid andmeladu kataloogis, tavaliselt /user/hive/warehouse/andmebaasi_nimi.db, ja ilma IF EXISTS-klauslita tekitab puuduva nime puhul kustutamine vea, selle asemel et vaikselt edastada. Mõlemad sätted asuvad kaustas Taru metapood.

Taru andmetüübi teisendamine ja levinud vead

Tüüpe ei kasutata alati täpselt nii, nagu deklareeritud. Hive laiendab väärtust automaatselt, kui teavet ei saa kaotada, ja jätab kõik muu selgesõnalise teisenduse hooleks.

• Kaudne laiendamine järgneb ahelale TINYINT-ist SMALLINT-iks, seejärel INT-iks, seejärel BIGINT-iks, seejärel FLOAT-iks ja DOUBLE-iks ning numbreid sisaldav STRING edutatakse DOUBLE-iks.
• Kitsendamine ei toimu kunagi iseenesest, seega vajab INT-veerule määratud DOUBLE kirjalikku teisendust.
• CAST teostab selle kirjaliku teisenduse ja tagastab väärtuse NULL, mitte vea, kui väärtust ei saa teisendada.

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

Allpool olevad vead seletavad enamiku üllatusi, millega algajad oma esimese skeemi koostamisel kokku puutuvad.

Kui tüübid on käitunud, on järgmine samm andmete laadimine ja päringute tegemine, mida käsitletakse jaotises Taru päringud järjestuspõhimõtte (Order By), rühmitamise (Group By) ja Cluster By.

KKK