Kuinka asentaa HIVE Ubuntu (Lataus- ja asennusopas)

Ennen Apache Hiven asennusta tarvitsemme erillisen Hadoop asennus on valmis ja käynnissä kaikkien Hadoop-daemonien kanssa.

Hadoopin asennusta varten tarkista tämä linkkiä.

Kun kaikki Hadoop-taustaprosessit toimivat oikein, aloita Hive-osan asennus. Alla oleva ohje etenee neljässä vaiheessa:

Apache Hiven asennusprosessi

1. Edellytykset ja versioiden yhteensopivuus
2. Hiven asennus
3. Metastore-skeeman alustus
4. Hive shell komennot

Apache Hiven asentamisen edellytykset Ubuntu

Hive ei ole erillinen tietokanta. Se on kyselykerros, joka muuntaa HiveQL:n olemassa olevassa klusterissa suoritettaviksi töiksi, joten lähes jokainen epäonnistunut asennus tracpalauttaa puuttuvaan edellytykseen eikä itse Hiveen. Vahvista seuraavat asiat ennen minkään lataamista:

• Tuettu JDK. Hive 4.1.x toimii JDK 17:llä, kun taas Hive 4.2.x nostaa vähimmäisvaatimuksen JDK 21:een. Tarkista versio kohdasta java -versio ja varmista, että JAVA_HOME on viety.
• Käynnissä oleva Hadoop-klusteri. Sekä NameNode- että DataNode-solmujen on oltava aktiivisia. Suorita jps ja varmista, että NameNode, DataNode, ResourceManager ja NodeManager näkyvät kaikki luettelossa.
• Kirjoitusoikeudet HDFS:ään. Hiven käynnistävällä tilillä on oltava oikeus luoda hakemistoja alla HDFS.
• Yhteensopivat versiot. Hive 4.2.0 on rakennettu Hadoop 3.4.1:n ja Tez 0.10.5:n pohjalta. Hive 3.x -linjan elinkaari päättyi lokakuussa 2024, joten uuden asennuksen tulisi kohdistua 4.x-linjaan.
• Ilmaisia ​​resursseja. Yhden solmun oppimisympäristö on kätevä, ja siinä on noin 4 Gt RAM-muistia ja 20 Gt vapaata levytilaa.

Kun nuo ruudut on valittu, alla oleva lataus- ja purkamisjärjestys sujuu ilman yllätyksiä.

Hiven asentaminen Ubuntu

Alla on vaiheittainen prosessi Hiven asentamiseen Ubuntu:

Vaihe 1) Lataa ja asenna Hive päälle Ubuntu

Hive-vakaan asennuksen lataamiseksi katso Apache URL kuten alla mainitaan.

https://www.apache.org/dyn/closer.cgi/hive/ — mene kohtaan URL ja valitse Apache-peilin latauslinkki. Apache Hiven lataussivu listaa, mitkä julkaisuversiot sopivat yhteen minkäkin Hadoop-version kanssa.

Peilisivu avautuu ja näyttää luettelon käytettävissä olevista Hive-julkaisuhakemistoista, kuten alla on esitetty.

Valitse Hive-asennuksen uusin versio. (Minun tapauksessani se on hive – 3.1.2.) Julkaisukansiossa luetellaan binääri- ja lähdekoodiarkistot rinnakkain.

Napsauta bin-tiedostoa ja lataus alkaa.

Vaihe 2) Esim.tractar-tiedosto

Siirry ladatun tar-tiedoston sijaintiin ja sitten extract tar-tiedostoa seuraavalla komennolla asentaaksesi Hiven Ubuntu järjestelmässäsi.

tar -xvf  apache-hive-3.1.2-bin.tar.gz

Pääte toistaa jokaisen tiedoston, kun se puretaan uuteen Hive-hakemistoon.

Vaihe 3) Aseta erilaiset määritysominaisuudet Apache Hiveen

Tässä vaiheessa teemme kaksi asiaa:

1. Hive-kotisivun polun sijoittaminen bashrc-tiedostoon
2. Hadoopin kotipolun sijainnin sijoittaminen hive-config.sh-tiedostoon

1) Mainitse Hive-polku tiedostossa ~/.bashrc

Avaa tiedosto muokattavaksi alla olevalla komennolla.

• Avaa bashrc-tiedosto yllä olevan kuvakaappauksen mukaisesti
• Mainitse Hive-kotihakemiston polku, eli HIVE_HOME-polku, bashrc-tiedostossa ja vie se alla olevan kuvan mukaisesti.

Code sijoitettava bashrciin:

export HIVE_HOME="/home/guru99hive/apache-hive-1.2.0-bin"
export PATH=$PATH:$HIVE_HOME/bin

Lataa tiedosto uudelleen käyttämällä lähde ~ / .bashrc joten uusi polku tulee voimaan nykyisessä pääteistunnossa.

2) Hadoop-polun vienti hive-config.sh-tiedostoon

Kommunikoidaksemme Hadoop-ekosysteemin kanssa määrittelemme Hadoopin kotipolun Hive-määritystiedostossa. Avaa hive-config.sh alla olevan kuvan mukaisesti.

Mainitse HADOOP_HOME-polku hive-config.sh-tiedostossa alla olevan kuvan mukaisesti.

Vaihe 4) Luo Hive-hakemistoja Hadoopissa

Kommunikoidaksemme Hadoopin kanssa meidän on luotava hakemistoja Hadoopissa alla olevan kuvan mukaisesti. Hive kirjoittaa hallittujen taulukoiden tiedot varastohakemistoon ja valmistelutulosteen tmp-hakemistoon.

Annetaan pääkäyttäjän oikeudet Hive-kansioiden luomiseen Hadoopissa. Jos virheilmoitusta ei tule, Hadoop on myöntänyt Hive-kansioiden käyttöoikeudet onnistuneesti.

Vaihe 5) Siirry Hive-kuoreen

Pääset Hive-kuoreen syöttämällä '. /pesä' komento alla olevan kuvan mukaisesti.

Hive-metatallennusrakenteen alustaminen

Hive säilyttää jokaisen taulukon nimen, sarakkeen nimen ja tietotyypin relaatiosäilössä, jota kutsutaan metastore-nimiseksi. Uudessa asennuksessa tämä säilö on tyhjä, ja Hive 3.x:stä alkaen komentotulkki kieltäytyy käynnistymästä, ennen kuin skeemataulukot ovat olemassa. Hive bin -hakemistossa toimitettava schematool-apuohjelma luo ne.

Yhden käyttäjän oppimisympäristöön riittää Derbyn mukana tuleva tietokanta:

$HIVE_HOME/bin/schematool -dbType derby -initSchema

Komento tulostaa luomansa skeemaversion ja päättyy tekstiin schemaTool valmisDerby kirjoittaa tiedostonsa siihen hakemistoon, josta komento suoritettiin, joten käynnistä Hive aina samasta hakemistosta jälkikäteen.

Derby hyväksyy vain yhden aktiivisen istunnon kerrallaan, mikä tekee siitä sopimattoman jaetulle klusterille. Point Hive osoitteessa MySQL sen sijaan lisäämällä yhteysominaisuudet hive-site.xml-tiedostoon ja suorittamalla työkalun uudelleen eri tietokantatyypillä:

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

Täydellinen ominaisuusluettelo ja ajurin sijoittelu on käsitelty oppaassa, jossa kerrotaan, miten Määritä Hive-metastore seuraavasti: MySQLKaksi muuta lippua on syytä muistaa:

• -tiedot raportoi metastoreen tallennetun skeemaversion muuttamatta mitään.
• -päivityskaavio siirtää olemassa olevan metastoren uuden Hive-julkaisun kaavaversioon.

Kun skeema on paikallaan, komentotulkki on valmis hyväksymään ensimmäisen HiveQL-lausekkeensa.

Hive shell komennot

Tässä luomme esimerkkitaulukon Hive-komennolla “create” ja sarakenimillä.

Esimerkkikoodia tietokannan luomiseen Hivessä. Alla oleva kuvakaappaus näyttää create-lausekkeen ja describe-tulosteen peräkkäin.

Yllä olevasta kuvakaappauksesta voimme havaita seuraavaa:

1) Sarakkeiden nimillä varustetun esimerkkitaulukon luominen Hivessä

• Tässä taulukon nimi on "tuote", jossa on kolme sarakkeen nimeä tuote, pname ja hinta
• Kolmen sarakkeen nimet on merkitty niiden vastaavalla tietotyypillä
• Kaikki kentät päättyvät pilkkuun ', '

2) Hive-taulukon tietojen näyttäminen

• Käyttämällä komentoa ”describe” voimme nähdä Hivessä olevat taulukon tiedot.
• Tässä näytetään sarakenimet ja niiden vastaavat tietotyypit taulukkokaaviossa.
• Lopuksi se näyttää komennon suorittamiseen kuluneen ajan ja noudettujen rivien määrän.

Esimerkkikoodi tietokannan luomiseksi Hive (itsetarkistusta varten)

1) Luo taulukko tuote(tuote kokonaisluku, pnimi merkkijono, hinta float)

Row format delimited
Fields terminated by ',';

2) kuvaile tuotetta;

Kun taulukko vastaa describe-käskyyn, shell, metastore ja HDFS kytketään yhteen. Tästä eteenpäin sama istunto hyväksyy laajemman luo, muuta ja poista taulukko lausunnot ja järjestyksessä, ryhmittele ja klusteroi kyselyitä.

Yleisiä Hive-asennusvirheitä Ubuntu ja kuinka korjata ne

Useimmat ensimmäisen käynnistyksen virheet johtuvat Hiveä ympäröivästä ympäristöstä eivätkä itse Hivestä. Alla oleva taulukko yhdistää useimmin esiintyvät viestit niiden syyhyn ja komentoon, joka poistaa ne.

Nopea tapa erottaa Hive-ongelma Hadoop-ongelmasta on suorittaa jps ensin. Jos daemonit puuttuvat, vika on klusterissa; jos ne ovat läsnä ja komentotulkki epäonnistuu silti, vika on Hive-kokoonpanossa tai metastore-skeemassa. Kun komentotulkki on vakaa, HiveQL-operaattorit ja sisäänrakennetut funktiot viittaus on luonnollinen seuraava pysäkki.

UKK