Jak nainstalovat HBase Ubuntu (Instalace HBase)

Režimy instalace Apache HBase

Apache HBase lze nainstalovat ve třech režimech. Vlastnosti těchto režimů jsou uvedeny níže.

1) Instalace v samostatném režimu (žádná závislost na systému Hadoop)

• Toto je výchozí režim HBase
• Běží proti místnímu souborovému systému
• Nepoužívá se Hadoop HDFS
• Spustit může pouze démon HMaster
• Nedoporučuje se pro produkční prostředí
• Běží v jediném JVM

2) Instalace v pseudo-distribuovaném režimu (jednouzlový systém Hadoop + instalace HBase)

• Běží dál Hadoop HDFS
• Všichni démoni běží v jednom uzlu
• Doporučeno pro produkční prostředí

3) Instalace v plně distribuovaném režimu (prostředí MultinodeHadoop + instalace HBase)

• Běží dál Hadoop HDFS
• Všichni démoni budou běžet napříč všemi uzly přítomnými v clusteru
• Vysoce doporučeno pro produkční prostředí

Pro instalaci Hadoopu se podívejte na toto URL Zde

Jak stáhnout stabilní verzi souboru HBase tar

Krok 1) Přejít na odkaz zde ke stažení HBase. Otevře se webová stránka, jak je uvedeno níže.

Krok 2) Vyberte stabilní verzi, jak je uvedeno níže Verze 1.1.2

Krok 3) Klikněte na hbase-1.1.2-bin.tar.gz. Stáhne se soubor tar. Zkopírujte soubor tar do umístění instalace.

Jak nainstalovat HBase do Ubuntu se samostatným režimem

Zde je krok za krokem postup instalace samostatného režimu HBase Ubuntu:

Krok 1) Zadejte níže uvedený příkaz
Umístěte hbase-1.1.2-bin.tar.gz do /home/hduser
Krok 2) Rozbalte jej spuštěním příkazu $tar -xvf hbase-1.1.2-bin.tar.gz.
Rozbalí obsah a vytvoří hbase-1.1.2 v umístění /home/hduser

Krok 3) Otevřete hbase-env.sh
Otevřete hbase-env.sh jako níže a v umístění uveďte cestu JAVA_HOME.

Krok 4) Otevřete soubor a uveďte cestu
Otevřete soubor ~/.bashrc a uveďte cestu HBASE_HOME, jak je uvedeno níže

exportovat HBASE_HOME=/home/hduser/hbase-1.1.1 export PATH= $PATH:$HBASE_HOME/bin

Krok 5) Přidejte vlastnosti do souboru
Otevřete soubor hbase-site.xml a do souboru umístěte následující vlastnosti

hduser@ubuntu$ gedit hbase-site.xml (kód níže)

<property>

<name>hbase.rootdir</name>

<value>file:///home/hduser/HBASE/hbase</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/HBASE/zookeeper</value>

</property>

Zde umístíme dvě vlastnosti

• Jeden pro kořenový adresář HBase a
• Druhý pro datový adresář odpovídá ZooKeeperu.

Všechny aktivity HMaster a ZooKeeper poukazují na tento hbase-site.xml.

Krok 6) Uveďte IP adresy
Otevřete soubor hosts přítomný v /etc. umístění a uveďte IP adresy, jak je uvedeno níže.

Krok 7) Nyní spusťte Start-hbase.sh v umístění hbase-1.1.1/bin, jak je znázorněno níže.

A můžeme zkontrolovat pomocí příkazu jps, zda HMaster běží nebo ne.

Krok 8) Spusťte HBase Shell
Shell HBase lze spustit pomocí „shell hbase“ a přejde do režimu interaktivního shellu, jak je znázorněno na obrázku níže. Jakmile vstoupí do režimu shellu, můžeme provádět všechny typy příkazů.

Samostatný režim nevyžaduje spuštění démonů Hadoop. HBase může běžet nezávisle.

HBase Pseudo Distributed Mode instalace

Toto je další způsob instalace Apache HBase, známý jako Pseudo Distributed Mode of Installation.
Níže jsou uvedeny kroky k instalaci HBase prostřednictvím Pseudo Distributed režimu:

Krok 1) Umístěte hbase-1.1.2-bin.tar.gz do /home/hduser

Krok 2) Rozbalte jej spuštěním příkazu $tar -xvf hbase-1.1.2-bin.tar.gz. Rozbalí obsah a vytvoří hbase-1.1.2 v umístění /home/hduser

Krok 3) Otevřete hbase-env.sh následujícím způsobem a uveďte cestu JAVA_HOME a cestu serverů regionu v umístění a exportujte příkaz, jak je znázorněno

Krok 4) V tomto kroku otevřeme soubor ~/.bashrc a zmíníme cestu HBASE_HOME, jak je znázorněno na snímku obrazovky.

Krok 5) Otevřete soubor HBase-site.xml a uveďte v něm níže uvedené vlastnosti.Code jak je uvedeno níže)

<property>

<name>hbase.rootdir</name>

<value>hdfs://localhost:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>localhost</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/hbase/zookeeper</value>

</property>

1. Nastavení kořenového adresáře Hbase v této vlastnosti
2. Pro distribuované nastavení musíme tuto vlastnost nastavit
3. Zde by měla být nastavena vlastnost kvora ZooKeeper
4. Nastavení replikace provedeno v této vlastnosti. Ve výchozím nastavení umísťujeme replikaci jako 1. V plně distribuovaném režimu je přítomno více datových uzlů, takže můžeme zvýšit replikaci umístěním více než 1 hodnoty do vlastnosti dfs.replication
5. V této vlastnosti by měl být uveden klientský port
6. V této vlastnosti lze zmínit datový adresář ZooKeeper

Krok 6) Nejprve spusťte démony Hadoop a poté spusťte démony HBase, jak je znázorněno níže

Zde musíte nejprve spustit Hadoop démony pomocí„./start-all.sh“ příkaz, jak je znázorněno níže.

Po spuštění démonů Hbase pomocí hbase-start.sh

Nyní zkontrolujte jps

Instalace plně distribuovaného režimu HBase

• Toto nastavení bude fungovat v režimu clusteru Hadoop, kde se v clusteru vytvoří a běží více uzlů.
• Instalace je stejná jako v pseudodistribuovaném režimu; jediný rozdíl je v tom, že se vytvoří ve více uzlech.
• Konfigurační soubory uvedené v HBase-site.xml a hbase-env.sh jsou stejné jako v pseudo režimu.

Odstraňování problémů s instalací HBase

1) Prohlášení o problému: Hlavní server se inicializuje, ale servery regionů se neinicializují

Komunikace mezi hlavními a regionálními servery prostřednictvím jejich IP adres. Stejně jako způsob, jakým bude Master naslouchat, že regionální servery běží nebo mají IP adresu 127.0.0.1. Adresa IP 127.0.0.1, která je místním hostitelem a převádí se na vlastní místní hostitel hlavního serveru.

Způsobit:

Při duální komunikaci mezi regionálními servery a masterem regionální server průběžně informuje Master server o tom, že jejich IP adresy jsou 127.0.0.1.

Řešení:

• Musíte odstranit hlavní uzel názvu serveru z místního hostitele, který je přítomen v souboru hostitelů
• Umístění hostitelského souboru /etc/hosts

Co změnit:

Otevřete /etc./hosts a přejděte do tohoto umístění

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost
: : 1              localhost3.localdomain3 localdomain3

Upravte výše uvedenou konfiguraci jako níže (odeberte název serveru regionu, jak je zvýrazněno výše)

127.0.0.1    localhost.localdomainlocalhost
: : 1 localhost3.localdomain3 localdomain3

2) Prohlášení o problému: Nemohu najít svou adresu: XYZ v seznamu serverů kvora Zookeeper

Způsobit:

• Server ZooKeeper se nepodařilo spustit a v názvu serveru vyvolá chybu jako .xyz.
• HBase se pokouší spustit server ZooKeeper na nějakém počítači, ale zároveň stroj není schopen najít konfiguraci kvora, tj. HBase.zookeeper.quorum konfiguračního souboru.

Řešení:-

• Musíte nahradit název hostitele názvem hostitele, který je uveden v chybové zprávě
• Předpokládejme, že máme DNS server, pak můžeme nastavit níže uvedené konfigurace v HBase-site.xml.
  • Rozhraní HBase.zookeeper.dns
  • Jmenný server HBase.zookeeper.dns

3) Prohlášení o problému: Vytvořený kořenový adresář pro HBase prostřednictvím Hadoop DFS

• Master říká, že musíte spustit skript migrace HBase.
• Při spuštění to, skript migrace HBase reaguje jako žádné soubory v kořenovém adresáři.

Způsobit:

• Vytvoření nového adresáře pro použití HBase Hadoop Distribuovaný souborový systém
• Zde HBase očekává dvě možnosti

1) Kořenový adresář neexistuje

2) předchozí spuštěná instance HBase byla inicializována dříve

Řešení:

• Proveďte shodu, že kořenový adresář HBase aktuálně neexistuje nebo byl inicializován předchozím spuštěním instance HBase.
• V rámci řešení musíme postupovat podle kroků

Krok 1) Použití Hadoop dfs k odstranění kořenového adresáře HBase

Krok 2) HBase vytváří a inicializuje adresář sám

4) Vysvětlení problému: Události vypršení platnosti relace Zookeeper

Způsobit:

• Servery HMaster nebo HRegion se vypínají vyvoláním výjimek
• Pokud budeme sledovat protokoly, můžeme zjistit skutečné výjimky, které byly vyvolány

Následující text ukazuje výjimku vyvolanou kvůli události Zookeeper vypršela. Zvýrazněné události jsou některé z výjimek, ke kterým došlo v souboru protokolu

Kód souborů protokolu, jak je zobrazeno níže:

WARN org.apache.zookeeper.ClientCnxn: Exception
closing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ec

java.io.IOException: TIMED OUT	
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)
WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000
INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORT
INFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]
INFO org.apache.zookeeper.ClientCnxn: Server connection successful
WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65e

java.io.IOException: Session Expired	 
at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)
at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)
ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Řešení:

• Výchozí velikost paměti RAM je 1 GB. Pro provádění dlouhodobých importů jsme zachovali kapacitu paměti RAM větší než 1 GB.
• Je třeba prodloužit časový limit relace Ošetřovatel v zoo.
• Abychom prodloužili dobu relace mimo Zookeeper, musíme upravit následující vlastnost v „hbase-site.xml“, která se nachází v cestě ke složce hbase /conf.
• Výchozí časový limit relace je 60 sekund. Můžeme jej změnit na 120 sekund, jak je uvedeno níže

<property>
    <name> zookeeper.session.timeout </name>
    <value>1200000</value>
</property>
<property>
    <name> hbase.zookeeper.property.tickTime </name>
    <value>6000</value>
</property>