Jak nainstalovat HBase Ubuntu (Instalace HBase)
David Carter
Režimy instalace Apache HBase
Apache HBase lze nainstalovat ve třech režimech. Vlastnosti těchto režimů jsou uvedeny níže.
1) Instalace v samostatném režimu (žádná závislost na systému Hadoop)
- Toto je výchozí režim HBase
- Běží proti místnímu souborovému systému
- Nepoužívá se Hadoop HDFS
- Spustit může pouze démon HMaster
- Nedoporučuje se pro produkční prostředí
- Běží v jediném JVM
2) Instalace v pseudo-distribuovaném režimu (jednouzlový systém Hadoop + instalace HBase)
- Běží dál Hadoop HDFS
- Všichni démoni běží v jednom uzlu
- Doporučeno pro produkční prostředí
3) Instalace v plně distribuovaném režimu (prostředí MultinodeHadoop + instalace HBase)
- Běží dál Hadoop HDFS
- Všichni démoni budou běžet napříč všemi uzly přítomnými v clusteru
- Vysoce doporučeno pro produkční prostředí
Pro instalaci Hadoop přejděte na tuto adresu URL Zde
Jak stáhnout stabilní verzi souboru HBase tar
Krok 1) Přejít na odkaz zde ke stažení HBase. Otevře se webová stránka, jak je uvedeno níže.
Krok 2) Vyberte stabilní verzi, jak je uvedeno níže Verze 1.1.2
Krok 3) Klikněte na hbase-1.1.2-bin.tar.gz. Stáhne se soubor tar. Zkopírujte soubor tar do umístění instalace.
Jak nainstalovat HBase do Ubuntu se samostatným režimem
Zde je krok za krokem postup instalace samostatného režimu HBase Ubuntu:
Krok 1) Zadejte níže uvedený příkaz
Umístěte hbase-1.1.2-bin.tar.gz do /home/hduser
Krok 2) Rozbalte jej spuštěním příkazu $tar -xvf hbase-1.1.2-bin.tar.gz.
Rozbalí obsah a vytvoří hbase-1.1.2 v umístění /home/hduser
Krok 3) Otevřete hbase-env.sh
Otevřete hbase-env.sh jako níže a v umístění uveďte cestu JAVA_HOME.
Krok 4) Otevřete soubor a uveďte cestu
Otevřete soubor ~/.bashrc a uveďte cestu HBASE_HOME, jak je uvedeno níže
| exportovat HBASE_HOME=/home/hduser/hbase-1.1.1 export PATH= $PATH:$HBASE_HOME/bin |
Krok 5) Přidejte vlastnosti do souboru
Otevřete soubor hbase-site.xml a do souboru umístěte následující vlastnosti
hduser@ubuntu$ gedit hbase-site.xml (kód jako níže)
<property> <name>hbase.rootdir</name> <value>file:///home/hduser/HBASE/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hduser/HBASE/zookeeper</value> </property>
Zde umístíme dvě vlastnosti
- Jeden pro kořenový adresář HBase a
- Druhý pro datový adresář odpovídá ZooKeeperu.
Všechny aktivity HMaster a ZooKeeper poukazují na tento hbase-site.xml.
Krok 6) Uveďte IP adresy
Otevřete soubor hosts přítomný v /etc. umístění a uveďte IP adresy, jak je uvedeno níže.
Krok 7) Nyní spusťte Start-hbase.sh v umístění hbase-1.1.1/bin, jak je znázorněno níže.
A můžeme zkontrolovat pomocí příkazu jps, zda HMaster běží nebo ne.
Krok 8) Spusťte HBase Shell
Shell HBase lze spustit pomocí „shell hbase“ a přejde do režimu interaktivního shellu, jak je znázorněno na obrázku níže. Jakmile vstoupí do režimu shellu, můžeme provádět všechny typy příkazů.
Samostatný režim nevyžaduje spuštění démonů Hadoop. HBase může běžet nezávisle.
HBase Pseudo Distributed Mode instalace
Toto je další způsob instalace Apache HBase, známý jako Pseudo Distributed Mode of Installation.
Níže jsou uvedeny kroky k instalaci HBase prostřednictvím Pseudo Distributed režimu:
Krok 1) Umístěte hbase-1.1.2-bin.tar.gz do /home/hduser
Krok 2) Rozbalte jej spuštěním příkazu $tar -xvf hbase-1.1.2-bin.tar.gz. Rozbalí obsah a vytvoří hbase-1.1.2 v umístění /home/hduser
Krok 3) Otevřete hbase-env.sh následujícím způsobem a uveďte cestu JAVA_HOME a cestu serverů regionu v umístění a exportujte příkaz, jak je znázorněno
Krok 4) V tomto kroku otevřeme soubor ~/.bashrc a zmíníme cestu HBASE_HOME, jak je znázorněno na snímku obrazovky.
Krok 5) Otevřete HBase-site.xml a v souboru uveďte níže uvedené vlastnosti. (Kód jako níže)
<property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hduser/hbase/zookeeper</value> </property>
- Nastavení kořenového adresáře Hbase v této vlastnosti
- Pro distribuované nastavení musíme tuto vlastnost nastavit
- Zde by měla být nastavena vlastnost kvora ZooKeeper
- Nastavení replikace provedeno v této vlastnosti. Ve výchozím nastavení umísťujeme replikaci jako 1. V plně distribuovaném režimu je přítomno více datových uzlů, takže můžeme zvýšit replikaci umístěním více než 1 hodnoty do vlastnosti dfs.replication
- V této vlastnosti by měl být uveden klientský port
- V této vlastnosti lze zmínit datový adresář ZooKeeper
Krok 6) Nejprve spusťte démony Hadoop a poté spusťte démony HBase, jak je znázorněno níže
Zde musíte nejprve spustit Hadoop démony pomocí„./start-all.sh“ příkaz, jak je znázorněno níže.
Po spuštění démonů Hbase pomocí hbase-start.sh
Nyní zkontrolujte jps
Instalace plně distribuovaného režimu HBase
- Toto nastavení bude fungovat v režimu clusteru Hadoop, kde se v clusteru vytvoří a běží více uzlů.
- Instalace je stejná jako v pseudodistribuovaném režimu; jediný rozdíl je v tom, že se vytvoří ve více uzlech.
- Konfigurační soubory uvedené v HBase-site.xml a hbase-env.sh jsou stejné jako v pseudo režimu.
Odstraňování problémů s instalací HBase
1) Prohlášení o problému: Hlavní server se inicializuje, ale servery regionů se neinicializují
Komunikace mezi hlavními a regionálními servery prostřednictvím jejich IP adres. Stejně jako způsob, jakým bude Master naslouchat, že regionální servery běží nebo mají IP adresu 127.0.0.1. Adresa IP 127.0.0.1, která je místním hostitelem a převádí se na vlastní místní hostitel hlavního serveru.
Způsobit:
Při duální komunikaci mezi regionálními servery a masterem regionální server průběžně informuje Master server o tom, že jejich IP adresy jsou 127.0.0.1.
Řešení:
- Musíte odstranit hlavní uzel názvu serveru z místního hostitele, který je přítomen v souboru hostitelů
- Umístění hostitelského souboru /etc/hosts
Co změnit:
Otevřete /etc./hosts a přejděte do tohoto umístění
127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost : : 1 localhost3.localdomain3 localdomain3
Upravte výše uvedenou konfiguraci jako níže (odeberte název serveru regionu, jak je zvýrazněno výše)
127.0.0.1 localhost.localdomainlocalhost : : 1 localhost3.localdomain3 localdomain3
2) Prohlášení o problému: Nemohu najít svou adresu: XYZ v seznamu serverů kvora Zookeeper
Způsobit:
- Server ZooKeeper se nepodařilo spustit a v názvu serveru vyvolá chybu jako .xyz.
- HBase se pokouší spustit server ZooKeeper na nějakém počítači, ale zároveň stroj není schopen najít konfiguraci kvora, tj. HBase.zookeeper.quorum konfiguračního souboru.
Řešení:-
- Musíte nahradit název hostitele názvem hostitele, který je uveden v chybové zprávě
- Předpokládejme, že máme DNS server, pak můžeme nastavit níže uvedené konfigurace v HBase-site.xml.
- Rozhraní HBase.zookeeper.dns
- Jmenný server HBase.zookeeper.dns
3) Prohlášení o problému: Vytvořený kořenový adresář pro HBase prostřednictvím Hadoop DFS
- Master říká, že musíte spustit skript migrace HBase.
- Při spuštění to, skript migrace HBase reaguje jako žádné soubory v kořenovém adresáři.
Způsobit:
- Vytvoření nového adresáře pro použití HBase Hadoop Distribuovaný souborový systém
- Zde HBase očekává dvě možnosti
1) Kořenový adresář neexistuje
2) předchozí spuštěná instance HBase byla inicializována dříve
Řešení:
- Proveďte shodu, že kořenový adresář HBase aktuálně neexistuje nebo byl inicializován předchozím spuštěním instance HBase.
- V rámci řešení musíme postupovat podle kroků
Krok 1) Použití Hadoop dfs k odstranění kořenového adresáře HBase
Krok 2) HBase vytváří a inicializuje adresář sám
4) Vysvětlení problému: Události vypršení platnosti relace Zookeeper
Způsobit:
- Servery HMaster nebo HRegion se vypínají vyvoláním výjimek
- Pokud budeme sledovat protokoly, můžeme zjistit skutečné výjimky, které byly vyvolány
Následující text ukazuje výjimku vyvolanou kvůli události Zookeeper vypršela. Zvýrazněné události jsou některé z výjimek, ke kterým došlo v souboru protokolu
Kód souborů protokolu, jak je zobrazeno níže:
WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ec java.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906) WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000 INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORT INFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT] INFO org.apache.zookeeper.ClientCnxn: Server connection successful WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65e java.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589) at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945) ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired
Řešení:
- Výchozí velikost paměti RAM je 1 GB. Pro provádění dlouhodobých importů jsme zachovali kapacitu paměti RAM větší než 1 GB.
- Je třeba prodloužit časový limit relace Ošetřovatel v zoo.
- Abychom prodloužili dobu relace mimo Zookeeper, musíme upravit následující vlastnost v „hbase-site.xml“, která se nachází v cestě ke složce hbase /conf.
- Výchozí časový limit relace je 60 sekund. Můžeme jej změnit na 120 sekund, jak je uvedeno níže
<property>
<name> zookeeper.session.timeout </name>
<value>1200000</value>
</property>
<property>
<name> hbase.zookeeper.property.tickTime </name>
<value>6000</value>
</property>
