Slik installerer du HBase på Ubuntu (HBase-installasjon)

Apache HBase installasjonsmoduser

Apache HBase kan installeres i tre moduser. Funksjonene til disse modusene er nevnt nedenfor.

1) Installasjon i frittstående modus (ingen avhengighet av Hadoop-systemet)

  • Dette er standardmodus for HBase
  • Den kjører mot lokalt filsystem
  • Den bruker ikke Hadoop HDFS
  • Bare HMaster-demonen kan kjøre
  • Anbefales ikke for produksjonsmiljø
  • Kjører i singel JVM

2) Installasjon av pseudo-distribuert modus (Hadoop-system med enkelt node + HBase-installasjon)

  • Det kjører på Hadoop HDFS
  • Alle Daemons kjører i en enkelt node
  • Anbefales for produksjonsmiljø

3) Fullt distribuert modusinstallasjon (MultinodeHadoop-miljø + HBase-installasjon)

  • Det kjører på Hadoop HDFS
  • Alle demoner kommer til å kjøre over alle noder som er tilstede i klyngen
  • Sterkt anbefalt for produksjonsmiljø

For Hadoop-installasjon Se denne URL-en Her

Hvordan laste ned stabil versjon av HBase tar-fil

Trinn 1) Gå til lenken her. for å laste ned HBase. Det vil åpne en nettside som vist nedenfor.

Last ned HBase Tar File Stable versjon

Trinn 2) Velg stabil versjon som vist under 1.1.2 versjon

Last ned HBase Tar File Stable versjon

Trinn 3) Klikk på hbase-1.1.2-bin.tar.gz. Den vil laste ned tar-filen. Kopier tar-filen til et installasjonssted.

Last ned HBase Tar File Stable versjon

Slik installerer du HBase i Ubuntu med frittstående modus

Her er trinn-for-trinn-prosessen for installasjon av HBase frittstående modus i Ubuntu:

Trinn 1) Plasser kommandoen nedenfor
Plasser hbase-1.1.2-bin.tar.gz i /home/hduser
Trinn 2) Pakk den ut ved å utføre kommandoen $tar -xvf hbase-1.1.2-bin.tar.gz.
Den vil pakke ut innholdet, og den vil lage hbase-1.1.2 på stedet /home/hduser

Trinn 3) Åpne hbase-env.sh
Åpne hbase-env.sh som nedenfor og nevne JAVA_HOME-stien på stedet.

Installer HBase i Ubuntu med frittstående modus

Trinn 4) Åpne filen og nevne banen
Åpne ~/.bashrc-filen og nevne HBASE_HOME-banen som vist nedenfor

eksporter HBASE_HOME=/home/hduser/hbase-1.1.1
eksport PATH= $PATH:$HBASE_HOME/bin

Installer HBase i Ubuntu med frittstående modus

Trinn 5) Legg til egenskaper i filen
Åpne hbase-site.xml og plasser følgende egenskaper inne i filen

hduser@ubuntu$ gedit hbase-site.xml(kode som nedenfor)

<property>

<name>hbase.rootdir</name>

<value>file:///home/hduser/HBASE/hbase</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/HBASE/zookeeper</value>

</property>

Installer HBase i Ubuntu med frittstående modus

Her plasserer vi to eiendommer

  • En for HBase rotkatalog og
  • Den andre for datakatalogen tilsvarer ZooKeeper.

Alle HMaster- og ZooKeeper-aktiviteter viser til denne hbase-site.xml.

Trinn 6) Nevn IP-ene
Åpne hosts-filen i /etc. plassering og nevner IP-ene som vist nedenfor.

Installer HBase i Ubuntu med frittstående modus

Trinn 7) Kjør nå Start-hbase.sh på hbase-1.1.1/bin plassering som vist nedenfor.

Og vi kan sjekke med jps-kommandoen for å se at HMaster kjører eller ikke.

Installer HBase i Ubuntu med frittstående modus

Trinn 8) Start HBase Shell
HBase-skall kan starte ved å bruke "hbase-skall" og den vil gå inn i interaktiv skallmodus som vist i skjermbildet nedenfor. Når den går inn i skallmodus, kan vi utføre alle typer kommandoer.

Installer HBase i Ubuntu med frittstående modus

Den frittstående modusen krever ikke at Hadoop-demoner starter. HBase kan kjøre uavhengig.

HBase pseudodistribuert installasjonsmodus

Dette er en annen metode for Apache HBase-installasjon, kjent som Pseudo-distribuert installasjonsmodus.
Nedenfor er trinnene for å installere HBase gjennom Pseudo Distributed-modus:

Trinn 1) Plasser hbase-1.1.2-bin.tar.gz i /home/hduser

Trinn 2) Pakk den ut ved å utføre kommando$tar -xvf hbase-1.1.2-bin.tar.gz. Den vil pakke ut innholdet, og den vil lage hbase-1.1.2 på stedet /home/hduser

Trinn 3) Åpne hbase-env.sh som følger nedenfor og nevn JAVA_HOME-bane og Region-serveres bane på stedet og eksporter kommandoen som vist

HBase pseudodistribuert installasjonsmodus

Trinn 4) I dette trinnet skal vi åpne ~/.bashrc-filen og nevne HBASE_HOME-banen som vist i skjermbildet.

Installasjon av HBase Pseudo distribuert modus

Trinn 5) Åpne HBase-site.xml og nevne egenskapene nedenfor i filen.(Kode som nedenfor)

<property>

<name>hbase.rootdir</name>

<value>hdfs://localhost:9000/hbase</value>

</property>

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.zookeeper.quorum</name>

<value>localhost</value>

</property>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>hbase.zookeeper.property.clientPort</name>

<value>2181</value>

</property>

<property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/home/hduser/hbase/zookeeper</value>

</property>

HBase pseudodistribuert installasjonsmodus

HBase pseudodistribuert installasjonsmodus

  1. Sette opp Hbase rotkatalog i denne egenskapen
  2. For distribuert oppsett må vi sette denne egenskapen
  3. ZooKeeper quorum-eiendom bør settes opp her
  4. Replikeringsoppsett utført i denne egenskapen. Som standard plasserer vi replikering som 1. I den fullt distribuerte modusen er flere datanoder tilstede slik at vi kan øke replikeringen ved å plassere mer enn 1 verdi i egenskapen dfs.replication
  5. Klientport bør nevnes i denne egenskapen
  6. ZooKeeper datakatalog kan nevnes i denne egenskapen

Trinn 6) Start Hadoop-demoner først og etter det start HBase-demoner som vist nedenfor

Her må du først starte Hadoop-demoner ved å bruke«./start-all.sh» kommando som vist nedenfor.

HBase pseudodistribuert installasjonsmodus

Etter å ha startet Hbase-demoner av hbase-start.sh

HBase pseudodistribuert installasjonsmodus

Sjekk nå jps

HBase pseudodistribuert installasjonsmodus

Installasjon av HBase fullt distribuert modus

  • Dette oppsettet vil fungere i Hadoop-klyngemodus der flere noder gyter over klyngen og kjører.
  • Installasjonen er den samme som pseudo distribuert modus; den eneste forskjellen er at den vil spawne over flere noder.
  • Konfigurasjonsfilene nevnt i HBase-site.xml og hbase-env.sh er de samme som nevnt i pseudomodus.

HBase-installasjonsfeilsøking

1) Problemformulering: Hovedserveren initialiseres, men regionservere initialiseres ikke

Kommunikasjonen mellom hoved- og regionservere gjennom deres IP-adresser. Som måten Master kommer til å lytte til at regionservere kjører eller har IP-adressen 127.0.0.1. IP-adressen 127.0.0.1 som er den lokale verten og løses til hovedserverens egen lokale vert.

Årsaken:

I dobbel kommunikasjon mellom regionservere og master informerer regionserveren kontinuerlig masterserveren om IP-adressene deres er 127.0.0.1.

Løsning:

  • Må fjerne hovedservernavnnoden fra lokal vert som er til stede i vertsfilen
  • Vertsfilplassering /etc/hosts

Hva du skal endre:

Åpne /etc./hosts og gå til denne plasseringen

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost
: : 1              localhost3.localdomain3 localdomain3

Endre konfigurasjonen ovenfor som nedenfor (fjern regionservernavnet som uthevet ovenfor)

127.0.0.1    localhost.localdomainlocalhost
: : 1 localhost3.localdomain3 localdomain3

2) Problemformulering: Fant ikke adressen min: XYZ i listen over Zookeepers quorumsservere

Årsaken:

  • ZooKeeper-serveren kunne ikke starte, og den vil gi en feil som .xyz i navnet på serveren.
  • HBase forsøker å starte en ZooKeeper-server på en eller annen maskin, men samtidig er ikke maskinen i stand til å finne quorum-konfigurasjonen, dvs. HBase.zookeeper.quorum konfigurasjonsfil.

Løsning:-

  • Må erstatte vertsnavnet med et vertsnavn som vises i feilmeldingen
  • Anta at vi har DNS-server, så kan vi angi konfigurasjonene nedenfor i HBase-site.xml.
    • HBase.zookeeper.dns.grensesnitt
    • HBase.zookeeper.dns.navneserver

3) Problemformulering: Opprettet rotkatalog for HBase gjennom Hadoop DFS

  • Master sier at du må kjøre HBase-migreringsskriptet.
  • Ved å kjøre det, svarer HBase-migreringsskriptet som ingen filer i rotkatalogen.

Årsaken:

  • Oppretting av ny katalog for HBase ved hjelp av Hadoop Distribuert filsystem
  • Her forventer HBase to muligheter

1) Rotkatalogen eksisterer ikke

2) HBase forrige kjørende forekomst initialisert før

Løsning:

  • Gjør samsvar HBase-rotkatalogen eksisterer for øyeblikket ikke eller har blitt initialisert av en tidligere kjøring av HBase-forekomst.
  • Som en del av løsningen må vi følge trinnene

Trinn 1) Bruke Hadoop dfs for å slette HBase-rotkatalogen

Trinn 2) HBase oppretter og initialiserer katalogen av seg selv

4) Problemstilling: Utløpte hendelser for dyrepasserøkten

Årsaken:

  • HMaster- eller HRegion-servere slår seg av ved å kaste unntak
  • Hvis vi observerer logger, kan vi finne ut de faktiske unntakene som ble kastet

Følgende viser unntaket som ble kastet på grunn av dyrepasserens utløpte hendelse. De uthevede hendelsene er noen av unntakene som skjedde i loggfilen

Loggfilkode som vist nedenfor:

WARN org.apache.zookeeper.ClientCnxn: Exception
closing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ec

java.io.IOException: TIMED OUT	
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)
WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000
INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORT
INFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]
INFO org.apache.zookeeper.ClientCnxn: Server connection successful
WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65e

java.io.IOException: Session Expired	 
at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)
at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)
at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)
ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Løsning:

  • Standard RAM-størrelse er 1 GB. For å utføre langvarig import har vi opprettholdt RAM-kapasitet på mer enn 1 GB.
  • Må øke øktens timeout for Dyrepasser.
  • For å øke økttiden ut av Zookeeper, må vi endre følgende egenskap i "hbase-site.xml" som finnes i hbase /conf-mappebanen.
  • Standard tidsavbrudd for økten er 60 sekunder. Vi kan endre den til 120 sekunder som nevnt nedenfor
<property>
    <name> zookeeper.session.timeout </name>
    <value>1200000</value>
</property>
<property>
    <name> hbase.zookeeper.property.tickTime </name>
    <value>6000</value>
</property>