Slik installerer du HBase på Ubuntu (HBase-installasjon)
Apache HBase installasjonsmoduser
Apache HBase kan installeres i tre moduser. Funksjonene til disse modusene er nevnt nedenfor.
1) Installasjon i frittstående modus (ingen avhengighet av Hadoop-systemet)
- Dette er standardmodus for HBase
- Den kjører mot lokalt filsystem
- Den bruker ikke Hadoop HDFS
- Bare HMaster-demonen kan kjøre
- Anbefales ikke for produksjonsmiljø
- Kjører i singel JVM
2) Installasjon av pseudo-distribuert modus (Hadoop-system med enkelt node + HBase-installasjon)
- Det kjører på Hadoop HDFS
- Alle Daemons kjører i en enkelt node
- Anbefales for produksjonsmiljø
3) Fullt distribuert modusinstallasjon (MultinodeHadoop-miljø + HBase-installasjon)
- Det kjører på Hadoop HDFS
- Alle demoner kommer til å kjøre over alle noder som er tilstede i klyngen
- Sterkt anbefalt for produksjonsmiljø
For Hadoop-installasjon Se denne URL-en Her
Hvordan laste ned stabil versjon av HBase tar-fil
Trinn 1) Gå til lenken her. for å laste ned HBase. Det vil åpne en nettside som vist nedenfor.
Trinn 2) Velg stabil versjon som vist under 1.1.2 versjon
Trinn 3) Klikk på hbase-1.1.2-bin.tar.gz. Den vil laste ned tar-filen. Kopier tar-filen til et installasjonssted.
Slik installerer du HBase i Ubuntu med frittstående modus
Her er trinn-for-trinn-prosessen for installasjon av HBase frittstående modus i Ubuntu:
Trinn 1) Plasser kommandoen nedenfor
Plasser hbase-1.1.2-bin.tar.gz i /home/hduser
Trinn 2) Pakk den ut ved å utføre kommandoen $tar -xvf hbase-1.1.2-bin.tar.gz.
Den vil pakke ut innholdet, og den vil lage hbase-1.1.2 på stedet /home/hduser
Trinn 3) Åpne hbase-env.sh
Åpne hbase-env.sh som nedenfor og nevne JAVA_HOME-stien på stedet.
Trinn 4) Åpne filen og nevne banen
Åpne ~/.bashrc-filen og nevne HBASE_HOME-banen som vist nedenfor
eksporter HBASE_HOME=/home/hduser/hbase-1.1.1 eksport PATH= $PATH:$HBASE_HOME/bin |
Trinn 5) Legg til egenskaper i filen
Åpne hbase-site.xml og plasser følgende egenskaper inne i filen
hduser@ubuntu$ gedit hbase-site.xml(kode som nedenfor)
<property> <name>hbase.rootdir</name> <value>file:///home/hduser/HBASE/hbase</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hduser/HBASE/zookeeper</value> </property>
Her plasserer vi to eiendommer
- En for HBase rotkatalog og
- Den andre for datakatalogen tilsvarer ZooKeeper.
Alle HMaster- og ZooKeeper-aktiviteter viser til denne hbase-site.xml.
Trinn 6) Nevn IP-ene
Åpne hosts-filen i /etc. plassering og nevner IP-ene som vist nedenfor.
Trinn 7) Kjør nå Start-hbase.sh på hbase-1.1.1/bin plassering som vist nedenfor.
Og vi kan sjekke med jps-kommandoen for å se at HMaster kjører eller ikke.
Trinn 8) Start HBase Shell
HBase-skall kan starte ved å bruke "hbase-skall" og den vil gå inn i interaktiv skallmodus som vist i skjermbildet nedenfor. Når den går inn i skallmodus, kan vi utføre alle typer kommandoer.
Den frittstående modusen krever ikke at Hadoop-demoner starter. HBase kan kjøre uavhengig.
HBase pseudodistribuert installasjonsmodus
Dette er en annen metode for Apache HBase-installasjon, kjent som Pseudo-distribuert installasjonsmodus.
Nedenfor er trinnene for å installere HBase gjennom Pseudo Distributed-modus:
Trinn 1) Plasser hbase-1.1.2-bin.tar.gz i /home/hduser
Trinn 2) Pakk den ut ved å utføre kommando$tar -xvf hbase-1.1.2-bin.tar.gz. Den vil pakke ut innholdet, og den vil lage hbase-1.1.2 på stedet /home/hduser
Trinn 3) Åpne hbase-env.sh som følger nedenfor og nevn JAVA_HOME-bane og Region-serveres bane på stedet og eksporter kommandoen som vist
Trinn 4) I dette trinnet skal vi åpne ~/.bashrc-filen og nevne HBASE_HOME-banen som vist i skjermbildet.
Trinn 5) Åpne HBase-site.xml og nevne egenskapene nedenfor i filen.(Kode som nedenfor)
<property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hduser/hbase/zookeeper</value> </property>
- Sette opp Hbase rotkatalog i denne egenskapen
- For distribuert oppsett må vi sette denne egenskapen
- ZooKeeper quorum-eiendom bør settes opp her
- Replikeringsoppsett utført i denne egenskapen. Som standard plasserer vi replikering som 1. I den fullt distribuerte modusen er flere datanoder tilstede slik at vi kan øke replikeringen ved å plassere mer enn 1 verdi i egenskapen dfs.replication
- Klientport bør nevnes i denne egenskapen
- ZooKeeper datakatalog kan nevnes i denne egenskapen
Trinn 6) Start Hadoop-demoner først og etter det start HBase-demoner som vist nedenfor
Her må du først starte Hadoop-demoner ved å bruke«./start-all.sh» kommando som vist nedenfor.
Etter å ha startet Hbase-demoner av hbase-start.sh
Sjekk nå jps
Installasjon av HBase fullt distribuert modus
- Dette oppsettet vil fungere i Hadoop-klyngemodus der flere noder gyter over klyngen og kjører.
- Installasjonen er den samme som pseudo distribuert modus; den eneste forskjellen er at den vil spawne over flere noder.
- Konfigurasjonsfilene nevnt i HBase-site.xml og hbase-env.sh er de samme som nevnt i pseudomodus.
HBase-installasjonsfeilsøking
1) Problemformulering: Hovedserveren initialiseres, men regionservere initialiseres ikke
Kommunikasjonen mellom hoved- og regionservere gjennom deres IP-adresser. Som måten Master kommer til å lytte til at regionservere kjører eller har IP-adressen 127.0.0.1. IP-adressen 127.0.0.1 som er den lokale verten og løses til hovedserverens egen lokale vert.
Årsaken:
I dobbel kommunikasjon mellom regionservere og master informerer regionserveren kontinuerlig masterserveren om IP-adressene deres er 127.0.0.1.
Løsning:
- Må fjerne hovedservernavnnoden fra lokal vert som er til stede i vertsfilen
- Vertsfilplassering /etc/hosts
Hva du skal endre:
Åpne /etc./hosts og gå til denne plasseringen
127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost : : 1 localhost3.localdomain3 localdomain3
Endre konfigurasjonen ovenfor som nedenfor (fjern regionservernavnet som uthevet ovenfor)
127.0.0.1 localhost.localdomainlocalhost : : 1 localhost3.localdomain3 localdomain3
2) Problemformulering: Fant ikke adressen min: XYZ i listen over Zookeepers quorumsservere
Årsaken:
- ZooKeeper-serveren kunne ikke starte, og den vil gi en feil som .xyz i navnet på serveren.
- HBase forsøker å starte en ZooKeeper-server på en eller annen maskin, men samtidig er ikke maskinen i stand til å finne quorum-konfigurasjonen, dvs. HBase.zookeeper.quorum konfigurasjonsfil.
Løsning:-
- Må erstatte vertsnavnet med et vertsnavn som vises i feilmeldingen
- Anta at vi har DNS-server, så kan vi angi konfigurasjonene nedenfor i HBase-site.xml.
- HBase.zookeeper.dns.grensesnitt
- HBase.zookeeper.dns.navneserver
3) Problemformulering: Opprettet rotkatalog for HBase gjennom Hadoop DFS
- Master sier at du må kjøre HBase-migreringsskriptet.
- Ved å kjøre det, svarer HBase-migreringsskriptet som ingen filer i rotkatalogen.
Årsaken:
- Oppretting av ny katalog for HBase ved hjelp av Hadoop Distribuert filsystem
- Her forventer HBase to muligheter
1) Rotkatalogen eksisterer ikke
2) HBase forrige kjørende forekomst initialisert før
Løsning:
- Gjør samsvar HBase-rotkatalogen eksisterer for øyeblikket ikke eller har blitt initialisert av en tidligere kjøring av HBase-forekomst.
- Som en del av løsningen må vi følge trinnene
Trinn 1) Bruke Hadoop dfs for å slette HBase-rotkatalogen
Trinn 2) HBase oppretter og initialiserer katalogen av seg selv
4) Problemstilling: Utløpte hendelser for dyrepasserøkten
Årsaken:
- HMaster- eller HRegion-servere slår seg av ved å kaste unntak
- Hvis vi observerer logger, kan vi finne ut de faktiske unntakene som ble kastet
Følgende viser unntaket som ble kastet på grunn av dyrepasserens utløpte hendelse. De uthevede hendelsene er noen av unntakene som skjedde i loggfilen
Loggfilkode som vist nedenfor:
WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ec java.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906) WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000 INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORT INFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT] INFO org.apache.zookeeper.ClientCnxn: Server connection successful WARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65e java.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589) at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945) ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired
Løsning:
- Standard RAM-størrelse er 1 GB. For å utføre langvarig import har vi opprettholdt RAM-kapasitet på mer enn 1 GB.
- Må øke øktens timeout for Dyrepasser.
- For å øke økttiden ut av Zookeeper, må vi endre følgende egenskap i "hbase-site.xml" som finnes i hbase /conf-mappebanen.
- Standard tidsavbrudd for økten er 60 sekunder. Vi kan endre den til 120 sekunder som nevnt nedenfor
<property> <name> zookeeper.session.timeout </name> <value>1200000</value> </property> <property> <name> hbase.zookeeper.property.tickTime </name> <value>6000</value> </property>