Die 60 wichtigsten Fragen und Antworten zu Hadoop-Interviews (2026)
Prafulla Ranadive
Hier finden Sie Fragen und Antworten zu Hadoop MapReduce-Interviews fรผr neue und erfahrene Kandidaten, die ihren Traumjob bekommen mรถchten.
Fragen zum Hadoop MapReduce-Interview
1) Was ist Hadoop Map Reduce?
Zur parallelen Verarbeitung groรer Datensรคtze in einem Hadoop-Cluster wird das Hadoop MapReduce-Framework verwendet. Die Datenanalyse verwendet einen zweistufigen Map-and-Reduce-Prozess.
2) Wie funktioniert Hadoop MapReduce?
In MapReduce werden wรคhrend der Kartenphase die Wรถrter in jedem Dokument gezรคhlt, wรคhrend in der Reduzierungsphase die Daten gemรคร dem Dokument รผber die gesamte Sammlung hinweg aggregiert werden. Wรคhrend der Kartenphase werden die Eingabedaten zur Analyse durch parallel im Hadoop-Framework ausgefรผhrte Kartenaufgaben in Splits unterteilt.
๐Kostenloser PDF-Download: Fragen und Antworten zu Hadoop- und MapReduce-Interviews
3) Erklรคren Sie, was Shuffling in MapReduce ist.
Der Prozess, bei dem das System die Sortierung durchfรผhrt und die Kartenausgaben als Eingaben an den Reduzierer รผbertrรคgt, wird als Shuffle bezeichnet
4) Erklรคren Sie, was verteilter Cache im MapReduce Framework ist.
Der verteilte Cache ist eine wichtige Funktion des MapReduce-Frameworks. Wenn Sie einige Dateien auf allen Knoten in Hadoop freigeben mรถchten Cluster, Verteilter Cache wird verwendet. Bei den Dateien kann es sich um ausfรผhrbare JAR-Dateien oder einfache Eigenschaftendateien handeln.
5) Erklรคren Sie, was NameNode in Hadoop ist.
NameNode in Hadoop ist der Knoten, in dem Hadoop alle Informationen zum Dateispeicherort speichert HDFS (Hadoop Distributed File System)Mit anderen Worten: Der NameNode ist das Herzstรผck eines HDFS-Dateisystems. Er verwaltet die Liste aller Dateien im Dateisystem und tracks die Dateidaten รผber den Cluster oder mehrere Maschinen hinweg
6) Erklรคren Sie, was Job istTracWas sind die Aktionen von Hadoop?
In Hadoop fรผr die Einreichung und tracKing MapReduce Jobs, JobTracker wird verwendet. Job tracker lรคuft in einem eigenen JVM-Prozess
Job Tracker fรผhrt in Hadoop folgende Aktionen aus
- Client-Anwendung reicht Stellenanzeigen ein tracker
- JobTracker kommuniziert mit dem Namensmodus, um den Datenspeicherort zu ermitteln.
- In der Nรคhe der Daten oder mit verfรผgbaren Slots JobTracker findet AufgabeTracker Knoten
- Zur gewรคhlten AufgabeTracker Nodes, es reicht die Arbeit ein
- Wenn eine Aufgabe fehlschlรคgt, Job tracker benachrichtigt den Verantwortlichen und entscheidet dann รผber das weitere Vorgehen.
- Die AufgabeTracker-Knoten werden von Job รผberwachtTracker
7) Erklรคren Sie, was Heartbeat in HDFS ist.
Heartbeat bezeichnet ein Signal, das zwischen einem Datenknoten und einem Namensknoten sowie zwischen Aufgaben verwendet wird. tracker und Job tracker, falls der Name-Knoten oder der Job tracWenn ker nicht auf das Signal reagiert, wird davon ausgegangen, dass es Probleme mit dem Datenknoten oder der Aufgabe gibt. tracker
8) Erklรคren Sie, was Combiner sind und wann Sie einen Combiner in einem MapReduce-Job verwenden sollten.
Um die Effizienz zu steigern MapReduce-Programm, Combiner werden verwendet. Die Datenmenge kann mithilfe von Combinern reduziert werden, die an die Reducer รผbertragen werden mรผssen. Wenn die ausgefรผhrte Operation kommutativ und assoziativ ist, kรถnnen Sie Ihren Reducer-Code als Combiner verwenden. Die Ausfรผhrung von Combinern ist in Hadoop nicht garantiert
9) Was passiert, wenn ein Datenknoten ausfรคllt?
Wenn ein Datenknoten ausfรคllt
- Jobtracker und namenode erkennen den Fehler
- Auf dem ausgefallenen Knoten werden alle Aufgaben neu geplant
- Namenode repliziert die Daten des Benutzers auf einen anderen Knoten
10) Erklรคren Sie, was eine spekulative Ausfรผhrung ist.
In Hadoop wird wรคhrend der spekulativen Ausfรผhrung eine bestimmte Anzahl doppelter Aufgaben gestartet. Auf einem anderen Slave-Knoten kรถnnen mithilfe der spekulativen Ausfรผhrung mehrere Kopien derselben Zuordnungs- oder Reduzierungsaufgabe ausgefรผhrt werden. Vereinfacht ausgedrรผckt: Wenn die Ausfรผhrung einer Aufgabe auf einem bestimmten Laufwerk lange dauert, erstellt Hadoop eine doppelte Aufgabe auf einer anderen Festplatte. Eine Festplatte, die die Aufgabe als erste beendet, wird beibehalten und Festplatten, die nicht als erste fertig werden, werden gelรถscht.
11) Erklรคren Sie, was die Grundparameter eines Mappers sind.
Die Grundparameter eines Mappers sind
- LongWritable und Text
- Text und IntWritable
12) Erklรคren Sie, welche Funktion der MapReduce-Partitionierer hat.
Die Funktion des MapReduce-Partitionierers besteht darin, sicherzustellen, dass der gesamte Wert eines einzelnen Schlรผssels an denselben Reduzierer geht, was schlieรlich zu einer gleichmรครigen Verteilung der Kartenausgabe รผber die Reduzierer fรผhrt
13) Erklรคren Sie, was der Unterschied zwischen einem Input Split und einem HDFS-Block ist.
Die logische Aufteilung von Daten wird als Split bezeichnet, wรคhrend eine physische Aufteilung von Daten als HDFS-Block bezeichnet wird
14) Erklรคren Sie, was im Textformat passiert.
Im Texteingabeformat ist jede Zeile in der Textdatei ein Datensatz. Value ist der Inhalt der Zeile, wรคhrend Key der Byte-Offset der Zeile ist. Beispiel: Schlรผssel: longWritable, Wert: text
15) Erwรคhnen Sie, welche Hauptkonfigurationsparameter der Benutzer angeben muss, um den MapReduce-Job auszufรผhren.
Der Benutzer des MapReduce-Frameworks muss angeben
- Die Eingabeorte des Jobs im verteilten Dateisystem
- Der Ausgabeort des Jobs im verteilten Dateisystem
- Eingabeformat
- Ausgabeformat
- Klasse, die die Kartenfunktion enthรคlt
- Klasse, die die Reduzierungsfunktion enthรคlt
- JAR-Datei, die die Mapper-, Reducer- und Treiberklassen enthรคlt
16) Erklรคren Sie, was WebDAV in Hadoop ist.
Zur Unterstรผtzung des Bearbeitens und Aktualisierens von Dateien ist WebDAV eine Reihe von Erweiterungen fรผr HTTP. Auf den meisten Betriebssystemen kรถnnen WebDAV-Freigaben als Dateisysteme bereitgestellt werden. Daher ist es mรถglich, auf HDFS als Standarddateisystem zuzugreifen, indem HDFS รผber WebDAV bereitgestellt wird.
17) Erklรคren Sie, was Sqoop in Hadoop ist.
Um die Daten zwischen zu รผbertragen Relationales Datenbankmanagement (RDBMS) und Hadoop HDFS Es wird ein Tool namens Sqoop verwendet. Mit Sqoop kรถnnen Daten wie aus RDMS รผbertragen werden MySQL or Oracle in HDFS sowie den Export von Daten aus einer HDFS-Datei in ein RDBMS
18) Erklรคren Sie, wie JobTracker plant eine Aufgabe ein?
Die Aufgabe tracKer sendet Herzschlagnachrichten an Jobtracker รผberprรผft normalerweise alle paar Minuten, ob JobTracker ist aktiv und funktionsfรคhig. Die Nachricht informiert auch Job.Tracker รผber die Anzahl der verfรผgbaren Plรคtze, also der JobTracker kann sich darรผber auf dem Laufenden halten, wohin die Clusterarbeit delegiert werden kann.
19) Erklรคren Sie, was das Sequencefileinputformat ist.
Das Sequencefileinputformat wird zum sequentiellen Lesen von Dateien verwendet. Dabei handelt es sich um ein spezielles komprimiertes Binรคrdateiformat, das fรผr die Weitergabe von Daten zwischen der Ausgabe eines MapReduce-Jobs und der Eingabe eines anderen MapReduce-Jobs optimiert ist.
20) Erklรคren Sie, was die conf.setMapper-Klasse macht?
Conf.setMapperclass legt die Mapper-Klasse und alle Dinge im Zusammenhang mit dem Map-Job fest, z. B. das Lesen von Daten und das Generieren eines Schlรผssel-Wert-Paares aus dem Mapper
21) Erklรคren Sie, was Hadoop ist?
Es handelt sich um ein Open-Source-Software-Framework zum Speichern von Daten und Ausfรผhren von Anwendungen auf Clustern handelsรผblicher Hardware. Es bietet enorme Verarbeitungsleistung und riesigen Speicherplatz fรผr alle Arten von Daten.
22) Erwรคhnen Sie, was der Unterschied zwischen einem RDBMS und Hadoop ist?
| RDBMS | Hadoop |
|---|---|
| RDBMS ist ein relationales Datenbankverwaltungssystem | Hadoop ist eine knotenbasierte flache Struktur |
| Es wurde fรผr die OLTP-Verarbeitung verwendet, wรคhrend Hadoop | Es wird derzeit zur Analyse und zur Verarbeitung von BIG DATA verwendet |
| In RDBMS verwendet der Datenbankcluster dieselben Datendateien, die in einem gemeinsam genutzten Speicher gespeichert sind | In Hadoop kรถnnen die Speicherdaten in jedem Verarbeitungsknoten unabhรคngig gespeichert werden. |
| Sie mรผssen Daten vorverarbeiten, bevor Sie sie speichern | Sie mรผssen die Daten vor dem Speichern nicht vorverarbeiten |
23) Hadoop-Kernkomponenten erwรคhnen?
Zu den Hadoop-Kernkomponenten gehรถren:
- HDFS
- MapReduce
24) Was ist NameNode in Hadoop?
Der NameNode in Hadoop ist der Knoten, an dem Hadoop alle Dateispeicherortinformationen im HDFS speichert. Er ist der Master-Knoten, auf dem Jobs ausgefรผhrt werden. tracker lรคuft und besteht aus Metadaten.
25) Erwรคhnen Sie, welche Datenkomponenten von Hadoop verwendet werden?
Von Hadoop verwendete Datenkomponenten sind
26) Erwรคhnen Sie, welche Datenspeicherkomponente von Hadoop verwendet wird?
Die von Hadoop verwendete Datenspeicherkomponente ist HBase.
27) Erwรคhnen Sie die am hรคufigsten in Hadoop definierten Eingabeformate.
Die am hรคufigsten in Hadoop definierten Eingabeformate sind:
- TextInputFormat
- KeyValueInputFormat
- SequenceFileInputFormat
28) Was ist InputSplit in Hadoop?
Es teilt Eingabedateien in Blรถcke auf und weist jede Aufteilung einem Mapper zur Verarbeitung zu.
29) Wie schreiben Sie fรผr einen Hadoop-Job einen benutzerdefinierten Partitionierer?
Sie schreiben einen benutzerdefinierten Partitionierer fรผr einen Hadoop-Job. Folgen Sie dazu dem folgenden Pfad
- Erstellen Sie eine neue Klasse, die die Partitioner-Klasse erweitert
- รberschreiben Sie die Methode getPartition
- Im Wrapper, der MapReduce ausfรผhrt
- Fรผgen Sie den benutzerdefinierten Partitionierer dem Job hinzu, indem Sie die Methode โPartitioner Classโ verwenden oder โ fรผgen Sie den benutzerdefinierten Partitionierer dem Job als Konfigurationsdatei hinzu
30) Ist es fรผr einen Job in Hadoop mรถglich, die Anzahl der zu erstellenden Mapper zu รคndern?
Nein, es ist nicht mรถglich, die Anzahl der zu erstellenden Mapper zu รคndern. Die Anzahl der Mapper wird durch die Anzahl der Eingabeaufteilungen bestimmt.
31) Erklรคren Sie, was eine Sequenzdatei in Hadoop ist.
Zum Speichern binรคrer Schlรผssel/Wert-Paare wird eine Sequenzdatei verwendet. Im Gegensatz zu regulรคren komprimierten Dateien unterstรผtzen Sequenzdateien die Aufteilung auch dann, wenn die Daten in der Datei komprimiert sind.
32) Was passiert mit dem Job, wenn der NameNode ausfรคllt? tracker?
Der Namenode ist die einzige Ausfallquelle in HDFS. Wenn der Namenode ausfรคllt, wird Ihr Cluster ausgelรถst.
33) Erklรคren Sie, wie die Indizierung in HDFS erfolgt?
Hadoop verfรผgt รผber eine einzigartige Art der Indizierung. Sobald die Daten entsprechend der Blockgrรถรe gespeichert sind, speichert das HDFS weiterhin den letzten Teil der Daten, der angibt, wo sich der nรคchste Teil der Daten befinden wird.
34) Erklรคren Sie, ob es mรถglich ist, mithilfe von Platzhaltern nach Dateien zu suchen.
Ja, es ist mรถglich, mithilfe von Platzhaltern nach Dateien zu suchen.
35) Die drei Konfigurationsdateien von Hadoop auflisten?
Die drei Konfigurationsdateien sind
- core-site.xml
- mapred-site.xml
- hdfs-site.xml
36) Erklรคren Sie, wie Sie neben der Verwendung des Befehls jps รผberprรผfen kรถnnen, ob Namenode funktioniert.
Um zu รผberprรผfen, ob Namenode funktioniert, kรถnnen Sie neben dem Befehl jps auch Folgendes verwenden
/etc/init.d/hadoop-0.20-namenode-Status.
37) Erklรคren Sie, was in Hadoop โKarteโ und โReduziererโ ist.
In Hadoop ist eine Karte eine Phase beim Lรถsen von HDFS-Abfragen. Eine Karte liest Daten von einem Eingabeort und gibt ein Schlรผssel-Wert-Paar entsprechend dem Eingabetyp aus.
In Hadoop sammelt ein Reduzierer die vom Mapper generierte Ausgabe, verarbeitet sie und erstellt eine eigene Endausgabe.
38) Welche Datei steuert in Hadoop die Berichterstellung in Hadoop?
In Hadoop steuert die Datei hadoop-metrics.properties die Berichterstellung.
39) Fรผr die Verwendung von Hadoop die Netzwerkanforderungen auflisten?
Fรผr die Verwendung von Hadoop gelten folgende Netzwerkanforderungen:
- Passwortlose SSH-Verbindung
- Secure Shell (SSH) zum Starten von Serverprozessen
40) Erwรคhnen Sie, was Rack Awareness ist?
Unter Rack Awareness versteht man die Art und Weise, wie der Namensknoten anhand der Rack-Definitionen bestimmt, wie Blรถcke platziert werden.
41) Erklรคren Sie, was eine Aufgabe ist Tracker in Hadoop?
Eine Aufgabe TracEin Ker in Hadoop ist ein Slave-Knoten-Daemon im Cluster, der Aufgaben von einem Job entgegennimmt.Tracker. Es sendet auch die Herzschlagnachrichten an Job.Tracker, alle paar Minuten, um zu bestรคtigen, dass der JobTracKer lebt noch.
42) Erwรคhnen Sie, welche Daemons auf einem Master-Knoten und Slave-Knoten laufen?
- Auf dem Master-Knoten ausgefรผhrte Dรคmonen sind โNameNodeโ.
- Auf jedem Slave-Knoten laufen Daemons, die als โTaskโ bezeichnet werden. Trackerโ und โDatenโ
43) Erklรคren Sie, wie Sie Hadoop-Code debuggen kรถnnen.
Die beliebtesten Methoden zum Debuggen von Hadoop-Code sind:
- Mithilfe der vom Hadoop-Framework bereitgestellten Webschnittstelle
- Durch die Verwendung von Zรคhlern
44) Erklรคren Sie, was Speicher- und Rechenknoten sind.
- Der Speicherknoten ist die Maschine oder der Computer, auf dem sich Ihr Dateisystem befindet, um die Verarbeitungsdaten zu speichern
- Der Rechenknoten ist der Computer oder die Maschine, auf dem Ihre eigentliche Geschรคftslogik ausgefรผhrt wird.
45) Erwรคhnen Sie, wozu das Kontextobjekt dient.
Das Kontextobjekt ermรถglicht dem Mapper die Interaktion mit dem Rest von Hadoop
System. Es enthรคlt Konfigurationsdaten fรผr den Job sowie Schnittstellen, die es ihm ermรถglichen, Ausgaben auszugeben.
46) Erwรคhnen Sie, was der nรคchste Schritt nach Mapper oder MapTask ist?
Der nรคchste Schritt nach Mapper oder MapTask besteht darin, dass die Ausgabe des Mappers sortiert wird und Partitionen fรผr die Ausgabe erstellt werden.
47) Erwรคhnen Sie, wie viele Standardpartitionierer es in Hadoop gibt?
In Hadoop ist der Standardpartitionierer ein โHashโ-Partitionierer.
48) Erklรคren Sie, was der Zweck von RecordReader in Hadoop ist.
In Hadoop lรคdt der RecordReader die Daten aus seiner Quelle und wandelt sie in (Schlรผssel-Wert-)Paare um, die zum Lesen durch den Mapper geeignet sind.
49) Erklรคren Sie, wie Daten partitioniert werden, bevor sie an den Reduzierer gesendet werden, wenn in Hadoop kein benutzerdefinierter Partitionierer definiert ist.
Wenn in Hadoop kein benutzerdefinierter Partitionierer definiert ist, berechnet ein Standardpartitionierer einen Hashwert fรผr den Schlรผssel und weist die Partition basierend auf dem Ergebnis zu.
50) Erklรคren Sie, was passiert, wenn Hadoop 50 Aufgaben fรผr einen Job erzeugt und eine der Aufgaben fehlschlรคgt?
Die Aufgabe wird bei einer anderen Aufgabe erneut gestartet.Tracker, falls die Aufgabe mehr als die festgelegte Grenze fehlschlรคgt.
51) Erwรคhnen Sie, was die beste Mรถglichkeit ist, Dateien zwischen HDFS-Clustern zu kopieren?
Die beste Mรถglichkeit zum Kopieren von Dateien zwischen HDFS-Clustern ist die Verwendung mehrerer Knoten und des Befehls โdistcpโ, sodass die Arbeitslast geteilt wird.
52) Erwรคhnen Sie, was der Unterschied zwischen HDFS und NAS ist?
HDFS-Datenblรถcke werden auf die lokalen Laufwerke aller Maschinen in einem Cluster verteilt, wรคhrend NAS-Daten auf dedizierter Hardware gespeichert werden.
53) Erwรคhnen Sie, wie sich Hadoop von anderen Datenverarbeitungstools unterscheidet?
In Hadoop kรถnnen Sie die Anzahl der Mapper erhรถhen oder verringern, ohne sich Gedanken รผber die zu verarbeitende Datenmenge machen zu mรผssen.
54) Erwรคhnen Sie, welchen Job die Conf-Klasse macht?
Die Job-Conf-Klasse trennt verschiedene Jobs, die im selben Cluster ausgefรผhrt werden. Sie fรผhrt die Einstellungen auf Jobebene durch, z. B. das Deklarieren eines Jobs in einer realen Umgebung.
55) Erlรคutern Sie, was die Hadoop MapReduce APIs sind.tract fรผr eine Schlรผssel- und Wertklasse?
Fรผr eine Schlรผssel-Wert-Klasse gibt es zwei Hadoop MapReduce APIs.tract
- Der Wert muss die Schnittstelle org.apache.hadoop.io.Writable definieren
- Der Schlรผssel muss die Schnittstelle org.apache.hadoop.io.WritableComparable definieren
56) Erwรคhnen Sie, in welchen drei Modi Hadoop ausgefรผhrt werden kann?
Die drei Modi, in denen Hadoop ausgefรผhrt werden kann, sind:
- Pseudoverteilter Modus
- Eigenstรคndiger (lokaler) Modus
- Vollstรคndig verteilter Modus
57) Erwรคhnen Sie, was das Texteingabeformat bewirkt?
Das Texteingabeformat erstellt ein Linienobjekt, das eine Hexadezimalzahl ist. Der Wert wird als ganzer Zeilentext betrachtet, wรคhrend der Schlรผssel als Zeilenobjekt betrachtet wird. Der Mapper erhรคlt den Wert als โTextโ-Parameter und den Schlรผssel als โLongwriteableโ-Parameter.
58) Erwรคhnen Sie, wie viele InputSplits von einem Hadoop-Framework erstellt werden?
Hadoop macht 5 Teilungen
- 1 Teilung fรผr 64K-Dateien
- 2 Split fรผr 65-MB-Dateien
- 2 Teilungen fรผr 127-MB-Dateien
59) Erwรคhnen Sie, was ein verteilter Cache in Hadoop ist?
Der verteilte Cache in Hadoop ist eine Funktion, die vom MapReduce-Framework bereitgestellt wird. Zum Zeitpunkt der Ausfรผhrung des Jobs wird es zum Zwischenspeichern der Datei verwendet. Das Framework kopiert die erforderlichen Dateien auf den Slave-Knoten, bevor eine Aufgabe auf diesem Knoten ausgefรผhrt wird.
60) Erlรคutern Sie, welche wichtige Rolle der Hadoop-Classpath beim Stoppen spielt.ping oder startend in Hadoop-Daemons?
Der Klassenpfad besteht aus einer Liste von Verzeichnissen mit JAR-Dateien zum Stoppen oder Starten von Daemons.
Diese Interviewfragen helfen auch bei Ihrer mรผndlichen Prรผfung
