Top 60 pitanja i odgovora na Hadoop intervjuu (2026.)

By: Prafulla Ranadive Prafulla Ranadive
Hours Aลพurirano

Ovdje su Hadoop MapReduce pitanja za intervjue i odgovori za svjeลพije kao i iskusne kandidate da dobiju posao iz snova.

Pitanja za intervju za Hadoop MapReduce

1) ล to je Hadoop Map Reduce?

Za paralelnu obradu velikih skupova podataka u Hadoop klasteru koristi se okvir Hadoop MapReduce. Analiza podataka koristi mapu u dva koraka i proces smanjenja.

2) Kako radi Hadoop MapReduce?

U MapReduceu, tijekom faze karte, broji rijeฤi u svakom dokumentu, dok u fazi redukcije prikuplja podatke prema dokumentu koji obuhvaฤ‡a cijelu zbirku. Tijekom faze mapiranja, ulazni podaci podijeljeni su u dijelove za analizu pomoฤ‡u zadataka mapiranja koji se izvode paralelno u Hadoop okviru.

๐Ÿ‘‰ Besplatno preuzimanje PDF-a: Hadoop & MapReduce Interview Questions & Answers

3) Objasnite ลกto je mijeลกanje u MapReduce?

Proces kojim sustav izvodi sortiranje i prenosi izlaze karte u reduktor kao ulaze poznat je kao mijeลกanje

4) Objasnite ลกto je distribuirana predmemorija u MapReduce Frameworku?

Distribuirana predmemorija vaลพna je znaฤajka koju pruลพa okvir MapReduce. Kada ลพelite podijeliti neke datoteke na svim ฤvorovima u Hadoopu Cluster, Koristi se distribuirana predmemorija. Datoteke mogu biti izvrลกne jar datoteke ili jednostavna datoteka svojstava.

Pitanja za intervju za Hadoop MapReduce
Pitanja za intervju za Hadoop MapReduce

5) Objasnite ลกto je NameNode u Hadoopu?

NameNode u Hadoopu je ฤvor u kojem Hadoop pohranjuje sve podatke o lokaciji datoteke HDFS (Hadoop distribuirani datoteฤni sustav)Drugim rijeฤima, NameNode je srediลกnji dio HDFS datoteฤnog sustava. ฤŒuva zapise svih datoteka u datoteฤnom sustavu i tracks datoteke podataka na cijelom klasteru ili viลกe raฤunala

6) Objasnite ลกto je JobTracker u Hadoopu? Koje radnje slijedi Hadoop?

In Hadoop za podnoลกenje i tracposlovi kralja MapReduce, PosaoTracker se koristi. Posao tracker se pokreฤ‡e na vlastitom JVM procesu

Posao Tracker izvodi sljedeฤ‡e radnje u Hadoopu

  • Klijentska aplikacija ลกalje poslove na posao tracker
  • PosaoTracker komunicira s naฤinom rada Name kako bi odredio lokaciju podataka
  • Blizu podataka ili s dostupnim terminima za posaoTracker locira zadatakTracker ฤvorovi
  • Na odabranom zadatkuTracker ฤvorovi, ลกalje rad
  • Kad zadatak ne uspije, Job tracker obavjeลกtava i odluฤuje ลกto ฤ‡e tada uฤiniti.
  • ZadatakTracker ฤvorove nadzire JobTracker

7) Objasnite ลกto je otkucaj srca u HDFS-u?

Otkucaj srca se odnosi na signal koji se koristi izmeฤ‘u podatkovnog ฤvora i ฤvora imena te izmeฤ‘u ฤvora zadatka tracker i posao tracker, ako je ฤvor Name ili posao tracker ne reagira na signal, smatra se da postoje neki problemi s podatkovnim ฤvorom ili zadatkom tracker

8) Objasnite ลกto su kombinatori i kada biste trebali koristiti kombinator u MapReduce Jobu?

Za poveฤ‡anje uฤinkovitosti Program MapReduce, Koriste se kombinatori. Koliฤina podataka moลพe se smanjiti uz pomoฤ‡ kombinatora koji se trebaju prenijeti preko reduktora. Ako je izvedena operacija komutativna i asocijativna, svoj kod reduktora moลพete koristiti kao kombiniraฤ. Izvrลกenje combiner-a nije zajamฤeno u Hadoopu

9) ล to se dogaฤ‘a kada podatkovni ฤvor zakaลพe?

Kada podatkovni ฤvor zakaลพe

  • Posaotracker i namenode otkrivaju kvar
  • Na neuspjeลกnom ฤvoru svi su zadaci ponovno rasporeฤ‘eni
  • Namenode replicira korisniฤke podatke na drugi ฤvor

10) Objasnite ลกto je ลกpekulativno izvrลกenje?

U Hadoopu tijekom spekulativnog izvrลกavanja pokreฤ‡e se odreฤ‘eni broj dupliciranih zadataka. Na drugom podreฤ‘enom ฤvoru, viลกestruke kopije istog zadatka mapiranja ili smanjenja mogu se izvrลกiti pomoฤ‡u Spekulativnog izvrลกenja. Jednostavnim rijeฤima, ako odreฤ‘enom pogonu treba dugo da dovrลกi zadatak, Hadoop ฤ‡e stvoriti duplikat zadatka na drugom disku. Disk koji prvi zavrลกi zadatak se zadrลพava, a diskovi koji ne zavrลกe prvi se uniลกtavaju.

11) Objasnite koji su osnovni parametri Mappera?

Osnovni parametri Mappera su

  • Moguฤ‡nost dugog pisanja i teksta
  • Tekst i IntWritable

12) Objasnite koja je funkcija MapReduce particionera?

Funkcija MapReduce particionera je osigurati da sva vrijednost jednog kljuฤa ide u isti reduktor, ลกto na kraju pomaลพe ravnomjernoj distribuciji izlaza mape preko reduktora

13) Objasnite koja je razlika izmeฤ‘u Input Split i HDFS bloka?

Logiฤka podjela podataka poznata je kao Split, dok je fiziฤka podjela podataka poznata kao HDFS blok

14) Objasnite ลกto se dogaฤ‘a u formatu teksta?

U formatu unosa teksta, svaki redak u tekstualnoj datoteci je zapis. Vrijednost je sadrลพaj retka dok je kljuฤ pomak u bajtu retka. Na primjer, Kljuฤ: longWritable, Vrijednost: tekst

15) Navedite koji su glavni konfiguracijski parametri koje korisnik treba navesti da bi pokrenuo MapReduce Job?

Korisnik okvira MapReduce treba navesti

  • Ulazne lokacije posla u distribuiranom datoteฤnom sustavu
  • Izlazna lokacija posla u distribuiranom datoteฤnom sustavu
  • Ulazni format
  • Izlazni format
  • Klasa koja sadrลพi funkciju karte
  • Klasa koja sadrลพi funkciju reduciranja
  • JAR datoteka koja sadrลพi klase mapera, reduktora i pogona

16) Objasnite ลกto je WebDAV u Hadoopu?

Za podrลกku ureฤ‘ivanja i aลพuriranja datoteka WebDAV je skup proลกirenja za HTTP. Na veฤ‡ini operativnih sustava WebDAV dijeljenja mogu se montirati kao datoteฤni sustavi, tako da je moguฤ‡e pristupiti HDFS-u kao standardnom datoteฤnom sustavu izlaganjem HDFS-a preko WebDAV-a.

17) Objasnite ลกto je Sqoop u Hadoopu?

Za prijenos podataka izmeฤ‘u Upravljanje relacijskom bazom podataka (RDBMS) i Hadoop HDFS koristi se alat poznat kao Sqoop. Koriลกtenjem Sqoopa podaci se mogu prenijeti iz RDMS-a poput MySQL or Oracle u HDFS kao i izvoz podataka iz HDFS datoteke u RDBMS

18) Objasnite kako je JobTracker zakazuje zadatak?

Zadatak tracker ลกalje Jobu poruke otkucaja srcatracker obiฤno svakih nekoliko minuta kako bi se uvjerio da JobTracker je aktivan i funkcionira. Poruka takoฤ‘er obavjeลกtava JobaTracker o broju dostupnih mjesta, pa je PosaoTracker moลพe ostati u tijeku s ฤime se rad klastera moลพe delegirati

19) Objasnite ลกto je Sequencefileinputformat?

Sequencefileinputformat se koristi za ฤitanje datoteka u nizu. To je specifiฤni komprimirani binarni format datoteke koji je optimiziran za prijenos podataka izmeฤ‘u izlaza jednog MapReduce posla na ulaz nekog drugog MapReduce posla.

20) Objasnite ลกto radi klasa conf.setMapper?

Conf.setMapperclass postavlja klasu mapera i sve stvari vezane uz posao mapiranja kao ลกto je ฤitanje podataka i generiranje para kljuฤ-vrijednost iz mapera

21) Objasnite ลกto je Hadoop?

To je softverski okvir otvorenog koda za pohranu podataka i pokretanje aplikacija na klasterima standardnog hardvera. Omoguฤ‡uje ogromnu snagu obrade i veliku pohranu za sve vrste podataka.

22) Navedite koja je razlika izmeฤ‘u RDBMS-a i Hadoopa?

RDBMS Hadoop
RDBMS je sustav za upravljanje relacijskim bazama podataka Hadoop je ravna struktura temeljena na ฤvoru
Koristio se za OLTP obradu dok je Hadoop Trenutno se koristi za analitiฤku i za BIG DATA obradu
U RDBMS-u, klaster baze podataka koristi iste podatkovne datoteke pohranjene u zajedniฤkoj pohrani U Hadoopu se podaci za pohranu mogu pohraniti neovisno u svakom ฤvoru obrade.
Morate prethodno obraditi podatke prije pohranjivanja ne morate prethodno obraditi podatke prije pohranjivanja

23) Spominjete Hadoop osnovne komponente?

Hadoop osnovne komponente ukljuฤuju,

  • HDFS
  • MapReduce

24) ล to je NameNode u Hadoopu?

NameNode u Hadoopu je mjesto gdje Hadoop pohranjuje sve informacije o lokaciji datoteka u HDFS-u. To je glavni ฤvor na kojem se nalazi zadatak. tracker se pokreฤ‡e i sastoji se od metapodataka.

25) Navedite koje su komponente podataka koje koristi Hadoop?

Komponente podataka koje koristi Hadoop su

26) Navedite koju komponentu za pohranu podataka koristi Hadoop?

Komponenta za pohranu podataka koju koristi Hadoop je HBase.

27) Navedite koji su najฤeลกฤ‡i formati unosa definirani u Hadoopu?

Najฤeลกฤ‡i ulazni formati definirani u Hadoopu su;

  • TextInputFormat
  • KeyValueInputFormat
  • SequenceFileInputFormat

28) ล to je InputSplit u Hadoopu?

Dijeli ulazne datoteke u dijelove i svaku podjelu dodjeljuje kartografu za obradu.

29) Za Hadoop posao, kako ฤ‡ete napisati prilagoฤ‘eni program particioniranja?

Napiลกete prilagoฤ‘eni program za particioniranje za Hadoop posao, slijedite sljedeฤ‡i put

  • Stvorite novu klasu koja proลกiruje klasu Partitioner
  • Nadjaฤaj metodu getPartition
  • U omotu koji pokreฤ‡e MapReduce
  • Dodajte prilagoฤ‘eni particionar u posao pomoฤ‡u skupa metoda Partitioner Class ili โ€“ dodajte prilagoฤ‘eni particionar u posao kao konfiguracijsku datoteku

30) Za posao u Hadoopu, je li moguฤ‡e promijeniti broj mappera koji ฤ‡e se izraditi?

Ne, nije moguฤ‡e promijeniti broj mappera koji ฤ‡e se izraditi. Broj mapera odreฤ‘en je brojem ulaznih podjela.

31) Objasnite ลกto je sekvencijska datoteka u Hadoopu?

Za pohranu binarnih parova kljuฤ/vrijednost koristi se sekvencijska datoteka. Za razliku od obiฤne komprimirane datoteke, sekvencijska datoteka podrลพava razdvajanje ฤak i kada su podaci unutar datoteke komprimirani.

32) ล to se dogaฤ‘a s poslom kada Namenode ne radi? tracker?

Namenode je jedina toฤka kvara u HDFS-u, tako da kada Namenode ne radi, vaลก ฤ‡e se klaster pokrenuti.

33) Objasnite kako se vrลกi indeksiranje u HDFS-u?

Hadoop ima jedinstven naฤin indeksiranja. Nakon ลกto su podaci pohranjeni prema veliฤini bloka, HDFS ฤ‡e nastaviti pohranjivati โ€‹โ€‹posljednji dio podataka koji govori gdje ฤ‡e biti sljedeฤ‡i dio podataka.

POVEZANI ฤŒLANCI

34) Objasnite je li moguฤ‡e traลพiti datoteke pomoฤ‡u zamjenskih znakova?

Da, moguฤ‡e je pretraลพivati โ€‹โ€‹datoteke pomoฤ‡u zamjenskih znakova.

35) Navedite Hadoopove tri konfiguracijske datoteke?

Tri konfiguracijske datoteke su

  • core-site.xml
  • mapred-site.xml
  • hdfs-site.xml

36) Objasnite kako moลพete provjeriti radi li Namenode uz koriลกtenje jps naredbe?

Osim koriลกtenja jps naredbe, za provjeru radi li Namenode takoฤ‘er moลพete koristiti

/etc/init.d/hadoop-0.20-namenode status.

37) Objasnite ลกto je "map", a ลกto "reducer" u Hadoopu?

U Hadoopu je mapa faza u rjeลกavanju HDFS upita. Karta ฤita podatke s ulazne lokacije i ispisuje par kljuฤeva vrijednosti prema vrsti unosa.

U Hadoopu reduktor prikuplja izlaz koji je generirao maper, obraฤ‘uje ga i stvara vlastiti konaฤni izlaz.

38) U Hadoopu, koja datoteka kontrolira izvjeลกฤ‡ivanje u Hadoopu?

U Hadoopu, datoteka hadoop-metrics.properties kontrolira izvjeลกฤ‡ivanje.

39) Navedite mreลพne zahtjeve za koriลกtenje Hadoopa?

Za koriลกtenje Hadoopa popis mreลพnih zahtjeva je:

  • SSH veza bez lozinke
  • Secure Shell (SSH) za pokretanje posluลพiteljskih procesa

40) Navedite ลกto je rack awareness?

Svijest o stalku je naฤin na koji namenode odreฤ‘uje kako postaviti blokove na temelju definicija stalka.

41) Objasnite ลกto je zadatak Tracker u Hadoopu?

Zadatak Tracker u Hadoopu je demon podreฤ‘enog ฤvora u klasteru koji prihvaฤ‡a zadatke iz Joba.Tracker. Takoฤ‘er ลกalje poruke otkucaja srca JobuTracker, svakih nekoliko minuta, kako bi potvrdio da je PosaoTracker je joลก uvijek ลพiv.

42) Navedite koji se demoni pokreฤ‡u na glavnom i podreฤ‘enim ฤvorovima?

  • Demon koji se izvodi na glavnom ฤvoru je "NameNode"
  • Daemoni koji se izvrลกavaju na svakom podreฤ‘enom ฤvoru su "Zadatak Trackerโ€ i โ€œPodaciโ€

43) Objasnite kako moลพete debugirati Hadoop kod?

Popularne metode za otklanjanje pogreลกaka Hadoop koda su:

  • Koriลกtenjem web suฤelja koje pruลพa Hadoop framework
  • Koriลกtenjem brojaฤa

44) Objasnite ลกto su ฤvorovi za pohranu i raฤunanje?

  • ฤŒvor za pohranu je stroj ili raฤunalo na kojem se nalazi vaลก datoteฤni sustav za pohranjivanje podataka za obradu
  • Raฤunalni ฤvor je raฤunalo ili stroj na kojem ฤ‡e se izvrลกavati vaลกa stvarna poslovna logika.

45) Navedite ฤemu sluลพi Context Object?

Kontekstni objekt omoguฤ‡uje maperu interakciju s ostatkom Hadoopa

sustav. Ukljuฤuje konfiguracijske podatke za posao, kao i suฤelja koja mu omoguฤ‡uju emitiranje izlaza.

46) Navedite koji je sljedeฤ‡i korak nakon Mappera ili MapTaska?

Sljedeฤ‡i korak nakon Mappera ili MapTaska je sortiranje izlaza Mappera i kreiranje particija za izlaz.

47) Navedite koji je broj zadanog particionera u Hadoopu?

U Hadoopu, zadani particioner je "Hash" particioner.

48) Objasnite koja je svrha RecordReader-a u Hadoopu?

U Hadoopu, RecordReader uฤitava podatke iz svog izvora i pretvara ih u (kljuฤ, vrijednost) parove prikladne za ฤitanje od strane Mappera.

49) Objasnite kako se podaci particioniraju prije nego ลกto se poลกalju reduktoru ako u Hadoopu nije definiran prilagoฤ‘eni particionar?

Ako u Hadoopu nije definiran prilagoฤ‘eni particionar, tada zadani particionar izraฤunava hash vrijednost za kljuฤ i dodjeljuje particiju na temelju rezultata.

50) Objasnite ลกto se dogaฤ‘a kada Hadoop stvori 50 zadataka za posao i jedan od zadataka ne uspije?

Ponovno ฤ‡e pokrenuti zadatak na nekom drugom zadatkuTracker ako zadatak ne uspije viลกe od definiranog ograniฤenja.

51) Navedite koji je najbolji naฤin za kopiranje datoteka izmeฤ‘u HDFS klastera?

Najbolji naฤin za kopiranje datoteka izmeฤ‘u HDFS klastera je koriลกtenje viลกestrukih ฤvorova i naredbe distcp, tako da se radno optereฤ‡enje dijeli.

52) Navedite koja je razlika izmeฤ‘u HDFS-a i NAS-a?

HDFS podatkovni blokovi rasporeฤ‘eni su po lokalnim diskovima svih strojeva u klasteru, dok su NAS podaci pohranjeni na namjenskom hardveru.

53) Navedite po ฤemu se Hadoop razlikuje od ostalih alata za obradu podataka?

U Hadoopu moลพete poveฤ‡ati ili smanjiti broj mapera bez brige o koliฤini podataka koje treba obraditi.

54) Navedite koji posao obavlja klasa conf?

Job conf class odvaja razliฤite poslove koji se izvode na istom klasteru. Obavlja postavke razine posla kao ลกto je deklariranje posla u stvarnom okruลพenju.

55) Navedite ลกto su Hadoop MapReduce API-ji?tract za klasu kljuฤa i vrijednosti?

Za klasu kljuฤa i vrijednosti postoje dva Hadoop MapReduce API-ja.tract

  • Vrijednost mora definirati org.apache.hadoop.io.Writable suฤelje
  • Kljuฤ mora definirati suฤelje org.apache.hadoop.io.WritableComparable

56) Navedite koja su tri naฤina u kojima se Hadoop moลพe pokrenuti?

Tri naฤina rada u kojima se Hadoop moลพe pokrenuti su

  • Pseudo distribuirani naฤin rada
  • Samostalni (lokalni) naฤin rada
  • Potpuno distribuirani naฤin rada

57) Navedite ลกto radi format unosa teksta?

Format unosa teksta stvorit ฤ‡e linijski objekt koji je heksadecimalni broj. Vrijednost se smatra cijelim redom teksta, dok se kljuฤ smatra objektom retka. Maper ฤ‡e primiti vrijednost kao parametar 'tekst', a kljuฤ kao parametar 'longwriteable'.

58) Navedite koliko InputSplitova napravi Hadoop Framework?

Hadoop ฤ‡e napraviti 5 podjela

  • 1 podjela za 64 K datoteke
  • 2 podijeljena za datoteke od 65 MB
  • 2 podjele za datoteke od 127mb

59) Spomenite ลกto je distribuirana predmemorija u Hadoopu?

Distribuirana predmemorija u Hadoopu moguฤ‡nost je koju pruลพa okvir MapReduce. U vrijeme izvrลกavanja posla, koristi se za predmemoriju datoteke. Framework kopira potrebne datoteke u podreฤ‘eni ฤvor prije izvrลกenja bilo kojeg zadatka na tom ฤvoru.

60) Objasnite kako Hadoop Classpath igra vitalnu ulogu u zaustavljanjuping ili pokretanje u Hadoop daemonima?

Classpath ฤ‡e se sastojati od popisa direktorija koji sadrลพe jar datoteke za zaustavljanje ili pokretanje demona.

Ova pitanja za intervju takoฤ‘er ฤ‡e vam pomoฤ‡i u vaลกem ลพivotu

Saลพmite ovu objavu uz: