Top 30 pitanja i odgovora za Hadoop administratorski intervju (2026.)

Pitanja i odgovori za razgovor za mjesto Hadoop administratora

Priprema za razgovor za mjesto administratora Hadoop sustava znaฤi predviฤ‘anje izazova, odgovornosti i oฤekivanja koja definiraju operacije klastera u stvarnom svijetu. Ova pitanja za razgovor za mjesto administratora Hadoop sustava otkrivaju prosudbu, dubinu rjeลกavanja problema i spremnost pod pritiskom.

Snaลพna priprema otvara radna mjesta na razliฤitim podatkovnim platformama, odraลพavajuฤ‡i potraลพnju industrije i praktiฤni utjecaj. Poslodavci cijene tehniฤko iskustvo, praktiฤnu analizu i dokazane vjeลกtine od poฤetnika do viลกih struฤnjaka, ukljuฤujuฤ‡i menadลพere i voditelje timova, koje pokrivaju osnovnu do naprednu administraciju, iskustvo u stvarnoj proizvodnji i dubinsko rjeลกavanje problema za iskusni, srednji i dugoroฤni karijerni rast.
ฤŒitaj viลกeโ€ฆ

๐Ÿ‘‰ Besplatno preuzimanje PDF-a: Pitanja i odgovori za razgovor za mjesto Hadoop administratora

Najฤeลกฤ‡a pitanja i odgovori za razgovor za posao administratora Hadoop-a

1) Objasnite ลกto je Apache Hadoop i navedite njegove kljuฤne komponente.

Apache Hadoop je distribuirani raฤunalni okvir otvorenog koda dizajniran za pohranu i obradu velikih koliฤina podataka u klasterima standardne hardverske opreme na naฤin otporan na greลกke. Omoguฤ‡uje organizacijama upravljanje optereฤ‡enja velikih podataka koje tradicionalni sustavi ne mogu uฤinkovito obraditi zbog ograniฤenja volumena, raznolikosti i brzine.

Osnovne komponente:

  • HDFS (Hadoop distribuirani datoteฤni sustav): Omoguฤ‡uje distribuiranu pohranu podataka u blokovima na viลกe ฤvorova.
  • YARN (Joลก jedan pregovaraฤ o resursima): Upravlja resursima klastera i rasporeฤ‘ivanjem poslova.
  • MapReduce: Programski model za paralelnu obradu velikih skupova podataka. Ove komponente zajedno pomaลพu u skaliranju obrade ogromnih skupova podataka s otpornoลกฤ‡u na kvarove ฤvorova.

Primjer: U klasteru od 50 ฤvorova, HDFS pohranjuje blokove podataka s replikacijom, MapReduce izvrลกava paralelne zadatke, a YARN dodjeljuje resurse izmeฤ‘u pokrenutih aplikacija.


2) Koje su kljuฤne odgovornosti Hadoop administratora?

Hadoop administrator je odgovoran za osiguravanje da Hadoop ekosustav radi uฤinkovito, sigurno i s visokom dostupnoลกฤ‡u.

Odgovornosti ukljuฤuju:

  • Instaliranje, konfiguriranje i nadogradnja Hadoop klastera.
  • Upravljanje HDFS i YARN uslugama.
  • Praฤ‡enje stanja i performansi klastera.
  • Implementacija sigurnosti (Kerberos, dozvole za datoteke).
  • Planiranje kapaciteta, replikacija podataka i optimizacija resursa.
  • Rjeลกavanje kvarova ฤvorova i osiguravanje visoke dostupnosti.

Primjer: Prilikom proลกirenja klastera sa 100 na 200 ฤvorova, administrator planira kapacitet, prilagoฤ‘ava faktore replikacije, aลพurira konfiguracije i prati performanse kako bi sprijeฤio uska grla.


3) Kako HDFS rjeลกava replikaciju podataka za toleranciju greลกaka? Objasnite zadano ponaลกanje.

HDFS osigurava tolerancija greลกaka repliciranjem blokova podataka na viลกe DataNode-ovaPrema zadanim postavkama, svaki se blok replicira tri puta (faktor replikacije = 3), iako se to moลพe konfigurirati.

Kako radi:

  • Kada se datoteka zapiลกe, NameNode dodjeljuje blokove DataNodesima.
  • Svaki blok se replicira na razliฤitim ฤvorovima (i idealno na razliฤitim stalcima kako bi se izbjegli kvarovi na razini stalka).
  • Ako DataNode zakaลพe, sustav se automatski oporavlja repliciranjem nedostajuฤ‡ih blokova iz drugih replika kako bi se odrลพao postavljeni faktor replikacije.

Prednosti:

  • Pruลพa visoku dostupnost.
  • Osigurava otpornost podataka ฤak i kada ฤvorovi zakaลพu.

4) Opiลกite uloge NameNode i DataNode u HDFS-u i kako one meฤ‘usobno djeluju.

U HDFS-u, NameNode i DataNodes implementiraju arhitekturu glavnog i radnog ฤovjeka.

  • NameNode:
    • Centralizirani posluลพitelj metapodataka.
    • Odrลพava stablo direktorija, metapodatke datoteka i lokacije blokova.
    • Prima klijentske zahtjeve za operacije s datotekama i odgovara s lokacijama blokova.
  • ฤŒvorovi podataka:
    • Pohrani stvarne blokove podataka.
    • Izvjeลกtavaj status bloka NameNodeu u intervalima.

Primjer interakcije: Klijent koji ฤita datoteku prvo kontaktira NameNode kako bi dohvatio lokacije blokova, a zatim odlazi na svaki DataNode kako bi izravno dohvatio podatke o bloku.


5) Objasnite Hadoop YARN i njegovu ulogu u upravljanju resursima.

YARN (joลก jedan pregovaraฤ o resursima) je Hadoopov sloj za upravljanje resursima koji odvaja upravljanje resursima od obrade podataka (MapReduce).

Uloge:

  • Upravitelj resursa: Glavna usluga koja upravlja resursima klastera i otprema kontejnere.
  • Upravitelj ฤvorova: Izvodi se na svakom ฤvoru, izvjeลกtava o koriลกtenju resursa ResourceManageru i upravlja spremnicima na ฤvoru.

Prednosti PREฤE:

  • Omoguฤ‡uje razliฤite alate za obradu podataka (Spark, Tez) za pokretanje na Hadoopu.
  • Poboljลกava skalabilnost i iskoriลกtenost resursa.

6) ล to je sekundarni NameNode? Po ฤemu se razlikuje od HA NameNode postavke?

The Sekundarni naziv ฤvora periodiฤki spaja zapisnike ureฤ‘ivanja NameNode-a sa slikom datoteฤnog sustava kako bi veliฤina ostala upravljiva. Nije NameNode s failoverom.

Razlika u odnosu na postavku visoke dostupnosti (HA):

svojstvo Sekundarni naziv ฤvora HA NameNode
funkcija Spajanje metapodataka sigurnosnih kopija Pruลพa moguฤ‡nost prebacivanja na drugi sustav
Rjeลกavanje kvarova Ne zamjenjuje neuspjeli NameNode Pripravnost preuzima kontrolu
Svrha Uredi upravljanje zapisnicima Neprekidna dostupnost usluge

HA postavka koristi Zookeeper Failover Controller i viลกe NameNode-ova za odrลพavanje vremena rada.


7) ล to je Rack Awareness i zaลกto je vaลพan?

Rack Awareness je znaฤajka Hadoop-a koja prepoznaje fiziฤku topologiju ฤvorova u razliฤitim raccima i postavlja replike podataka po stalcima kako bi se smanjio rizik od kvarova na razini cijelog stalka.

Zaลกto je to vaลพno:

  • Distribuira replike po raccima kako bi se poboljลกala tolerancija greลกaka.
  • Smanjuje mreลพni promet optimizacijom lokacije ฤitanja/pisanja podataka.

Primjer: Ako Rack A zakaลพe, replike na Rack B i Rack C omoguฤ‡uju klasteru da nastavi posluลพivati โ€‹โ€‹podatke bez prekida.


8) Kako se izvodi postupna nadogradnja u Hadoop klasterima? Zaลกto je to korisno?

A nadogradnja na tekuฤ‡em sustavu omoguฤ‡uje nadogradnju komponenti Hadoop klastera jedan ฤvor odjednom bez zaustavljanjaping cijeli klaster.

Koraci:

  1. Upgrade DataNode ili usluga na jednom ฤvoru.
  2. Potvrdite stabilnost.
  3. Nastavite do sljedeฤ‡eg ฤvora.

Prednosti:

  • Minimizira vrijeme zastoja.
  • Odrลพava usluge u radu dok se primjenjuju aลพuriranja.

9) Koje alate Hadoop administrator moลพe koristiti za praฤ‡enje zdravlja klastera?

Administratori koriste operativne alate za tracperformanse k klastera i proaktivno otkrivanje problema. Uobiฤajeni alati za praฤ‡enje ukljuฤuju:

  • Apaลก Ambari
  • Cloudera Manager
  • Ganglije
  • Nagios

Ovi alati pruลพaju nadzorne ploฤe, upozorenja i metrike za status ฤvora, koriลกtenje resursa i stanje posla.


10) Objasnite Hadoop Balancer i njegovu svrhu.

The Hadoop Balancer redistribuira HDFS podatke kako bi odrลพao uravnoteลพena upotreba diska na DataNodesima.

Sluฤajevi upotrebe:

  • Nakon dodavanja novih ฤvorova.
  • Za ponovno uravnoteลพenje kada su podaci neravnomjerni zbog dodavanja ili brisanja ฤvorova.

11) ล to je DistCp i kada biste ga koristili?

DistCp (Distribuirana kopija) koristi se za kopiranje velikih skupova podataka izmeฤ‘u klastera ili izmeฤ‘u datoteฤnih sustava koriลกtenjem MapReducea za paralelizam.

Sluฤajevi upotrebe:

  • Cluster migracija.
  • Sigurnosna kopija izmeฤ‘u podatkovnih centara.

12) Kako Kerberos autentifikacija poboljลกava sigurnost Hadoop-a?

Kerberos je protokol za mreลพnu autentifikaciju koji pruลพa sigurna autentifikacija korisnika i usluga za Hadoop.

Prednosti:

  • Sprjeฤava neovlaลกteni pristup.
  • Koristi ulaznice i ลกifrirane tokene umjesto vjerodajnica u obiฤnom tekstu.

13) Kako administrator moลพe dodati ili ukloniti DataNode u aktivnom Hadoop klasteru?

Za dodavanje podatkovnog ฤvora:

  1. Instalirajte Hadoop.
  2. Konfigurirajte jezgru i HDFS lokaciju s odgovarajuฤ‡im postavkama klastera.
  3. Pokrenite uslugu DataNode.
  4. NameNode ga automatski detektira.

Za uklanjanje DataNode-a:

  1. Dekomisioniranje putem HDFS konfiguracije.
  2. Validirajte replikaciju podataka.
  3. Zaustavi uslugu.

To osigurava integritet podataka i neprekidan rad.


14) Navedite kljuฤne Hadoop demone potrebne za funkcionalni klaster.

Hadoop klaster zahtijeva nekoliko demone za rad:

  • NameNode
  • ฤŒvor podataka
  • Upravitelj resursa
  • Upravitelj ฤvorova
  • SekundarniNazivฤŒvora / RezervniNazivฤŒvora (za HA)

15) ล to su planeri u YARN-u i po ฤemu se razlikuju?

YARN podrลพava viลกe rasporeฤ‘ivaฤa za upravljati alokacijom resursa:

Raspored Description
Raspored kapaciteta Osigurava kapacitet i pravednost za najmoprimce u okruลพenjima s viลกe najmoprimaca.
Raspored sajmova Dijeli resurse tako da svi poslovi s vremenom dobiju pravednu raspodjelu.

Kapacitet je prikladan za predvidljiva radna optereฤ‡enja; Dobar je prikladan kada je potreban jednak napredak.


16) ล to su Hadoop brojaฤi i kako su korisni?

Hadoop brojaฤi su ugraฤ‘ene metrike koje tracnapredak zadataka i statistika, kao ลกto su proฤitani/pisani zapisi, neuspjeli zadaci i prilagoฤ‘eni brojaฤi. Pomaลพu u analizi performansi i otklanjanju pogreลกaka.


17) Kako Hadoop rjeลกava kvarove ฤvorova i koje radnje administrator treba poduzeti tijekom kvarova?

Hadoop je arhitektiran s Tolerancija greลกaka kao temeljni princip dizajna, ลกto omoguฤ‡uje klasterima da nastave s radom ฤak i kada pojedinaฤni ฤvorovi zakaลพu. Kvarovi se otkrivaju pomoฤ‡u otkucaji srca i izvjeลกฤ‡a o blokiranju periodiฤki se ลกalju iz DataNode-ova i NodeManager-ova u NameNode i ResourceManager. Kada se otkucaj srca propusti iznad konfiguriranog praga, Hadoop oznaฤava ฤvor kao mrtav.

Iz perspektive administratora, radnje ukljuฤuju provjeru je li kvar privremen (problem s mreลพom ili diskom) ili trajan (kvar hardvera). HDFS automatski ponovno replicira blokove pohranjene na neuspjelom ฤvoru kako bi odrลพao konfigurirani faktor replikacije.

Administrativne radnje ukljuฤuju:

  • Provjera zapisnika NameNode i DataNode.
  • Trฤanje hdfs dfsadmin -report kako bi se potvrdilo zdravlje replikacije.
  • Pravilno dekomisioniranje trajno neispravnih ฤvorova.
  • Zamjena hardvera i ponovno puลกtanje u rad ฤvorova ako je potrebno.

Primjer: Ako kvar diska uzrokuje pad DataNode-a, Hadoop ponovno uravnoteลพuje podatke dok administrator planira zamjenu diska bez prekida rada klastera.


18) Objasnite ลพivotni ciklus Hadoop klastera od instalacije do dekomisije.

The ลฝivotni ciklus Hadoop klastera odnosi se na cjelokupno upravljanje klasterom, od poฤetnog postavljanja do umirovljenja. Administratori moraju paลพljivo upravljati svakom fazom kako bi osigurali pouzdanost i performanse.

Faze ลพivotnog ciklusa:

  1. Planiranje: Dimenzioniranje hardvera, topologija mreลพe, procjena pohrane.
  2. Instalacija: Jaฤanje OS-a, instalacija Hadoop binarnih datoteka.
  3. konfiguracija: HDFS, PREฤA, sigurnost, svjesnost o stalku.
  4. Operaticije: Praฤ‡enje, skaliranje, podeลกavanje, krpanje.
  5. Optimizacija: Balansiranje, podeลกavanje rasporeda, planiranje kapaciteta.
  6. Stavljanje van pogona: Sigurno uklanjanje ฤvorova i migracija podataka.

Primjer: Tijekom faza rasta, administratori dodaju ฤvorove i rebalansiraju pohranu, dok se tijekom umirovljenja DistCp koristi za migraciju podataka u novije klastere prije dekomisioniranja.

Ovaj pristup ลพivotnom ciklusu osigurava stabilnost, skalabilnost i isplativost u Hadoop okruลพenjima.


19) Koje su razliฤite vrste Hadoop klastera i kada ih treba koristiti?

Hadoop podrลพava tri naฤina implementacije klastera, svaki prilagoฤ‘en razliฤitim fazama razvoja i poslovanja.

naฤin Karakteristike Koristite sluฤaj
Samostalan naฤin rada Nema demona, lokalni datoteฤni sustav Uฤenje i ispravljanje pogreลกaka
Pseudo-distribuirani naฤin rada Svi demoni na jednom ฤvoru Razvoj i testiranje
Potpuno distribuirani naฤin rada Demoni na viลกe ฤvorova Radno optereฤ‡enje u proizvodnji

Samostalni naฤin rada eliminira optereฤ‡enje HDFS-a, dok pseudodistribuirani simulira stvarni klaster. Potpuno distribuirani naฤin rada kljuฤan je za poslovna okruลพenja.

Primjer: Programeri piลกu MapReduce poslove u pseudodistribuiranom naฤinu rada prije nego ลกto ih implementiraju u potpuno distribuirane produkcijske klastere kojima upravljaju administratori.


20) Koja je razlika izmeฤ‘u veliฤine bloka HDFS-a i faktora replikacije?

The veliฤina bloka definira kako se veliki dijelovi podataka dijele u HDFS-u, dok faktor replikacije odreฤ‘uje koliko se kopija svakog bloka pohranjuje.

Aspekt Veliฤina bloka Faktor replikacije
Svrha Particioniranje podataka Tolerancija kvarova
Zadano 128 MB 3
Utjecaj Izvoฤ‘enje Dostupnost

Veฤ‡e veliฤine blokova smanjuju optereฤ‡enje metapodataka i poboljลกavaju sekvencijalno ฤitanje, dok veฤ‡a replikacija poveฤ‡ava pouzdanost nauลกtrb prostora za pohranu.

Primjer: Radno optereฤ‡enje video analitike ima koristi od velikih veliฤina blokova, dok kritiฤni financijski podaci mogu zahtijevati veฤ‡u replikaciju radi trajnosti.


21) Kako osigurati Hadoop klaster i koje su glavne sigurnosne komponente ukljuฤene?

Za osiguranje Hadoopa potrebno je viลกeslojni pristup rjeลกavanje autentifikacije, autorizacije, ลกifriranja i revizije. Administratori obiฤno integriraju Hadoop s okvirima za sigurnost poduzeฤ‡a.

Kljuฤne sigurnosne komponente:

  • Kerberos: Snaลพna autentifikacija.
  • HDFS dozvole i ACL-ovi: Autorizacija.
  • ล ifriranje: Podaci u mirovanju i u tranzitu.
  • Zapisnici revizije: Usklaฤ‘enost i traclakoฤ‡a.

Primjer: U reguliranoj industriji, Kerberos sprjeฤava laลพno predstavljanje, dok ลกifrirani HDFS osigurava da osjetljivi podaci ostanu zaลกtiฤ‡eni ฤak i ako su diskovi kompromitirani.

Sigurno Hadoop okruลพenje uravnoteลพuje zaลกtitu s performansama i upotrebljivoลกฤ‡u.


22) Objasnite prednosti i nedostatke Hadoop-a kao platforme za velike podatke.

Hadoop se i dalje ลกiroko koristi zbog svoje skalabilnosti i isplativosti, ali ima i ograniฤenja.

Prednosti Nedostaci
Horizontalna skalabilnost Visoka latencija
Tolerancija kvarova Sloลพeno upravljanje
Isplativo skladiลกtenje Nije idealno za rad u stvarnom vremenu
Otvoreni ekosustav Strma krivulja uฤenja

Primjer: Hadoop se istiฤe u serijskoj analitici za obradu logova, ali je manje prikladan za transakcijske sustave s niskom latencijom.

Razumijevanje ovih kompromisa pomaลพe administratorima da prikladno pozicioniraju Hadoop unutar arhitektura podataka.


23) Koji ฤimbenici utjeฤu na performanse Hadoop-a i kako ih administratori mogu optimizirati?

Performanse Hadoopa ovise o hardver, konfiguracija i obrasci radnog optereฤ‡enjaAdministratori kontinuirano podeลกavaju klastere kako bi ispunili SLA-ove.

Kljuฤni ฤimbenici performansi:

  • Diskovni I/O i mreลพna propusnost.
  • Veliฤina bloka i replikacija.
  • Konfiguracija YARN rasporeฤ‘ivaฤa.
  • Podeลกavanje JVM memorije.

Tehnike optimizacije ukljuฤuju:

  • Poveฤ‡anje veliฤine bloka za velike datoteke.
  • Omoguฤ‡avanje kompresije.
  • Uravnoteลพavanje distribucije podataka.
  • Spremnici odgovarajuฤ‡e veliฤine.

Primjer: Nepravilno dimenzioniranje YARN spremnika moลพe uzrokovati neuspjehe u poslu ili nedovoljnu iskoriลกtenost, ลกto administratori rjeลกavaju podeลกavanjem.


24) ล to je Hadoop visoka dostupnost (HA) i zaลกto je kljuฤna u produkciji?

Hadoop HA eliminira pojedinaฤne toฤke kvara, posebno na razini NameNode-a. Koristi Aktivni i pripravni nazivni ฤvorovi koordinira ZooKeeper.

Zaลกto je HA kljuฤna:

  • Sprjeฤava zastoj klastera.
  • Osigurava kontinuirani pristup HDFS-u.
  • Ispunjava zahtjeve dostupnosti za poduzeฤ‡a.

Primjer: Ako se Active NameNode sruลกi, Standby automatski preuzima, osiguravajuฤ‡i neprekidan rad za korisnike i aplikacije.


25) Po ฤemu se Hadoop razlikuje od tradicionalnih RDBMS sustava? Odgovorite s primjerima.

Hadoop i RDBMS zadovoljavaju razliฤite potrebe obrade podataka.

Hadoop RDBMS
Shema-on-read Shema-na-pisati
Distribuirana pohrana Centralizirano skladiลกtenje
Obraฤ‘uje nestrukturirane podatke Samo strukturirani podaci
Grupno orijentirano Transakcijski orijentirano

Primjer: Hadoop obraฤ‘uje terabajte datoteka zapisnika, dok RDBMS obraฤ‘uje bankovne transakcije koje zahtijevaju usklaฤ‘enost s ACID-om.


26) Kada bi organizacija trebala migrirati s Hadoop-a na moderne podatkovne platforme ili integrirati obje?

Organizacije migriraju ili integriraju Hadoop kada analitika u stvarnom vremenu, elastiฤnost oblaka ili pojednostavljeno upravljanje postaju prioriteti. Meฤ‘utim, Hadoop ostaje vrijedan za arhiviranje velikih razmjera i skupnu obradu.

ฤŒimbenici migracije ili integracije:

  • Zahtjevi za latenciju.
  • Operacionalna sloลพenost.
  • Strategija usvajanja oblaka.
  • Troลกkovni aspekti.

Primjer: Mnoga poduzeฤ‡a integriraju Hadoop s Spark ili pohranu objekata u oblaku, odrลพavajuฤ‡i Hadoop za hladne podatke dok moderne platforme obraฤ‘uju analitiku.


27) Objasnite ulogu ZooKeepera u Hadoop ekosustavu i zaลกto se administratori oslanjaju na njega.

Apache ZooKeeper svira kljuฤna koordinacijska uloga u distribuiranim Hadoop okruลพenjima. Pruลพa centralizirane usluge kao ลกto su upravljanje konfiguracijom, imenovanje, sinkronizacija i izbor voฤ‘e. Hadoop administratori se prvenstveno oslanjaju na ZooKeeper za podrลกku Visoka dostupnost (HA) i distribuirani konsenzus.

U Hadoop HA, ZooKeeper upravlja stanjem aktivnih i pripravnih NameNodes pomoฤ‡u ZooKeeper kontroleri za prebacivanje u sluฤaju kvara (ZKFC)Osigurava da samo jedan NameNode ostane aktivan u bilo kojem trenutku, sprjeฤavajuฤ‡i scenarije podjele mozga. ZooKeeper takoฤ‘er pohranjuje efemerne znodeove koji automatski nestaju ako usluga zakaลพe, omoguฤ‡ujuฤ‡i brzo otkrivanje kvarova.

Primjer: Kada se Active NameNode sruลกi, ZooKeeper detektira gubitak sesije i pokreฤ‡e automatsko prebacivanje na Standby NameNode bez ruฤne intervencije. Bez ZooKeepera, HA na razini poduzeฤ‡a bila bi nepouzdana i sloลพena.


28) Kako Hadoop rjeลกava lokalizaciju podataka i zaลกto je to vaลพno za performanse?

Lokalnost podataka odnosi se na Hadoopovu sposobnost da premjestiti izraฤune bliลพe podacima umjesto premjeลกtanja podataka preko mreลพeOvaj princip znaฤajno poboljลกava performanse minimiziranjem mreลพnih I/O operacija, ลกto je jedna od najskupljih operacija u distribuiranim sustavima.

Kada se zadatak poลกalje, YARN pokuลกava zakazati zadatke na ฤvorovima gdje se veฤ‡ nalaze potrebni HDFS blokovi podataka. Ako to nije moguฤ‡e, pokuลกava s lokalnim zakazivanjem u racku prije nego ลกto se vrati na izvrลกavanje izvan racka.

Prednosti lokalnosti podataka:

  • Smanjeno zaguลกenje mreลพe.
  • Brลพe izvrลกenje posla.
  • Poboljลกana uฤinkovitost klastera.

Primjer: MapReduce zadatak koji obraฤ‘uje 10 TB podataka zapisnika izvrลกava se brลพe kada se zadaci mapiranja izvode na DataNodesima koji hostiraju blokove umjesto da se podaci prevlaฤe izmeฤ‘u rackova. Administratori osiguravaju pravilnu svjesnost o racku kako bi maksimizirali lokalnost.


29) ล to je Hadoop Snapshot i kako pomaลพe administratorima u upravljanju zaลกtitom podataka?

HDFS snimke pruลพaju kopije samo za ฤitanje u odreฤ‘enom trenutku direktorija, ลกto administratorima omoguฤ‡uje oporavak podataka od sluฤajnog brisanja ili oลกteฤ‡enja. Snimke su vrlo prostorno uฤinkovite jer koriste semantika kopiranja prilikom pisanja, pohranjujuฤ‡i samo promijenjene blokove podataka.

Snimke su posebno vrijedne u produkcijskim okruลพenjima gdje korisnici imaju pristup pisanju kritiฤnih skupova podataka. Administratori mogu omoguฤ‡iti snimke na odabranim direktorijima i upravljati pravilima zadrลพavanja.

Sluฤajevi upotrebe ukljuฤuju:

  • Zaลกtita od sluฤajnog brisanja.
  • Sigurnosna kopija i oporavak.
  • Usklaฤ‘enost i revizija.

Primjer: Ako korisnik sluฤajno izbriลกe vaลพan skup podataka, administrator ga moลพe odmah vratiti iz snimke stanja umjesto skupog potpunog vraฤ‡anja iz sigurnosne kopije.


30) Objasnite razliku izmeฤ‘u sigurnog naฤina rada HDFS-a i naฤina rada za odrลพavanje.

I sigurni naฤin rada i naฤin rada za odrลพavanje koriste administratori, ali oni sluลพe razliฤite operativne svrhe.

svojstvo Safe Mode Naฤin odrลพavanja
Svrha ล titi datoteฤni sustav tijekom pokretanja Omoguฤ‡uje odrลพavanje ฤvora
Pisati Operama onesposobljen Omoguฤ‡eno
Okidaฤ Automatski ili ruฤni Priruฤnik
Djelokrug Cijeli klaster Odabrani ฤvorovi

Sigurni naฤin rada sprjeฤava promjene dok NameNode provjerava izvjeลกฤ‡a o blokovima tijekom pokretanja. Naฤin rada za odrลพavanje omoguฤ‡uje administratorima privremeno uklanjanje ฤvorova radi servisiranja bez pokretanja masovne ponovne replikacije.

Primjer: Tijekom nadogradnje hardvera, naฤin rada za odrลพavanje sprjeฤava nepotrebno premjeลกtanje podataka dok se diskovi zamjenjuju.


๐Ÿ” Najฤeลกฤ‡a pitanja za intervju za Hadoop sa stvarnim scenarijima i strateลกkim odgovorima

1) ล to je Hadoop i zaลกto se koristi u obradi podataka velikih razmjera?

Oฤekivano od kandidata: Anketar ลพeli procijeniti vaลกe temeljno razumijevanje Hadoop-a i njegove vrijednosti u rukovanju velikim podacima. Traลพi jasnoฤ‡u o kljuฤnim konceptima i praktiฤnim koristima.

Primjer odgovora: โ€žHadoop je okvir otvorenog koda dizajniran za distribuiranu pohranu i obradu velikih skupova podataka na klasterima standardne hardverske opreme. Koristi se jer nudi skalabilnost, toleranciju na pogreลกke i isplativost pri radu s ogromnim koliฤinama strukturiranih i nestrukturiranih podataka.โ€œ


2) Moลพete li objasniti glavne komponente Hadoop ekosustava?

Oฤekivano od kandidata: Anketar procjenjuje vaลกe znanje o Hadoop arhitekturi i kako njezine komponente funkcioniraju zajedno.

Primjer odgovora: โ€žOsnovne komponente Hadoopa ukljuฤuju HDFS za distribuiranu pohranu, YARN za upravljanje resursima i MapReduce za distribuiranu obradu podataka. Osim toga, alati poput Hivea, Piga i HBasea proลกiruju Hadoopove moguฤ‡nosti za upite, skriptiranje i pristup u stvarnom vremenu.โ€œ


3) Kako Hadoop osigurava toleranciju greลกaka u distribuiranom okruลพenju?

Oฤekivano od kandidata: Anketar ลพeli razumjeti vaลกe razumijevanje mehanizama pouzdanosti unutar Hadoop-a.

Primjer odgovora: โ€žHadoop osigurava toleranciju greลกaka prvenstveno replikacijom podataka u HDFS-u. Svaki blok podataka pohranjuje se na viลกe ฤvorova, pa ako jedan ฤvor zakaลพe, sustav automatski dohvaฤ‡a podatke iz druge replike i nastavlja s obradom bez prekida.โ€œ


4) Opiลกite situaciju u kojoj ste morali obraditi vrlo velik skup podataka koristeฤ‡i Hadoop.

Oฤekivano od kandidata: Anketar traลพi praktiฤno iskustvo i kako ste primijenili Hadoop u stvarnim scenarijima.

Primjer odgovora: โ€žU prethodnoj sam ulozi radio na projektu koji je ukljuฤivao obradu terabajta podataka zapisnika za analizu ponaลกanja korisnika. Koristio sam HDFS za pohranu i MapReduce poslove za agregiranje i analizu podataka, ลกto je znaฤajno smanjilo vrijeme obrade u usporedbi s tradicionalnim bazama podataka.โ€œ


5) Kako odluฤujete kada koristiti Hadoop umjesto tradicionalne relacijske baze podataka?

Oฤekivano od kandidata: Ispitivaฤ ลพeli procijeniti vaลกe vjeลกtine donoลกenja odluka i razumijevanje kompromisa.

Primjer odgovora: โ€žNa prethodnoj poziciji, procijenio sam koliฤinu, brzinu i raznolikost podataka prije nego ลกto sam odabrao Hadoop. Hadoop je odabran kada su podaci bili preveliki ili nestrukturirani za relacijske baze podataka i kada su skupna obrada i skalabilnost bili vaลพniji od transakcija u stvarnom vremenu.โ€œ


6) S kojim ste se izazovima suoฤili tijekom rada s Hadoopom i kako ste ih prevladali?

Oฤekivano od kandidata: Intervjuer testira vaลกe sposobnosti rjeลกavanja problema i otpornost.

Primjer odgovora: โ€žJedan od izazova bio je podeลกavanje performansi MapReduce poslova. Na prethodnom poslu to sam rijeลกio optimizacijom broja mapera i reducera, poboljลกanjem particioniranja podataka i koriลกtenjem kompresije za smanjenje I/O optereฤ‡enja.โ€œ


7) Kako se u Hadoopu rjeลกava sigurnost podataka i kontrola pristupa?

Oฤekivano od kandidata: Anketar ลพeli znati kako pristupate upravljanju podacima i sigurnosti u distribuiranim sustavima.

Primjer odgovora: โ€žSigurnost Hadoopa moลพe se upravljati pomoฤ‡u alata poput Kerberosa za autentifikaciju i kontrola pristupa temeljenih na ulogama putem Rangera ili Sentryja. Osiguravam da su osjetljivi podaci ลกifrirani i da su dopuลกtenja usklaฤ‘ena s pravilima sigurnosti organizacije.โ€œ


8) Opiลกite situaciju u kojoj je Hadoop zadatak neoฤekivano zakazao. Kako ste reagirali?

Oฤekivano od kandidata: Ispitivaฤ procjenjuje vaลกe vjeลกtine rjeลกavanja problema i reagiranja pod pritiskom.

Primjer odgovora: โ€žU mojoj posljednjoj ulozi, Hadoop zadatak nije uspio zbog prekida rada ฤvora tijekom obrade. Analizirao sam zapisnike, potvrdio da je HDFS replikacija obradila oporavak podataka i ponovno pokrenuo zadatak nakon prilagodbe alokacije resursa kako bih sprijeฤio sliฤne kvarove.โ€œ


9) Kako optimizirate Hadoop poslove za bolje performanse?

Oฤekivano od kandidata: Anketar traลพi dubinu vaลกe tehniฤke struฤnosti i strategija optimizacije.

Primjer odgovora: โ€žUsredotoฤujem se na minimiziranje kretanja podataka, koriลกtenje kombinatora gdje je to primjenjivo, odabir odgovarajuฤ‡ih formata datoteka poput Parquet ili ORC i podeลกavanje YARN resursa. Ove prakse pomaลพu u poboljลกanju brzine izvrลกavanja i uฤinkovitosti klastera.โ€œ


10) Kako biste objasnili Hadoop netehniฤkoj zainteresiranoj strani?

Oฤekivano od kandidata: Ispitivaฤ ลพeli procijeniti vaลกe komunikacijske vjeลกtine i sposobnost pojednostavljenja sloลพenih koncepata.

Primjer odgovora: โ€žHadoop bih objasnio kao sustav koji tvrtkama omoguฤ‡uje pohranjivanje i analizu vrlo velikih koliฤina podataka na mnogim raฤunalima istovremeno. Ovaj pristup ฤini obradu podataka brลพom, pouzdanijom i isplativijom za analitiku velikih razmjera.โ€œ

Saลพmite ovu objavu uz: