Top 30 pitanja i odgovora za Hadoop administratorski intervju (2026.)

Priprema za razgovor za mjesto administratora Hadoop sustava znaฤi predviฤanje izazova, odgovornosti i oฤekivanja koja definiraju operacije klastera u stvarnom svijetu. Ova pitanja za razgovor za mjesto administratora Hadoop sustava otkrivaju prosudbu, dubinu rjeลกavanja problema i spremnost pod pritiskom.
Snaลพna priprema otvara radna mjesta na razliฤitim podatkovnim platformama, odraลพavajuฤi potraลพnju industrije i praktiฤni utjecaj. Poslodavci cijene tehniฤko iskustvo, praktiฤnu analizu i dokazane vjeลกtine od poฤetnika do viลกih struฤnjaka, ukljuฤujuฤi menadลพere i voditelje timova, koje pokrivaju osnovnu do naprednu administraciju, iskustvo u stvarnoj proizvodnji i dubinsko rjeลกavanje problema za iskusni, srednji i dugoroฤni karijerni rast. ฤitaj viลกeโฆ
๐ Besplatno preuzimanje PDF-a: Pitanja i odgovori za razgovor za mjesto Hadoop administratora
Najฤeลกฤa pitanja i odgovori za razgovor za posao administratora Hadoop-a
1) Objasnite ลกto je Apache Hadoop i navedite njegove kljuฤne komponente.
Apache Hadoop je distribuirani raฤunalni okvir otvorenog koda dizajniran za pohranu i obradu velikih koliฤina podataka u klasterima standardne hardverske opreme na naฤin otporan na greลกke. Omoguฤuje organizacijama upravljanje optereฤenja velikih podataka koje tradicionalni sustavi ne mogu uฤinkovito obraditi zbog ograniฤenja volumena, raznolikosti i brzine.
Osnovne komponente:
- HDFS (Hadoop distribuirani datoteฤni sustav): Omoguฤuje distribuiranu pohranu podataka u blokovima na viลกe ฤvorova.
- YARN (Joลก jedan pregovaraฤ o resursima): Upravlja resursima klastera i rasporeฤivanjem poslova.
- MapReduce: Programski model za paralelnu obradu velikih skupova podataka. Ove komponente zajedno pomaลพu u skaliranju obrade ogromnih skupova podataka s otpornoลกฤu na kvarove ฤvorova.
Primjer: U klasteru od 50 ฤvorova, HDFS pohranjuje blokove podataka s replikacijom, MapReduce izvrลกava paralelne zadatke, a YARN dodjeljuje resurse izmeฤu pokrenutih aplikacija.
2) Koje su kljuฤne odgovornosti Hadoop administratora?
Hadoop administrator je odgovoran za osiguravanje da Hadoop ekosustav radi uฤinkovito, sigurno i s visokom dostupnoลกฤu.
Odgovornosti ukljuฤuju:
- Instaliranje, konfiguriranje i nadogradnja Hadoop klastera.
- Upravljanje HDFS i YARN uslugama.
- Praฤenje stanja i performansi klastera.
- Implementacija sigurnosti (Kerberos, dozvole za datoteke).
- Planiranje kapaciteta, replikacija podataka i optimizacija resursa.
- Rjeลกavanje kvarova ฤvorova i osiguravanje visoke dostupnosti.
Primjer: Prilikom proลกirenja klastera sa 100 na 200 ฤvorova, administrator planira kapacitet, prilagoฤava faktore replikacije, aลพurira konfiguracije i prati performanse kako bi sprijeฤio uska grla.
3) Kako HDFS rjeลกava replikaciju podataka za toleranciju greลกaka? Objasnite zadano ponaลกanje.
HDFS osigurava tolerancija greลกaka repliciranjem blokova podataka na viลกe DataNode-ovaPrema zadanim postavkama, svaki se blok replicira tri puta (faktor replikacije = 3), iako se to moลพe konfigurirati.
Kako radi:
- Kada se datoteka zapiลกe, NameNode dodjeljuje blokove DataNodesima.
- Svaki blok se replicira na razliฤitim ฤvorovima (i idealno na razliฤitim stalcima kako bi se izbjegli kvarovi na razini stalka).
- Ako DataNode zakaลพe, sustav se automatski oporavlja repliciranjem nedostajuฤih blokova iz drugih replika kako bi se odrลพao postavljeni faktor replikacije.
Prednosti:
- Pruลพa visoku dostupnost.
- Osigurava otpornost podataka ฤak i kada ฤvorovi zakaลพu.
4) Opiลกite uloge NameNode i DataNode u HDFS-u i kako one meฤusobno djeluju.
U HDFS-u, NameNode i DataNodes implementiraju arhitekturu glavnog i radnog ฤovjeka.
- NameNode:
- Centralizirani posluลพitelj metapodataka.
- Odrลพava stablo direktorija, metapodatke datoteka i lokacije blokova.
- Prima klijentske zahtjeve za operacije s datotekama i odgovara s lokacijama blokova.
- ฤvorovi podataka:
- Pohrani stvarne blokove podataka.
- Izvjeลกtavaj status bloka NameNodeu u intervalima.
Primjer interakcije: Klijent koji ฤita datoteku prvo kontaktira NameNode kako bi dohvatio lokacije blokova, a zatim odlazi na svaki DataNode kako bi izravno dohvatio podatke o bloku.
5) Objasnite Hadoop YARN i njegovu ulogu u upravljanju resursima.
YARN (joลก jedan pregovaraฤ o resursima) je Hadoopov sloj za upravljanje resursima koji odvaja upravljanje resursima od obrade podataka (MapReduce).
Uloge:
- Upravitelj resursa: Glavna usluga koja upravlja resursima klastera i otprema kontejnere.
- Upravitelj ฤvorova: Izvodi se na svakom ฤvoru, izvjeลกtava o koriลกtenju resursa ResourceManageru i upravlja spremnicima na ฤvoru.
Prednosti PREฤE:
- Omoguฤuje razliฤite alate za obradu podataka (Spark, Tez) za pokretanje na Hadoopu.
- Poboljลกava skalabilnost i iskoriลกtenost resursa.
6) ล to je sekundarni NameNode? Po ฤemu se razlikuje od HA NameNode postavke?
The Sekundarni naziv ฤvora periodiฤki spaja zapisnike ureฤivanja NameNode-a sa slikom datoteฤnog sustava kako bi veliฤina ostala upravljiva. Nije NameNode s failoverom.
Razlika u odnosu na postavku visoke dostupnosti (HA):
| svojstvo | Sekundarni naziv ฤvora | HA NameNode |
|---|---|---|
| funkcija | Spajanje metapodataka sigurnosnih kopija | Pruลพa moguฤnost prebacivanja na drugi sustav |
| Rjeลกavanje kvarova | Ne zamjenjuje neuspjeli NameNode | Pripravnost preuzima kontrolu |
| Svrha | Uredi upravljanje zapisnicima | Neprekidna dostupnost usluge |
HA postavka koristi Zookeeper Failover Controller i viลกe NameNode-ova za odrลพavanje vremena rada.
7) ล to je Rack Awareness i zaลกto je vaลพan?
Rack Awareness je znaฤajka Hadoop-a koja prepoznaje fiziฤku topologiju ฤvorova u razliฤitim raccima i postavlja replike podataka po stalcima kako bi se smanjio rizik od kvarova na razini cijelog stalka.
Zaลกto je to vaลพno:
- Distribuira replike po raccima kako bi se poboljลกala tolerancija greลกaka.
- Smanjuje mreลพni promet optimizacijom lokacije ฤitanja/pisanja podataka.
Primjer: Ako Rack A zakaลพe, replike na Rack B i Rack C omoguฤuju klasteru da nastavi posluลพivati โโpodatke bez prekida.
8) Kako se izvodi postupna nadogradnja u Hadoop klasterima? Zaลกto je to korisno?
A nadogradnja na tekuฤem sustavu omoguฤuje nadogradnju komponenti Hadoop klastera jedan ฤvor odjednom bez zaustavljanjaping cijeli klaster.
Koraci:
- Upgrade DataNode ili usluga na jednom ฤvoru.
- Potvrdite stabilnost.
- Nastavite do sljedeฤeg ฤvora.
Prednosti:
- Minimizira vrijeme zastoja.
- Odrลพava usluge u radu dok se primjenjuju aลพuriranja.
9) Koje alate Hadoop administrator moลพe koristiti za praฤenje zdravlja klastera?
Administratori koriste operativne alate za tracperformanse k klastera i proaktivno otkrivanje problema. Uobiฤajeni alati za praฤenje ukljuฤuju:
- Apaลก Ambari
- Cloudera Manager
- Ganglije
- Nagios
Ovi alati pruลพaju nadzorne ploฤe, upozorenja i metrike za status ฤvora, koriลกtenje resursa i stanje posla.
10) Objasnite Hadoop Balancer i njegovu svrhu.
The Hadoop Balancer redistribuira HDFS podatke kako bi odrลพao uravnoteลพena upotreba diska na DataNodesima.
Sluฤajevi upotrebe:
- Nakon dodavanja novih ฤvorova.
- Za ponovno uravnoteลพenje kada su podaci neravnomjerni zbog dodavanja ili brisanja ฤvorova.
11) ล to je DistCp i kada biste ga koristili?
DistCp (Distribuirana kopija) koristi se za kopiranje velikih skupova podataka izmeฤu klastera ili izmeฤu datoteฤnih sustava koriลกtenjem MapReducea za paralelizam.
Sluฤajevi upotrebe:
- Cluster migracija.
- Sigurnosna kopija izmeฤu podatkovnih centara.
12) Kako Kerberos autentifikacija poboljลกava sigurnost Hadoop-a?
Kerberos je protokol za mreลพnu autentifikaciju koji pruลพa sigurna autentifikacija korisnika i usluga za Hadoop.
Prednosti:
- Sprjeฤava neovlaลกteni pristup.
- Koristi ulaznice i ลกifrirane tokene umjesto vjerodajnica u obiฤnom tekstu.
13) Kako administrator moลพe dodati ili ukloniti DataNode u aktivnom Hadoop klasteru?
Za dodavanje podatkovnog ฤvora:
- Instalirajte Hadoop.
- Konfigurirajte jezgru i HDFS lokaciju s odgovarajuฤim postavkama klastera.
- Pokrenite uslugu DataNode.
- NameNode ga automatski detektira.
Za uklanjanje DataNode-a:
- Dekomisioniranje putem HDFS konfiguracije.
- Validirajte replikaciju podataka.
- Zaustavi uslugu.
To osigurava integritet podataka i neprekidan rad.
14) Navedite kljuฤne Hadoop demone potrebne za funkcionalni klaster.
Hadoop klaster zahtijeva nekoliko demone za rad:
- NameNode
- ฤvor podataka
- Upravitelj resursa
- Upravitelj ฤvorova
- SekundarniNazivฤvora / RezervniNazivฤvora (za HA)
15) ล to su planeri u YARN-u i po ฤemu se razlikuju?
YARN podrลพava viลกe rasporeฤivaฤa za upravljati alokacijom resursa:
| Raspored | Description |
|---|---|
| Raspored kapaciteta | Osigurava kapacitet i pravednost za najmoprimce u okruลพenjima s viลกe najmoprimaca. |
| Raspored sajmova | Dijeli resurse tako da svi poslovi s vremenom dobiju pravednu raspodjelu. |
Kapacitet je prikladan za predvidljiva radna optereฤenja; Dobar je prikladan kada je potreban jednak napredak.
16) ล to su Hadoop brojaฤi i kako su korisni?
Hadoop brojaฤi su ugraฤene metrike koje tracnapredak zadataka i statistika, kao ลกto su proฤitani/pisani zapisi, neuspjeli zadaci i prilagoฤeni brojaฤi. Pomaลพu u analizi performansi i otklanjanju pogreลกaka.
17) Kako Hadoop rjeลกava kvarove ฤvorova i koje radnje administrator treba poduzeti tijekom kvarova?
Hadoop je arhitektiran s Tolerancija greลกaka kao temeljni princip dizajna, ลกto omoguฤuje klasterima da nastave s radom ฤak i kada pojedinaฤni ฤvorovi zakaลพu. Kvarovi se otkrivaju pomoฤu otkucaji srca i izvjeลกฤa o blokiranju periodiฤki se ลกalju iz DataNode-ova i NodeManager-ova u NameNode i ResourceManager. Kada se otkucaj srca propusti iznad konfiguriranog praga, Hadoop oznaฤava ฤvor kao mrtav.
Iz perspektive administratora, radnje ukljuฤuju provjeru je li kvar privremen (problem s mreลพom ili diskom) ili trajan (kvar hardvera). HDFS automatski ponovno replicira blokove pohranjene na neuspjelom ฤvoru kako bi odrลพao konfigurirani faktor replikacije.
Administrativne radnje ukljuฤuju:
- Provjera zapisnika NameNode i DataNode.
- Trฤanje
hdfs dfsadmin -reportkako bi se potvrdilo zdravlje replikacije. - Pravilno dekomisioniranje trajno neispravnih ฤvorova.
- Zamjena hardvera i ponovno puลกtanje u rad ฤvorova ako je potrebno.
Primjer: Ako kvar diska uzrokuje pad DataNode-a, Hadoop ponovno uravnoteลพuje podatke dok administrator planira zamjenu diska bez prekida rada klastera.
18) Objasnite ลพivotni ciklus Hadoop klastera od instalacije do dekomisije.
The ลฝivotni ciklus Hadoop klastera odnosi se na cjelokupno upravljanje klasterom, od poฤetnog postavljanja do umirovljenja. Administratori moraju paลพljivo upravljati svakom fazom kako bi osigurali pouzdanost i performanse.
Faze ลพivotnog ciklusa:
- Planiranje: Dimenzioniranje hardvera, topologija mreลพe, procjena pohrane.
- Instalacija: Jaฤanje OS-a, instalacija Hadoop binarnih datoteka.
- konfiguracija: HDFS, PREฤA, sigurnost, svjesnost o stalku.
- Operaticije: Praฤenje, skaliranje, podeลกavanje, krpanje.
- Optimizacija: Balansiranje, podeลกavanje rasporeda, planiranje kapaciteta.
- Stavljanje van pogona: Sigurno uklanjanje ฤvorova i migracija podataka.
Primjer: Tijekom faza rasta, administratori dodaju ฤvorove i rebalansiraju pohranu, dok se tijekom umirovljenja DistCp koristi za migraciju podataka u novije klastere prije dekomisioniranja.
Ovaj pristup ลพivotnom ciklusu osigurava stabilnost, skalabilnost i isplativost u Hadoop okruลพenjima.
19) Koje su razliฤite vrste Hadoop klastera i kada ih treba koristiti?
Hadoop podrลพava tri naฤina implementacije klastera, svaki prilagoฤen razliฤitim fazama razvoja i poslovanja.
| naฤin | Karakteristike | Koristite sluฤaj |
|---|---|---|
| Samostalan naฤin rada | Nema demona, lokalni datoteฤni sustav | Uฤenje i ispravljanje pogreลกaka |
| Pseudo-distribuirani naฤin rada | Svi demoni na jednom ฤvoru | Razvoj i testiranje |
| Potpuno distribuirani naฤin rada | Demoni na viลกe ฤvorova | Radno optereฤenje u proizvodnji |
Samostalni naฤin rada eliminira optereฤenje HDFS-a, dok pseudodistribuirani simulira stvarni klaster. Potpuno distribuirani naฤin rada kljuฤan je za poslovna okruลพenja.
Primjer: Programeri piลกu MapReduce poslove u pseudodistribuiranom naฤinu rada prije nego ลกto ih implementiraju u potpuno distribuirane produkcijske klastere kojima upravljaju administratori.
20) Koja je razlika izmeฤu veliฤine bloka HDFS-a i faktora replikacije?
The veliฤina bloka definira kako se veliki dijelovi podataka dijele u HDFS-u, dok faktor replikacije odreฤuje koliko se kopija svakog bloka pohranjuje.
| Aspekt | Veliฤina bloka | Faktor replikacije |
|---|---|---|
| Svrha | Particioniranje podataka | Tolerancija kvarova |
| Zadano | 128 MB | 3 |
| Utjecaj | Izvoฤenje | Dostupnost |
Veฤe veliฤine blokova smanjuju optereฤenje metapodataka i poboljลกavaju sekvencijalno ฤitanje, dok veฤa replikacija poveฤava pouzdanost nauลกtrb prostora za pohranu.
Primjer: Radno optereฤenje video analitike ima koristi od velikih veliฤina blokova, dok kritiฤni financijski podaci mogu zahtijevati veฤu replikaciju radi trajnosti.
21) Kako osigurati Hadoop klaster i koje su glavne sigurnosne komponente ukljuฤene?
Za osiguranje Hadoopa potrebno je viลกeslojni pristup rjeลกavanje autentifikacije, autorizacije, ลกifriranja i revizije. Administratori obiฤno integriraju Hadoop s okvirima za sigurnost poduzeฤa.
Kljuฤne sigurnosne komponente:
- Kerberos: Snaลพna autentifikacija.
- HDFS dozvole i ACL-ovi: Autorizacija.
- ล ifriranje: Podaci u mirovanju i u tranzitu.
- Zapisnici revizije: Usklaฤenost i traclakoฤa.
Primjer: U reguliranoj industriji, Kerberos sprjeฤava laลพno predstavljanje, dok ลกifrirani HDFS osigurava da osjetljivi podaci ostanu zaลกtiฤeni ฤak i ako su diskovi kompromitirani.
Sigurno Hadoop okruลพenje uravnoteลพuje zaลกtitu s performansama i upotrebljivoลกฤu.
22) Objasnite prednosti i nedostatke Hadoop-a kao platforme za velike podatke.
Hadoop se i dalje ลกiroko koristi zbog svoje skalabilnosti i isplativosti, ali ima i ograniฤenja.
| Prednosti | Nedostaci |
|---|---|
| Horizontalna skalabilnost | Visoka latencija |
| Tolerancija kvarova | Sloลพeno upravljanje |
| Isplativo skladiลกtenje | Nije idealno za rad u stvarnom vremenu |
| Otvoreni ekosustav | Strma krivulja uฤenja |
Primjer: Hadoop se istiฤe u serijskoj analitici za obradu logova, ali je manje prikladan za transakcijske sustave s niskom latencijom.
Razumijevanje ovih kompromisa pomaลพe administratorima da prikladno pozicioniraju Hadoop unutar arhitektura podataka.
23) Koji ฤimbenici utjeฤu na performanse Hadoop-a i kako ih administratori mogu optimizirati?
Performanse Hadoopa ovise o hardver, konfiguracija i obrasci radnog optereฤenjaAdministratori kontinuirano podeลกavaju klastere kako bi ispunili SLA-ove.
Kljuฤni ฤimbenici performansi:
- Diskovni I/O i mreลพna propusnost.
- Veliฤina bloka i replikacija.
- Konfiguracija YARN rasporeฤivaฤa.
- Podeลกavanje JVM memorije.
Tehnike optimizacije ukljuฤuju:
- Poveฤanje veliฤine bloka za velike datoteke.
- Omoguฤavanje kompresije.
- Uravnoteลพavanje distribucije podataka.
- Spremnici odgovarajuฤe veliฤine.
Primjer: Nepravilno dimenzioniranje YARN spremnika moลพe uzrokovati neuspjehe u poslu ili nedovoljnu iskoriลกtenost, ลกto administratori rjeลกavaju podeลกavanjem.
24) ล to je Hadoop visoka dostupnost (HA) i zaลกto je kljuฤna u produkciji?
Hadoop HA eliminira pojedinaฤne toฤke kvara, posebno na razini NameNode-a. Koristi Aktivni i pripravni nazivni ฤvorovi koordinira ZooKeeper.
Zaลกto je HA kljuฤna:
- Sprjeฤava zastoj klastera.
- Osigurava kontinuirani pristup HDFS-u.
- Ispunjava zahtjeve dostupnosti za poduzeฤa.
Primjer: Ako se Active NameNode sruลกi, Standby automatski preuzima, osiguravajuฤi neprekidan rad za korisnike i aplikacije.
25) Po ฤemu se Hadoop razlikuje od tradicionalnih RDBMS sustava? Odgovorite s primjerima.
Hadoop i RDBMS zadovoljavaju razliฤite potrebe obrade podataka.
| Hadoop | RDBMS |
|---|---|
| Shema-on-read | Shema-na-pisati |
| Distribuirana pohrana | Centralizirano skladiลกtenje |
| Obraฤuje nestrukturirane podatke | Samo strukturirani podaci |
| Grupno orijentirano | Transakcijski orijentirano |
Primjer: Hadoop obraฤuje terabajte datoteka zapisnika, dok RDBMS obraฤuje bankovne transakcije koje zahtijevaju usklaฤenost s ACID-om.
26) Kada bi organizacija trebala migrirati s Hadoop-a na moderne podatkovne platforme ili integrirati obje?
Organizacije migriraju ili integriraju Hadoop kada analitika u stvarnom vremenu, elastiฤnost oblaka ili pojednostavljeno upravljanje postaju prioriteti. Meฤutim, Hadoop ostaje vrijedan za arhiviranje velikih razmjera i skupnu obradu.
ฤimbenici migracije ili integracije:
- Zahtjevi za latenciju.
- Operacionalna sloลพenost.
- Strategija usvajanja oblaka.
- Troลกkovni aspekti.
Primjer: Mnoga poduzeฤa integriraju Hadoop s Spark ili pohranu objekata u oblaku, odrลพavajuฤi Hadoop za hladne podatke dok moderne platforme obraฤuju analitiku.
27) Objasnite ulogu ZooKeepera u Hadoop ekosustavu i zaลกto se administratori oslanjaju na njega.
Apache ZooKeeper svira kljuฤna koordinacijska uloga u distribuiranim Hadoop okruลพenjima. Pruลพa centralizirane usluge kao ลกto su upravljanje konfiguracijom, imenovanje, sinkronizacija i izbor voฤe. Hadoop administratori se prvenstveno oslanjaju na ZooKeeper za podrลกku Visoka dostupnost (HA) i distribuirani konsenzus.
U Hadoop HA, ZooKeeper upravlja stanjem aktivnih i pripravnih NameNodes pomoฤu ZooKeeper kontroleri za prebacivanje u sluฤaju kvara (ZKFC)Osigurava da samo jedan NameNode ostane aktivan u bilo kojem trenutku, sprjeฤavajuฤi scenarije podjele mozga. ZooKeeper takoฤer pohranjuje efemerne znodeove koji automatski nestaju ako usluga zakaลพe, omoguฤujuฤi brzo otkrivanje kvarova.
Primjer: Kada se Active NameNode sruลกi, ZooKeeper detektira gubitak sesije i pokreฤe automatsko prebacivanje na Standby NameNode bez ruฤne intervencije. Bez ZooKeepera, HA na razini poduzeฤa bila bi nepouzdana i sloลพena.
28) Kako Hadoop rjeลกava lokalizaciju podataka i zaลกto je to vaลพno za performanse?
Lokalnost podataka odnosi se na Hadoopovu sposobnost da premjestiti izraฤune bliลพe podacima umjesto premjeลกtanja podataka preko mreลพeOvaj princip znaฤajno poboljลกava performanse minimiziranjem mreลพnih I/O operacija, ลกto je jedna od najskupljih operacija u distribuiranim sustavima.
Kada se zadatak poลกalje, YARN pokuลกava zakazati zadatke na ฤvorovima gdje se veฤ nalaze potrebni HDFS blokovi podataka. Ako to nije moguฤe, pokuลกava s lokalnim zakazivanjem u racku prije nego ลกto se vrati na izvrลกavanje izvan racka.
Prednosti lokalnosti podataka:
- Smanjeno zaguลกenje mreลพe.
- Brลพe izvrลกenje posla.
- Poboljลกana uฤinkovitost klastera.
Primjer: MapReduce zadatak koji obraฤuje 10 TB podataka zapisnika izvrลกava se brลพe kada se zadaci mapiranja izvode na DataNodesima koji hostiraju blokove umjesto da se podaci prevlaฤe izmeฤu rackova. Administratori osiguravaju pravilnu svjesnost o racku kako bi maksimizirali lokalnost.
29) ล to je Hadoop Snapshot i kako pomaลพe administratorima u upravljanju zaลกtitom podataka?
HDFS snimke pruลพaju kopije samo za ฤitanje u odreฤenom trenutku direktorija, ลกto administratorima omoguฤuje oporavak podataka od sluฤajnog brisanja ili oลกteฤenja. Snimke su vrlo prostorno uฤinkovite jer koriste semantika kopiranja prilikom pisanja, pohranjujuฤi samo promijenjene blokove podataka.
Snimke su posebno vrijedne u produkcijskim okruลพenjima gdje korisnici imaju pristup pisanju kritiฤnih skupova podataka. Administratori mogu omoguฤiti snimke na odabranim direktorijima i upravljati pravilima zadrลพavanja.
Sluฤajevi upotrebe ukljuฤuju:
- Zaลกtita od sluฤajnog brisanja.
- Sigurnosna kopija i oporavak.
- Usklaฤenost i revizija.
Primjer: Ako korisnik sluฤajno izbriลกe vaลพan skup podataka, administrator ga moลพe odmah vratiti iz snimke stanja umjesto skupog potpunog vraฤanja iz sigurnosne kopije.
30) Objasnite razliku izmeฤu sigurnog naฤina rada HDFS-a i naฤina rada za odrลพavanje.
I sigurni naฤin rada i naฤin rada za odrลพavanje koriste administratori, ali oni sluลพe razliฤite operativne svrhe.
| svojstvo | Safe Mode | Naฤin odrลพavanja |
|---|---|---|
| Svrha | ล titi datoteฤni sustav tijekom pokretanja | Omoguฤuje odrลพavanje ฤvora |
| Pisati Operama | onesposobljen | Omoguฤeno |
| Okidaฤ | Automatski ili ruฤni | Priruฤnik |
| Djelokrug | Cijeli klaster | Odabrani ฤvorovi |
Sigurni naฤin rada sprjeฤava promjene dok NameNode provjerava izvjeลกฤa o blokovima tijekom pokretanja. Naฤin rada za odrลพavanje omoguฤuje administratorima privremeno uklanjanje ฤvorova radi servisiranja bez pokretanja masovne ponovne replikacije.
Primjer: Tijekom nadogradnje hardvera, naฤin rada za odrลพavanje sprjeฤava nepotrebno premjeลกtanje podataka dok se diskovi zamjenjuju.
๐ Najฤeลกฤa pitanja za intervju za Hadoop sa stvarnim scenarijima i strateลกkim odgovorima
1) ล to je Hadoop i zaลกto se koristi u obradi podataka velikih razmjera?
Oฤekivano od kandidata: Anketar ลพeli procijeniti vaลกe temeljno razumijevanje Hadoop-a i njegove vrijednosti u rukovanju velikim podacima. Traลพi jasnoฤu o kljuฤnim konceptima i praktiฤnim koristima.
Primjer odgovora: โHadoop je okvir otvorenog koda dizajniran za distribuiranu pohranu i obradu velikih skupova podataka na klasterima standardne hardverske opreme. Koristi se jer nudi skalabilnost, toleranciju na pogreลกke i isplativost pri radu s ogromnim koliฤinama strukturiranih i nestrukturiranih podataka.โ
2) Moลพete li objasniti glavne komponente Hadoop ekosustava?
Oฤekivano od kandidata: Anketar procjenjuje vaลกe znanje o Hadoop arhitekturi i kako njezine komponente funkcioniraju zajedno.
Primjer odgovora: โOsnovne komponente Hadoopa ukljuฤuju HDFS za distribuiranu pohranu, YARN za upravljanje resursima i MapReduce za distribuiranu obradu podataka. Osim toga, alati poput Hivea, Piga i HBasea proลกiruju Hadoopove moguฤnosti za upite, skriptiranje i pristup u stvarnom vremenu.โ
3) Kako Hadoop osigurava toleranciju greลกaka u distribuiranom okruลพenju?
Oฤekivano od kandidata: Anketar ลพeli razumjeti vaลกe razumijevanje mehanizama pouzdanosti unutar Hadoop-a.
Primjer odgovora: โHadoop osigurava toleranciju greลกaka prvenstveno replikacijom podataka u HDFS-u. Svaki blok podataka pohranjuje se na viลกe ฤvorova, pa ako jedan ฤvor zakaลพe, sustav automatski dohvaฤa podatke iz druge replike i nastavlja s obradom bez prekida.โ
4) Opiลกite situaciju u kojoj ste morali obraditi vrlo velik skup podataka koristeฤi Hadoop.
Oฤekivano od kandidata: Anketar traลพi praktiฤno iskustvo i kako ste primijenili Hadoop u stvarnim scenarijima.
Primjer odgovora: โU prethodnoj sam ulozi radio na projektu koji je ukljuฤivao obradu terabajta podataka zapisnika za analizu ponaลกanja korisnika. Koristio sam HDFS za pohranu i MapReduce poslove za agregiranje i analizu podataka, ลกto je znaฤajno smanjilo vrijeme obrade u usporedbi s tradicionalnim bazama podataka.โ
5) Kako odluฤujete kada koristiti Hadoop umjesto tradicionalne relacijske baze podataka?
Oฤekivano od kandidata: Ispitivaฤ ลพeli procijeniti vaลกe vjeลกtine donoลกenja odluka i razumijevanje kompromisa.
Primjer odgovora: โNa prethodnoj poziciji, procijenio sam koliฤinu, brzinu i raznolikost podataka prije nego ลกto sam odabrao Hadoop. Hadoop je odabran kada su podaci bili preveliki ili nestrukturirani za relacijske baze podataka i kada su skupna obrada i skalabilnost bili vaลพniji od transakcija u stvarnom vremenu.โ
6) S kojim ste se izazovima suoฤili tijekom rada s Hadoopom i kako ste ih prevladali?
Oฤekivano od kandidata: Intervjuer testira vaลกe sposobnosti rjeลกavanja problema i otpornost.
Primjer odgovora: โJedan od izazova bio je podeลกavanje performansi MapReduce poslova. Na prethodnom poslu to sam rijeลกio optimizacijom broja mapera i reducera, poboljลกanjem particioniranja podataka i koriลกtenjem kompresije za smanjenje I/O optereฤenja.โ
7) Kako se u Hadoopu rjeลกava sigurnost podataka i kontrola pristupa?
Oฤekivano od kandidata: Anketar ลพeli znati kako pristupate upravljanju podacima i sigurnosti u distribuiranim sustavima.
Primjer odgovora: โSigurnost Hadoopa moลพe se upravljati pomoฤu alata poput Kerberosa za autentifikaciju i kontrola pristupa temeljenih na ulogama putem Rangera ili Sentryja. Osiguravam da su osjetljivi podaci ลกifrirani i da su dopuลกtenja usklaฤena s pravilima sigurnosti organizacije.โ
8) Opiลกite situaciju u kojoj je Hadoop zadatak neoฤekivano zakazao. Kako ste reagirali?
Oฤekivano od kandidata: Ispitivaฤ procjenjuje vaลกe vjeลกtine rjeลกavanja problema i reagiranja pod pritiskom.
Primjer odgovora: โU mojoj posljednjoj ulozi, Hadoop zadatak nije uspio zbog prekida rada ฤvora tijekom obrade. Analizirao sam zapisnike, potvrdio da je HDFS replikacija obradila oporavak podataka i ponovno pokrenuo zadatak nakon prilagodbe alokacije resursa kako bih sprijeฤio sliฤne kvarove.โ
9) Kako optimizirate Hadoop poslove za bolje performanse?
Oฤekivano od kandidata: Anketar traลพi dubinu vaลกe tehniฤke struฤnosti i strategija optimizacije.
Primjer odgovora: โUsredotoฤujem se na minimiziranje kretanja podataka, koriลกtenje kombinatora gdje je to primjenjivo, odabir odgovarajuฤih formata datoteka poput Parquet ili ORC i podeลกavanje YARN resursa. Ove prakse pomaลพu u poboljลกanju brzine izvrลกavanja i uฤinkovitosti klastera.โ
10) Kako biste objasnili Hadoop netehniฤkoj zainteresiranoj strani?
Oฤekivano od kandidata: Ispitivaฤ ลพeli procijeniti vaลกe komunikacijske vjeลกtine i sposobnost pojednostavljenja sloลพenih koncepata.
Primjer odgovora: โHadoop bih objasnio kao sustav koji tvrtkama omoguฤuje pohranjivanje i analizu vrlo velikih koliฤina podataka na mnogim raฤunalima istovremeno. Ovaj pristup ฤini obradu podataka brลพom, pouzdanijom i isplativijom za analitiku velikih razmjera.โ
