Kako se Apache Storm uspoređuje s Apacheom Spark Streaming?

Apache Storm obrađuje podatke kao kontinuirani tok s vrlo niskom latencijom, što ga čini pogodnim za obradu u stvarnom vremenu i u vremenu kraćem od sekunde. Apache Spark Streaming obrađuje podatke u mikro-serijama, obrađujući male dijelove podataka u fiksnim intervalima. Storm je idealan za stvarne slučajeve upotrebe u stvarnom vremenu, dok Spark Streaming je prikladniji za analitiku visokog protoka s nešto većom latencijom.

30 najvažnijih pitanja i odgovora za intervju za Apache Storm (2026.)

👉 Besplatno preuzimanje PDF-a: Pitanja i odgovori za intervju za Apache Storm

Najčešća pitanja i odgovori za intervju za Apache Storm

1) Što je Apache Storm?

Apache Storm je distributed real-time stream processing system dizajniran za obradu velikih količina dolaznih podataka s niskom latencijom i visokim protokom. Ističe se u analitici u stvarnom vremenu i kontinuiranom računanju, za razliku od batch sustava poput Hadoop-a koji rade na pohranjenim podacima. Storm je otporan na greške, skalabilan i dobro se integrira s vanjskim sustavima kao što su brokeri poruka, baze podataka i alati za praćenje.

2) Koje su ključne komponente Apache Storma?

Stormova arhitektura sastoji se od nekoliko ključnih komponenti koje orkestriraju obradu podataka u stvarnom vremenu:

Sastavni	Description
Nimbus	Glavni čvor koji distribuira kod, dodjeljuje zadatke i prati klaster
Nadzornik	Radni čvor koji izvršava zadatke koje je dodijelio Nimbus
Čuvar zoo vrta	Pruža distribuiranu koordinaciju i upravljanje stanjem klastera
Radni proces	Izvršava dio topologije
Izvršitelj i zadatak	Niti i jedinice obrade

Ove komponente osiguravaju distribuiranu koordinaciju, dodjelu zadataka i toleranciju grešaka u cijelom klasteru.

3) Što je topologija u Apache Stormu?

A topology U Apache Stormu, usmjereni aciklički graf (DAG) definira kako podaci teku kroz sustav. Povezuje izvore podataka (Spouts) s procesorskim jedinicama (Bolts). Nakon slanja, topologije se izvršavaju neograničeno, kontinuirano obrađujući podatke u streamu sve dok se ručno ne prekinu. Struktura i grupaping Strategije u topologiji određuju kako se n-torke (jedinice podataka) kreću i obrađuju među komponentama.

4) Objasnite izljeve i vijke u Oluji.

izljev: Spout je ulazna točka za strujanje podataka u Storm topologiju. Čita podatke iz vanjskih izvora poput datoteka, brokera poruka (npr. Kafka), API-ja itd. i emitira tuple-ove u stream.
Vijak: Bolt obrađuje dolazne n-torke. Boltovi mogu filtrirati, agregirati, spajati, pohranjivati rezultate ili emitirati nove n-torke nizvodno. Složena obrada podataka gradi se kombinacijama boltova.

5) Što je Tuple i Stream u Apache Stormu?

A tuple je osnovna struktura podataka u Stormu koja predstavlja uređeni popis vrijednosti (tj. zapis). A stream je neograničen niz tupleova koji teku kroz topologiju. Svaki tuple u streamu može pokrenuti daljnju obradu u boltovima. Tupleovi i streamovi zajedno omogućuju Stormu kontinuirani prijenos i obradu podataka.

6) Koje su različite Stream grupeping tipovi u Stormu?

Oluja podržava nekoliko stream grouping strategije za usmjeravanje tupleova od jedne komponente do druge:

Shuffle Grouping: Nasumično raspoređuje n-torke za ravnomjerno balansiranje opterećenja
Fields Groupping: Šalje n-torke s istim vrijednostima polja određenom bolt zadatku
Globalna grupaping: Usmjerava sve tupleove na jednu instancu bolta
Sve grupeping: Šalje svaku korteku svim instancama bolta
Izravna grupaping: Omogućuje eksplicitno usmjeravanje na određeni zadatak

Ove grupepingutječu na to kako se podaci particioniraju i obrađuju paralelno.

7) Kako Storm osigurava toleranciju grešaka?

Storm pruža toleranciju grešaka kombinacijom:

Nadzor zadataka: Nimbus i nadzornici ponovno pokreću neuspješne radnike
Zahvale: Vijci i izljevi potvrđuju dovršetak tuple-a
Replay: Koraci koji se ne uspiju obraditi unutar isteka vremena ponovno se reproduciraju
Koordinacija ZooKeepera: Osigurava distribuiranu kontrolu i konzistentnost klastera

Ovi mehanizmi pomažu Stormu da se elegantno oporavi od kvarova čvorova, a istovremeno osiguravaju kontinuitet obrade podataka.

8) Što su jamstva obrade poruka u Stormu?

Storm podržava tri semantike obrade:

Jamčiti	Description
Najviše jednom	Poruka se može izgubiti, ali se nikada ne može ponovno obraditi
Barem jednom	Poruka se ponovno pokušava poslati dok se ne obradi (zadano)
Točno jednom	Svaka poruka se obrađuje jednom unatoč greškama

Točno jednom se postiže mehanizmima potvrde i transakcija, obično korištenjem Trident API-ja za tijekove rada s praćenjem stanja.

9) Koja je svrha Trident API-ja?

Trident je visokorazinski API izgrađen preko Storma koji pruža:

Semantika točno jednom
Transakcijska obrada
Upravljanje državom
Pojednostavljeni model programiranja

To trbušnjacitracts Storm interne dijelove niže razine, što olakšava pisanje i održavanje složenih radnih procesa.

10) Objasnite povratni tlak u Apache Stormu.

Protutlak regulira brzinu kojom se tupleovi emitiraju u topologiju kako bi se spriječilo prelijevanje međuspremnika i iscrpljivanje resursa kada nizvodni boltovi ne mogu pratiti tempo. Storm dinamički prilagođava brzine emisija kako bi održao nesmetan protok bez gubitka podataka ili smanjenja performansi.

11) Kako se Storm uspoređuje s Apacheom Spark Streaming?

Storm obrađuje podatke u real time (kontinuirana obrada događaja) s niskom latencijom, dok Spark Streaming radi u micro-batches (obrada malih prozora podataka u intervalima). Storm je prikladan za potrebe obrade u manje od sekunde, dok Spark Streaming se ističe u visokopropusnoj, mikro-serijskoj analizi.

12) Navedite uobičajene slučajeve upotrebe Apache Storma.

Storm se široko koristi u:

Analitika i nadzorne ploče u stvarnom vremenu
Sustavi za otkrivanje prijevara
Obrada zapisnika i događaja
Obrada podataka IoT senzora
Analitika društvenih medija

Odgovara scenarijima koji zahtijevaju trenutni uvid u strujne ulaze.

13) Što je vremensko ograničenje poruke topologije?

Topology_Message_Timeout_secs definira maksimalno vrijeme dopušteno topologiji da u potpunosti obradi tuple prije nego što se smatra neuspjelim i ponovno se reproducira. To pomaže u održavanju pouzdanosti u dugim ili zaglavljenim tokovima obrade.

14) Kakav je Apache Storm Cluster Praćeno?

Oluja pruža Storm UI za vizualizaciju klastera u stvarnom vremenu (topologije, radnici, propusnost) i integrira se s alatima za praćenje poput JMX-a, Prometheusa i Grafane za metriku trackralj i uzbunjivanje.

15) Kakvu ulogu ZooKeeper igra u Stormu?

ZooKeeper upravlja koordinacijom i konfiguracijom unutar Storm klastera, održavajući distribuirane brave, izbor vođe (za Nimbus) i konzistentnost stanja klastera. To osigurava robusno upravljanje distribuiranim komponentama.

16) Kako Apache Storm postiže skalabilnost?

Apache Storm se skalira horizontalno distribuirajući izračune na više radnih čvorova i zadataka. Svaka topologija može se konfigurirati sa specifičnim parallelism hint, što određuje broj izvršitelja (niti) i zadataka po komponenti. Stormova arhitektura podržava oboje skaliranje (dodavanje niti) i skaliranje (dodavanje čvorova).

Na primjer, ako bolt ima paralelizam od 8, Storm raspoređuje svoje zadatke među 8 izvršitelja, moguće preko različitih nadzornika. Skaliranje se dinamički upravlja putem naredbi za ponovno balansiranje bez zaustavljanja.ping topologija.

17) Koje su prednosti i nedostaci korištenja Apache Storma?

Prednosti	Nedostaci
Obrada streama u stvarnom vremenu	Složeno za konfiguriranje i održavanje
Visoka propusnost i niska latencija	Za koordinaciju je potreban ZooKeeper
Otporan na greške i skalabilan	Rješavanje grešaka u distribuiranim problemima može biti izazovno
Podržava više jezika (Java, Python, Itd.).	Less učinkovito za serijska ili mikroserijska opterećenja
Jednostavna integracija s Kafkom, Hadoopom i HBaseom	Trident dodaje opterećenje za obradu točno jednom

Sažetak odgovora: Storm je idealan za analitiku u stvarnom vremenu, ali nije optimiziran za batch opterećenja ili visoko stateful operacije u usporedbi s frameworkima poput Flinka ili Spark Strukturirano strujanje.

18) Objasnite životni ciklus tuple-a u Apache Stormu.

Životni ciklus tuplea počinje u Spout i završava kada je u potpunosti obrađen i potvrđen.

Stvaranje tuplea: Spout čita i emitira tuple.
Usmjeravanje streama: Nortka putuje kroz vijke prema grupiping logika.
Obrada: Svaki vijak izvršava svoju logiku i može emitirati nove tuple-ove.
Priznanje: Nakon što svi nizvodni vijci završe, tuple se potvrđuje natrag spoutu.
Rješavanje kvarova: Ako bilo koji bolt ne uspije, Storm automatski ponavlja tuple.

Ovaj životni ciklus osigurava pouzdanost putem ugrađene ack/fail mechanism.

19) Koja je razlika između pouzdanih i nepouzdanih izljeva?

Aspekt	Pouzdan izljev	Nepouzdan izljev
torka trackralj	Tracks n-torke putem ID-ova poruka	Ne track-torki
Ponovni pokušaji	Ponovno reproducira neuspješne tuple	Nema mehanizma za ponovni pokušaj
Priznanje	Prima poruke o prijemu/neuspjehu	Nema potvrde
Upotrijebite slučaj	Financijske transakcije, otkrivanje prijevara	Agregacija zapisnika, praćenje

Primjer: KafkaSpout je obično pouzdan, dok jednostavni syslog stream spout može biti nepouzdan za brže unošenje podataka.

20) Kako se rješava konzistentnost podataka u Apache Stormu?

Konzistentnost podataka u Stormu može se održavati na sljedeći način:

Korištenje Trident API-ja za semantiku obrade točno jednom.
Idempotentne operacije kako bi se osiguralo da ponovno obrađeni tuplei ne uzrokuju duplicirane efekte.
Transakcijski izljevi/vijci za računanje stanja.
Stanje kontrolnih točaka u vanjskim sustavima poput Redisa ili Cassandra.

Na primjer, prilikom ažuriranja brojača, boltovi bi trebali koristiti atomske operacije kako bi osigurali ispravnost tijekom ponavljanja tuplea.

21) Kako se otklanjaju greške ili prate problemi s performansama u Storm topologiji?

Rješavanje problema uključuje više strategija:

Korisničko sučelje Storma: Vizualizira metrike topologije (latencija, broj tupleova, pogreške).
Dnevnici radnika: Provjerite zapisnike pod /logs/workers-artifacts/ za iznimke.
Omogući način otklanjanja pogrešaka: topology.debug=true ispisuje zapisnike toka tuple-a.
Performanse profila: Koristite metrike poput execute-latency i process-latency.
Vanjski nadzor: Integrirajte Prometheus ili Grafana nadzorne ploče.

Proaktivno praćenje metrika i profiliranje radnika pomažu u ranom prepoznavanju uskih grla.

22) Koje su ključne razlike između Apache Storma i Apache Flinka?

Parametar	Apache Storm	Apache Flash
Vrsta obrade	Čisto stvarno vrijeme (događaj po događaj)	U stvarnom vremenu i u serijama (ujedinjeno)
Upravljanje državom	Vanjski (putem Tridenta)	Ugrađen, otporan na greške
skrivenost	Pod-sekunda	Pod-sekunda
Jednostavnost korištenja	Kompleksnije	Lakše s DataStream API-jem
Jamstvo točno jednom	Opcionalno (putem Tridenta)	Narodna podrška
Povratni tlak	Ručno ili dinamično	Automatski

Sažetak odgovora: Dok je Storm bio pionir u obradi podataka u stvarnom vremenu, Flink nudi integriraniji model upravljanja stanjem, što ga čini poželjnim za složene, događajima vođene cjevovode.

23) Po čemu se Storm topologija razlikuje od MapReduce posla?

MapReduce posao obrađuje podatke u diskretnim serije, dok Storm topologija obrađuje tokove podataka neprekidno.

MapReduce: Konačan unos, izvršava se jednom, pogodno za offline analitiku.
Oluja: Beskonačni unos, radi neograničeno, idealno za analitiku u stvarnom vremenu.

U biti, Storm djeluje kao "dopuna strujanju" Hadoopovog batch okvira.

24) Objasnite koncept Anchoru Apache Stormu.

Anchoring povezuje emitirani tuple s njegovim izvornim tupleom. Omogućuje Stormu da track lozu tupleova za oporavak od greške. Kada bolt emitira novi tuple, može ga usidriti na ulazni tuple koristeći:

collector.emit(inputTuple, newTuple);

Ako bilo koja usidrena nastavna torka zakaže nizvodno, Storm može ponovno reproducirati originalnu nastavnu torku, osiguravajući pouzdanu obradu.

25) Koje čimbenike treba uzeti u obzir prilikom podešavanja performansi Apache Storma?

Podešavanje performansi uključuje optimizaciju oba configuration i topology design:

Povećati paralelizam (izvršitelji, radnici).
prilagoditi vrijeme čekanja poruke (topology.message.timeout.secs).
Optimizirajte serializacija korištenjem Kryo-a ili prilagođenih serijalizatora.
Umanjiti miješanje mreže s odgovarajućom gruping strategije.
Omogući povratni pritisak kako bi se spriječilo preopterećenje.
Praćenje Korištenje GC-a i heapa kako bi se izbjegla uska grla memorije.

Ravnoteža između paralelizma i hardverskog kapaciteta osigurava optimalnu propusnost i minimalnu latenciju.

26) Što je Trident API i kako proširuje mogućnosti Apache Storma?

The Trident API je high-level abstraction layer izgrađen na Apache Stormu osmišljenom za pojednostavljenje obrade streama uz praćenje stanja. Za razliku od osnovnog Storma, koji radi na pojedinačnim tuplovima, Trident radi na mikro-serije torki, pod uvjetom da semantika obrade točno jednom.

Uvodi trbušne mišićetraccije poput potoci, Šaržei Država Operama za lakše agregiranje, filtriranje i spajanja.

Primjer: Trident pojednostavljuje pisanje koda za brojanje korisničkih klikova ili agregiranje metrika po minuti bez ručnog upravljanja potvrdama tuple-ova ili logikom ponavljanja.

Ukratko, Trident premošćuje jaz između Stormove niskorazinske fleksibilnosti i okvira poput Spark Jednostavnost streaminga.

27) Kako integrirati Apache Storm s Apache Kafkom?

Integracija između Kafke i Storma postiže se korištenjem Kafka Spout (potrošač) i opcionalno a KafkaBolt (proizvođač).

Tipičan tok podataka:

KafkaSpout se pretplaćuje na Kafka temu i emitira tuple-ove u Storm topologiju.
Bolts obrađuje i transformira podatke.
KafkaBolt zapisuje rezultate natrag u drugu Kafka temu ili vanjski sustav.

Primjer isječka konfiguracije:

KafkaSpoutConfig<String, String> spoutConfig = KafkaSpoutConfig.builder("localhost:9092", "input-topic").build();
builder.setSpout("kafka-spout", new KafkaSpout<>(spoutConfig));

Integracija Kafka-Spouta osigurava strujanje poruka otporno na greške i skalabilno između sustava kao što su Spark, Flink ili sama Storm.

28) Koje su strategije upravljanja stanjem u Apache Stormu?

Storm podržava više strategija za upravljanje stanjem kroz vijke i izljeve:

Vrsta države	Description	Primjer upotrebe
Stanje u memoriji	Brzo, ali nepredvidivo	Privremene agregacije
Trajno stanje	Pohranjeno u vanjskim bazama podataka (npr. Redis, Cassandra)	Zapisnici transakcija, brojači
Transakcijsko stanje	Osigurava dosljednost točno jednom	Financijske transakcije
Particionirano stanje	Distribuira stanje među zadacima	Cjevovodi visoke skalabilnosti

Trident API to pojednostavljuje putem State i StateUpdater sučelja, čineći operacije stanja pouzdanijima i modularnijima.

29) Objasnite razliku između Stormovog lokalnog i Cluster načina.

Lokalni način rada: Koristi se za testiranje ili razvoj. Pokreće sve Storm komponente (Nimbus, Supervisor, Zookeeper) unutar jednog JVM procesa.
Cluster Način: Koristi se za produkciju. Nimbus i Supervisor procesi se izvode na odvojenim čvorovima, a koordinaciju obavlja ZooKeeper.

Aspekt	Lokalni način rada	Cluster način
Postavljanje	Jedan stroj	Više čvorova
Svrha	Otklanjanje pogrešaka, testiranje jedinica	Implementacija u produkciji
Brzina	Sporije za velika opterećenja	Optimizirano za izvedbu
Tolerancija kvarova	minimum	visok

Topologije možete poslati u klaster pomoću:

storm jar mytopology.jar com.example.MyTopology

30) Koje su različite vrste izvora podataka (Spouts) u Stormu?

Izljevi se mogu kategorizirati kao:

Pouzdani izljevi: Koristite ID-ove poruka za track zahvala na torkama.
Nepouzdani izljevi: Emitiraj n-torke bez trackralj (brži, ali manje pouzdan).
Transakcijski izljevi: Izdaje podatke u transakcijskim serijama (koristi se s Tridentom).

Primjeri:

KafkaSpout (pouzdan)
RabbitMQSpout (pouzdan)
RandomSpout ili FileSpout (nepouzdano)

Svaka vrsta izljeva odgovara različitim kompromisima između protoka i pouzdanosti.

🔍 Najčešća pitanja na intervjuu za Apache Storm sa stvarnim scenarijima i strateškim odgovorima

1) Što je Apache Storm i gdje se obično koristi?

Očekivano od kandidata: Anketar želi procijeniti vaše temeljno razumijevanje Apache Storma i njegovih primjena u stvarnom svijetu, posebno u okruženjima obrade podataka u stvarnom vremenu.

Primjer odgovora: „Apache Storm je distribuirani, otporan na greške okvir dizajniran za obradu streamova u stvarnom vremenu. Obično se koristi za scenarije kao što su analitika u stvarnom vremenu, obrada logova, sustavi vođeni događajima i kontinuirano računanje gdje su potrebni niska latencija i visoka propusnost.“

2) Možete li objasniti ključne komponente topologije Apache Storma?

Očekivano od kandidata: Anketar provjerava vaše znanje o Storm arhitekturi i razumijete li kako podaci teku kroz sustav.

Primjer odgovora: „Topologija Storm sastoji se od mlaznica i vijaka povezanih u usmjerenom acikličkom grafu. Mlaznice djeluju kao izvori tokova podataka, dok vijci obrađuju, transformiraju ili agregiraju podatke. Topologija definira kako podaci teku i izvršava se kontinuirano dok se ne zaustavi.“

3) Kako Apache Storm osigurava toleranciju grešaka?

Očekivano od kandidata: Anketar želi razumjeti vaše razumijevanje mehanizama pouzdanosti u distribuiranim sustavima.

Primjer odgovora: „Apache Storm osigurava toleranciju grešaka putem mehanizama sidrenja i potvrde nabora. Ako se nabor ne uspije u potpunosti obraditi unutar određenog vremenskog ograničenja, on se ponovno reproducira. Nadzornici i Nimbus također prate greške radnika i automatski ponovno pokreću zadatke kada je to potrebno.“

4) Opišite situaciju u kojoj ste optimizirali performanse Storm topologije.

Očekivano od kandidata: Anketar traži praktično iskustvo i vašu sposobnost poboljšanja učinkovitosti sustava.

Primjer odgovora: „U svojoj prethodnoj ulozi optimizirao sam Storm topologiju podešavanjem nagovještaja paralelizma i prilagođavanjem broja radnika na temelju metrike propusnosti. Također sam smanjio nepotrebnu serijalizaciju podataka između boltova, što je značajno smanjilo latenciju obrade.“

5) Kako se nosite s povratnim pritiskom u Apache Stormu?

Očekivano od kandidata: Anketar želi znati razumijete li kontrolu protoka u streaming sustavima.

Primjer odgovora: „Na prethodnoj poziciji sam se bavio povratnim tlakom omogućavanjem ugrađenih mehanizama povratnog tlaka Storma i pažljivim konfiguriranjem veličina međuspremnika. Također sam pratio sporo trošeće vijke i skalirao ih horizontalno kako bih spriječio zagušenje uzvodno.“

6) S kojim ste se izazovima suočili prilikom otklanjanja pogrešaka u Storm aplikacijama?

Očekivano od kandidata: Ispitivač procjenjuje vaše vještine rješavanja problema i upornost u složenim distribuiranim okruženjima.

Primjer odgovora: „Otklanjanje pogrešaka u Storm aplikacijama može biti izazovno zbog distribuiranog izvršavanja. Na prethodnom poslu uvelike sam se oslanjao na Storm UI, detaljno zapisivanje i prikupljanje metrika.“ tracneuspjesi n-torki i identificiranje uskih grla među radnicima i izvršiteljima.”

7) Kako se Apache Storm uspoređuje s drugim okvirima za obradu streama?

Očekivano od kandidata: Anketar želi vidjeti vašu širu svjesnost o industriji i sposobnost procjene kompromisa.

Primjer odgovora: „Apache Storm se ističe u obradi s niskom latencijom, događaj po događaj, dok se drugi okviri mogu više usredotočiti na mikro-paketiranje ili objedinjenu batch i stream obradu. Storm se često bira kada je potrebna stroga obrada u stvarnom vremenu i jednostavni modeli obrade.“

8) Opišite kako biste dizajnirali Storm topologiju za otkrivanje prijevara u stvarnom vremenu.

Očekivano od kandidata: Anketar testira vašu sposobnost primjene Storm koncepata u stvarnim scenarijima.

Primjer odgovora: „Dizajnirao bih spouts za unos događaja transakcija u stvarnom vremenu i bolts za izvođenje validacije, obogaćivanja i analize temeljene na pravilima. Stateful bolts bi…“ track sumnjivih obrazaca, a upozorenja bi se emitirala odmah kada se prekorače pragovi.”

9) Kako upravljate konfiguracijom i implementacijom u Apache Stormu?

Očekivano od kandidata: Anketar želi uvid u vaše operativno iskustvo i iskustvo raspoređivanja.

Primjer odgovora: „U svojoj posljednjoj ulozi upravljao sam konfiguracijama koristeći eksternalizirane YAML datoteke i parametre specifične za okruženje. Implementacije su bile automatizirane putem skripti, a topologije su bile verzionirane kako bi se osigurala dosljedna i ponovljiva izdanja u različitim okruženjima.“

10) Kako dajete prioritet pouzdanosti u odnosu na performanse u sustavu temeljenom na Stormu?

Očekivano od kandidata: Anketar procjenjuje vaše vještine donošenja odluka prilikom usklađivanja konkurentskih sistemskih zahtjeva.

Primjer odgovora: „Za kritične sustave dajem prioritet pouzdanosti omogućavanjem potvrda i ponovnih pokušaja, čak i ako to dodaje određenu latenciju. Nakon što je pouzdanost osigurana, postupno optimiziram performanse podešavanjem paralelizma i dodjelom resursa na temelju promatranih metrika.“