Cum se compară Apache Storm cu Apache Spark Streaming?

Apache Storm procesează datele ca un flux continuu cu o latență foarte scăzută, ceea ce le face potrivite pentru procesare în timp real și în intervale sub secundă. Apache Spark Streaming-ul procesează datele în micro-loturi, gestionând bucăți mici de date la intervale fixe. Storm este ideal pentru cazuri de utilizare în timp real, în timp ce Spark Streaming-ul este mai potrivit pentru analize de mare randament cu o latență puțin mai mare.

Top 30 de întrebări și răspunsuri pentru interviul Apache Storm (2026)

👉 Descărcare gratuită în format PDF: Întrebări și răspunsuri pentru interviul Apache Storm

Întrebări și răspunsuri importante la interviul Apache Storm

1) Ce este Apache Storm?

Furtuna Apache este o distributed real-time stream processing system Conceput pentru a procesa volume mari de date primite cu latență redusă și randament ridicat. Excelează la analize în timp real și calcul continuu, spre deosebire de sistemele batch precum Hadoop, care operează pe date stocate. Storm este tolerant la erori, scalabil și se integrează bine cu sisteme externe, cum ar fi brokerii de mesaje, bazele de date și instrumentele de monitorizare.

2) Care sunt componentele principale ale Apache Storm?

Arhitectura Storm constă din mai multe componente cheie care orchestrează procesarea datelor în timp real:

Component	Descriere
nimbus	Nodul principal care distribuie cod, atribuie sarcini și monitorizează clusterul
Supraveghetor	Nodul de lucru care execută sarcinile atribuite de Nimbus
Ingrijitor zoo	Oferă coordonare distribuită și gestionare a stării clusterului
Procesul muncitorului	Execută o parte din topologie
Executor și sarcină	Fire de acțiune și unități de lucru de procesare

Aceste componente asigură coordonarea distribuită, atribuirea sarcinilor și toleranța la erori în cadrul clusterului.

3) Ce este o topologie în Apache Storm?

A topology În Apache Storm există un graf aciclic direcționat (DAG) care definește modul în care datele circulă prin sistem. Acesta conectează sursele de date (Spouts) la unitățile de procesare (Bolts). Odată trimise, topologiile rulează pe termen nelimitat, procesând continuu datele în flux până la terminarea manuală. Structura și strategiile de grupare din topologie determină modul în care tuplurile (unitățile de date) se mișcă și sunt procesate între componente.

4) Explicați țevile și fulgerele din furtună.

spout: Un Spout este punctul de intrare pentru transmiterea datelor în flux într-o topologie Storm. Citește date din surse externe, cum ar fi fișiere, brokeri de mesaje (de exemplu, Kafka), API-uri etc. și emite tupluri în flux.
Șurub: Un Bolt procesează tuplurile primite. Bolts pot filtra, agrega, uni, persista rezultate sau emite noi tupluri în aval. Prelucrarea complexă a datelor este construită prin combinații de bolts.

5) Ce este un tuplu și un flux în Apache Storm?

A tuple este structura de date de bază în Storm, reprezentând o listă ordonată de valori (adică o înregistrare). A stream este o secvență nelimitată de tupluri care curg printr-o topologie. Fiecare tuplu dintr-un flux poate declanșa procesări ulterioare în bolturi. Tuplurile și fluxurile împreună permit lui Storm să transporte și să proceseze date continuu.

6) Care sunt diferitele tipuri de grupare a fluxurilor în Storm?

Furtuna susține mai multe stream grouping strategii pentru rutarea tuplurilor de la o componentă la următoarea:

Grupare aleatorie: Distribuie tupluri aleatoriu pentru o echilibrare uniformă a încărcării
Gruparea câmpurilor: Trimite tupluri cu aceleași valori de câmp către o anumită sarcină cu șuruburi
Grupare globală: Dirige toate tuplurile către o instanță de șuruburi
Toate grupările: Trimite fiecare tuplu către toate instanțele de șuruburi
Grupare directă: Permite rutarea explicită către o anumită sarcină

Aceste grupări influențează modul în care datele sunt partiționate și procesate în paralel.

7) Cum asigură Storm toleranța la erori?

Storm oferă toleranță la erori printr-o combinație de:

Supervizarea sarcinilor: Nimbus și supervizorii repornesc lucrătorii care nu au reușit
Recunoasteri: Șuruburile și guri de scurgere confirmă completarea tuplului
reluarea: Tuplurile care nu se procesează în timpul de expirare sunt redate
Coordonarea îngrijitorilor de la Zoo: Asigură control distribuit și consistența clusterului

Aceste mecanisme ajută Storm să se recupereze fără probleme după erorile nodurilor, asigurând în același timp continuitatea procesării datelor.

8) Ce sunt garanțiile de procesare a mesajelor în Storm?

Storm acceptă trei semantici de procesare:

Garanție	Descriere
Cel mult o dată	Mesajul s-ar putea pierde, dar nu va fi niciodată procesat.
Cel puțin o dată	Mesajul este reîncercat până la procesare (implicit)
Exact o dată	Fiecare mesaj este procesat o singură dată, în ciuda eșecurilor

„Exact o dată” se obține cu mecanisme de confirmare și tranzacționale, de obicei folosind API-ul Trident pentru fluxuri de lucru cu stări.

9) Care este scopul API-ului Trident?

Trident este o API de nivel înalt construită pe Storm care oferă:

Semantică exact-once
Procesarea tranzacțiilor
Conducerea statului
Model de programare simplificat

Abstrage elementele interne Storm de nivel inferior, facilitând scrierea și întreținerea fluxurilor de lucru complexe.

10) Explicați contrapresiunea în Apache Storm.

Contrapresiunea reglează rata la care tuplurile sunt emise în topologie pentru a preveni supraîncărcarea bufferului și epuizarea resurselor atunci când șuruburile din aval nu pot ține pasul. Storm ajustează dinamic ratele de emisie pentru a menține un debit constant, fără pierderi de date sau degradarea performanței.

11) Cum se compară Storm cu Apache Spark Streaming?

Storm procesează datele în real time (procesare continuă a evenimentelor) cu latență redusă, în timp ce Spark Streaming-ul funcționează în micro-batches (procesând ferestre mici de date la intervale). Storm este potrivit pentru nevoi de procesare sub o secundă, în timp ce Spark Streaming-ul excelează în analiza micro-loturi de mare randament.

12) Enumerați cazurile comune de utilizare ale Apache Storm.

Furtuna este utilizată pe scară largă în:

Analize și tablouri de bord în timp real
Sisteme de detectare a fraudei
Procesarea jurnalelor și a evenimentelor
Procesarea datelor senzorului IoT
Analiza rețelelor sociale

Se potrivește scenariilor care necesită informații imediate despre intrările de streaming.

13) Ce este o expirare a mesajului topologic?

Topology_Message_Timeout_secs definește timpul maxim permis pentru ca un tuplu să fie procesat complet de către topologie înainte de a fi considerat eșuat și redat. Acest lucru ajută la menținerea fiabilității în fluxurile de procesare lungi sau blocate.

14) Cum este Apache Storm Cluster Monitorizat/ă?

Furtuna oferă o Storm UI pentru vizualizarea clusterelor în timp real (topologii, workeri, randament) și se integrează cu instrumente de monitorizare precum JMX, Prometheus și Grafana pentru urmărirea metricilor și generarea de alerte.

15) Ce rol joacă ZooKeeper în Storm?

ZooKeeper gestionează coordonarea și configurarea în cadrul unui cluster Storm, menținând blocările distribuite, alegerea liderului (pentru Nimbus) și consecvența stării clusterului. Acest lucru asigură o gestionare robustă a componentelor distribuite.

16) Cum realizează Apache Storm scalabilitatea?

Apache Storm se scalează pe orizontală prin distribuirea calculelor pe mai multe noduri și sarcini de lucru. Fiecare topologie poate fi configurată cu un anumit parallelism hint, care determină numărul de executori (thread-uri) și sarcini per componentă. Arhitectura Storm suportă ambele scalând (adăugare de fire de discuție) și scalarea (adăugarea de noduri).

De exemplu, dacă un bolt are un paralelism de 8, Storm își distribuie sarcinile între 8 executori, posibil pe diferiți supervizori. Scalarea este gestionată dinamic prin comenzi de reechilibrare fără a opri topologia.

17) Care sunt avantajele și dezavantajele utilizării Apache Storm?

Avantaje	Dezavantaje
Procesarea fluxului în timp real	Complex de configurat și întreținut
Debit mare și latență scăzută	Necesită ZooKeeper pentru coordonare
Tolerant la erori și scalabil	Depanarea problemelor distribuite poate fi dificilă
Acceptă mai multe limbi (Java, Python, Etc)	Less eficient pentru sarcini de lucru în loturi sau micro-loturi
Integrare ușoară cu Kafka, Hadoop, HBase	Trident adaugă costuri suplimentare pentru procesarea unică

Rezumatul răspunsului: Storm este ideal pentru analize în timp real, dar nu este optimizat pentru sarcini de lucru în loturi sau operațiuni cu state-fulger ridicat în comparație cu framework-uri precum Flink sau Spark Streaming structurat.

18) Explicați ciclul de viață al unui tuplu în Apache Storm.

Ciclul de viață al unui tuplu începe la Spout și se termină atunci când este complet procesată și confirmată.

Crearea tuplurilor: Un spout citește și emite un tuplu.
Rutarea fluxului: Tuplul trece prin șuruburi conform logicii de grupare.
Prelucrare: Fiecare șurub își îndeplinește logica și poate emite noi tupluri.
Confirmare: Odată ce toate șuruburile din aval se termină, tuplul este confirmat înapoi către gura de scurgere.
Gestionarea defecțiunilor: Dacă vreun fulger eșuează, Storm repetă automat tuplul.

Acest ciclu de viață asigură fiabilitatea prin intermediul caracteristicilor sale încorporate ack/fail mechanism.

19) Care este diferența dintre burlanele de alimentare fiabile și cele nefiabile?

Aspect	Gură de scurgere fiabilă	Cioc de scurgere nesigur
Urmărirea tuplurilor	Urmărește tuplurile prin ID-urile mesajelor	Nu urmărește tuplurile
Reîncercări	Reluează tuplurile eșuate	Fără mecanism de reîncercare
Recunoaștere:	Primește mesaje confirmări/reușite	Fără confirmare
Utilizare caz	Tranzacții financiare, detectarea fraudelor	Agregarea jurnalelor, monitorizare

Exemplu: KafkaSpout este de obicei fiabil, în timp ce un simplu flux syslog spout poate fi nesigur pentru o ingerare mai rapidă.

20) Cum gestionați consistența datelor în Apache Storm?

Consistența datelor în Storm poate fi menținută prin:

Utilizarea API-ului Trident pentru semantica procesării exact-once.
Operații idempotente pentru a se asigura că tuplurile reprocesate nu provoacă efecte duplicate.
Șuruburi/șuruburi tranzacționale pentru calcul cu stare.
Starea punctelor de control în sisteme externe precum Redis sau Cassandra.

De exemplu, la actualizarea contoarelor, bolts ar trebui să utilizeze operații atomice pentru a asigura corectitudinea în timpul reluărilor tuplurilor.

21) Cum depanați sau monitorizați problemele de performanță într-o topologie Storm?

Depanarea implică mai multe strategii:

Interfața cu utilizatorul Storm: Vizualizează metricile topologice (latență, număr de tupluri, erori).
Jurnalele lucrătorilor: Verificați jurnalele de sub /logs/workers-artifacts/ pentru excepții.
Activează modul de depanare: topology.debug=true tipărește jurnalele fluxului de tupluri.
Performanța profilului: Utilizați valori precum execute-latency și process-latency.
Monitorizare externă: Integrați tablouri de bord Prometheus sau Grafana.

Monitorizarea proactivă a indicatorilor și crearea de profiluri ale lucrătorilor ajută la identificarea timpurie a blocajelor.

22) Care sunt principalele diferențe dintre Apache Storm și Apache Flink?

Parametru	Furtuna Apache	Apache Flash
Tip de procesare	Pur timp real (eveniment cu eveniment)	În timp real și în lot (unificat)
Managementul statului	Extern (prin Trident)	Încorporat, tolerant la erori
Latență	Sub-secunda	Sub-secunda
Ușor de utilizare	Mai complex	Mai ușor cu API-ul DataStream
Garanție unică	Opțional (prin Trident)	Suport nativ
contrapresiune	Manual sau dinamic	Automat

Rezumatul răspunsului: În timp ce Storm a fost pionier în procesarea în timp real, Flink oferă un model de gestionare a stării mai integrat, fiind preferat pentru conducte complexe, bazate pe evenimente.

23) Cum diferă topologia Storm de un job MapReduce?

Un job MapReduce procesează datele în mod discret loturi, în timp ce o topologie Storm procesează fluxuri de date continuu.

MapReduce: Intrare finită, rulează o singură dată, potrivită pentru analize offline.
Furtună: Intrare infinită, rulează pe termen nelimitat, ideal pentru analize în timp real.

În esență, Storm acționează ca „complement de streaming” pentru framework-ul batch al Hadoop.

24) Explicați conceptul de ancorare în Apache Storm.

Ancorarea leagă un tuplu emis de tuplul său sursă. Aceasta permite lui Storm să urmărească linia de tupluri pentru recuperarea erorilor. Când un șurub emite un tuplu nou, îl poate ancora la un tuplu de intrare folosind:

collector.emit(inputTuple, newTuple);

Dacă vreun tuplu ancorat eșuează în aval, Storm poate reda tuplul sursă original, asigurând o procesare fiabilă.

25) Ce factori ar trebui luați în considerare atunci când optimizați performanța Apache Storm?

Reglarea performanței implică optimizarea ambelor configuration și topology design:

Crește paralelism (executori, muncitori).
Ajusta expirarea mesajului (topology.message.timeout.secs).
Optimizați serializare folosind Kryo sau serializatoare personalizate.
Reduce la minimum amestecarea rețelei cu strategii de grupare adecvate.
Permite contrapresiune pentru a preveni supraîncărcarea.
monitor Utilizarea GC și a heap-ului pentru a evita blocajele de memorie.

Un echilibru între paralelism și capacitatea hardware asigură un randament optim și o latență minimă.

26) Ce este API-ul Trident și cum extinde acesta capacitățile Apache Storm?

API-ul Trident este high-level abstraction layer construit pe Apache Storm, conceput pentru a simplifica procesarea fluxurilor cu stări. Spre deosebire de Core Storm, care funcționează pe tupluri individuale, Trident operează pe micro-loturi de tupluri, furnizarea semantica procesării exact-once.

Introduce abstracțiuni precum Curente, Loturi și Stat Operații pentru o agregare, filtrare și îmbinări mai ușoare.

Exemplu: Trident simplifică scrierea codului pentru numărarea clicurilor utilizatorilor sau agregarea metricilor pe minut, fără a gestiona manual confirmările de tuplu sau logica de reluare.

Pe scurt, Trident face legătura dintre flexibilitatea de nivel scăzut a lui Storm și framework-uri precum Spark Simplitatea streamingului.

27) Cum integrezi Apache Storm cu Apache Kafka?

Integrarea dintre Kafka și Storm se realizează folosind KafkaCiorcă (consumator) și opțional un KafkaBolt (producător).

Flux de date tipic:

KafkaSpout se abonează la un topic Kafka și emite tupluri în topologia Storm.
Bolts procesează și transformă date.
KafkaBolt scrie rezultatele înapoi într-un alt topic Kafka sau sistem extern.

Exemplu de fragment de configurare:

KafkaSpoutConfig<String, String> spoutConfig = KafkaSpoutConfig.builder("localhost:9092", "input-topic").build();
builder.setSpout("kafka-spout", new KafkaSpout<>(spoutConfig));

Integrarea Kafka-Spout asigură streaming de mesaje scalabil și tolerant la erori între sisteme precum Spark, Flink sau Storm însăși.

28) Care sunt strategiile de gestionare a stării în Apache Storm?

Storm acceptă mai multe strategii pentru gestionarea stării între șuruburi și guri de scurgere:

Tipul statului	Descriere	Exemplu de caz de utilizare
Stare în memorie	Rapid, dar volatil	Agregări temporare
Stare persistentă	Stocate în baze de date externe (de exemplu, Redis, Cassandra)	Jurnale de tranzacții, contoare
Stare tranzacțională	Asigură consecvență o singură dată	Tranzactii financiare
Stare partiționată	Distribuie starea între sarcini	Conducte de producție cu scalabilitate ridicată

API-ul Trident simplifică acest lucru prin State și StateUpdater interfețe, făcând operațiunile de stare mai fiabile și modulare.

29) Explicați diferența dintre Localul furtunii și Cluster moduri.

Mod local: Folosit pentru testare sau dezvoltare. Rulează toate componentele Storm (Nimbus, Supervisor, Zookeeper) într-un singur proces JVM.
Cluster Mod: Folosit pentru producție. Procesele Nimbus și Supervisor rulează pe noduri separate, coordonarea fiind gestionată de ZooKeeper.

Aspect	Mod local	Cluster mod
Configurarea	O singură mașină	Noduri multiple
Scop	Depanare, testare unitară	Desfășurarea producției
Viteză	Mai lent pentru sarcini de lucru mari	Optimizat pentru performanță
Toleranță la erori	Minim	Înalt

Puteți trimite topologii către cluster folosind:

storm jar mytopology.jar com.example.MyTopology

30) Care sunt diferitele tipuri de surse de date (Spouts) în Storm?

Ciocurile de scurgere pot fi clasificate astfel:

Duze de scurgere fiabile: Folosește ID-urile mesajelor pentru a urmări confirmările de primire a tuplurilor.
Țevi de scurgere nesigure: Emite tupluri fără urmărire (mai rapid, dar mai puțin fiabil).
Spout-uri tranzacționale: Emite date în loturi tranzacționale (utilizat cu Trident).

Exemple:

KafkaSpout (fiabil)
RabbitMQSpout (fiabil)
RandomSpout sau FileSpout (nefiabil)

Fiecare tip de gura de scurgere oferă compromisuri diferite între debit și fiabilitate.

🔍 Întrebări frecvente pentru interviul Apache Storm, cu scenarii din lumea reală și răspunsuri strategice

1) Ce este Apache Storm și unde este utilizat de obicei?

Așteptat de la candidat: Intervievatorul dorește să evalueze cunoștințele dumneavoastră fundamentale despre Apache Storm și aplicațiile sale din lumea reală, în special în mediile de procesare a datelor în timp real.

Exemplu de răspuns: „Apache Storm este un framework distribuit, tolerant la erori, conceput pentru procesarea fluxurilor în timp real. Este utilizat în mod obișnuit pentru scenarii precum analize în timp real, procesarea jurnalelor, sisteme bazate pe evenimente și calcul continuu, unde sunt necesare latență redusă și randament ridicat.”

2) Puteți explica componentele de bază ale unei topologii Apache Storm?

Așteptat de la candidat: Intervievatorul îți testează cunoștințele despre arhitectura Storm și dacă înțelegi cum circulă datele prin sistem.

Exemplu de răspuns: „O topologie Storm constă din țevi de scurgere și șuruburi conectate într-un graf aciclic direcționat. Țevile de scurgere acționează ca surse de fluxuri de date, în timp ce șuruburile procesează, transformă sau agregă datele. Topologia definește modul în care datele circulă și sunt executate continuu până când sunt oprite.”

3) Cum asigură Apache Storm toleranța la erori?

Așteptat de la candidat: Intervievatorul dorește să înțeleagă cunoștințele dumneavoastră despre mecanismele de fiabilitate în sistemele distribuite.

Exemplu de răspuns: „Apache Storm asigură toleranța la erori prin ancorarea tuplurilor și mecanisme de confirmare. Dacă un tuplu nu reușește să fie procesat complet într-un interval de timp specificat, acesta este redat. De asemenea, supervizorii și Nimbus monitorizează erorile lucrătorilor și repornesc automat sarcinile atunci când este necesar.”

4) Descrieți o situație în care ați optimizat performanța unei topologii Storm.

Așteptat de la candidat: Intervievatorul caută experiență practică și capacitatea dumneavoastră de a îmbunătăți eficiența sistemului.

Exemplu de răspuns: „În rolul meu anterior, am optimizat o topologie Storm prin reglarea indiciilor de paralelism și ajustarea numărului de workers pe baza metricilor de randament. De asemenea, am redus serializarea inutilă a datelor între bolturi, ceea ce a redus semnificativ latența de procesare.”

5) Cum gestionezi contrapresiunea în Apache Storm?

Așteptat de la candidat: Intervievatorul vrea să știe dacă înțelegeți controlul fluxului în sistemele de streaming.

Exemplu de răspuns: „Într-o poziție anterioară, am gestionat contrapresiunea activând mecanismele de contrapresiune încorporate în Storm și configurând cu atenție dimensiunile bufferelor. De asemenea, am monitorizat șuruburile cu consum lent și le-am scalat pe orizontală pentru a preveni congestia în amonte.”

6) Ce provocări ați întâmpinat la depanarea aplicațiilor Storm?

Așteptat de la candidat: Intervievatorul îți evaluează abilitățile de rezolvare a problemelor și perseverența în medii complexe și distribuite.

Exemplu de răspuns: „Depanarea aplicațiilor Storm poate fi dificilă din cauza execuției distribuite. La locul meu de muncă anterior, m-am bazat foarte mult pe interfața cu utilizatorul Storm, înregistrarea detaliată a datelor și colectarea de metrici pentru a urmări erorile de tupluri și a identifica blocajele între workeri și executori.”

7) Cum se compară Apache Storm cu alte framework-uri de procesare a fluxurilor?

Așteptat de la candidat: Intervievatorul dorește să vadă cunoștințele dumneavoastră mai ample despre industrie și capacitatea de a evalua compromisurile.

Exemplu de răspuns: „Apache Storm excelează în procesarea eveniment cu eveniment, cu latență redusă, în timp ce alte framework-uri se pot concentra mai mult pe micro-batching sau pe procesarea unificată în loturi și fluxuri. Storm este adesea ales atunci când este necesară procesarea strictă în timp real și modele simple de procesare.”

8) Descrieți cum ați proiecta o topologie Storm pentru detectarea fraudelor în timp real.

Așteptat de la candidat: Intervievatorul îți testează capacitatea de a aplica conceptele Furtunii în scenarii din lumea reală.

Exemplu de răspuns: „Aș proiecta canale de scurgere (spouts) pentru a ingera evenimente tranzacționale în timp real și bolturi (bolts) pentru a efectua validare, îmbogățire și analiză bazată pe reguli. Bolturile cu stări precise ar urmări tiparele suspecte, iar alertele ar fi emise imediat ce pragurile sunt depășite.”

9) Cum gestionați configurarea și implementarea în Apache Storm?

Așteptat de la candidat: Intervievatorul dorește informații despre experiența dumneavoastră operațională și de implementare.

Exemplu de răspuns: „În ultimul meu rol, am gestionat configurațiile folosind fișiere YAML externalizate și parametri specifici mediului. Implementările au fost automatizate prin scripturi, iar topologiile au fost versionate pentru a asigura lansări consecvente și repetabile în toate mediile.”

10) Cum prioritizezi fiabilitatea versus performanța într-un sistem bazat pe Storm?

Așteptat de la candidat: Intervievatorul îți evaluează abilitățile decizionale atunci când echilibrezi cerințele de sistem concurente.

Exemplu de răspuns: „Prioritizez fiabilitatea pe primul loc pentru sistemele critice, permițând confirmări și reîncercări, chiar dacă acest lucru adaugă o anumită latență. Odată ce fiabilitatea este asigurată, optimizez treptat performanța prin reglarea paralelismului și alocarea resurselor pe baza metricilor observate.”