As 60 principais perguntas e respostas da entrevista do Hadoop (2026)
Prafulla Ranadive
Aqui estão as perguntas e respostas da entrevista do Hadoop MapReduce para candidatos mais novos e experientes para conseguir o emprego dos sonhos.
Perguntas da entrevista do Hadoop MapReduce
1) O que é redução de mapa do Hadoop?
Para processar grandes conjuntos de dados em paralelo em um cluster Hadoop, a estrutura Hadoop MapReduce é usada. A análise de dados usa um processo de mapeamento e redução em duas etapas.
2) Como funciona o Hadoop MapReduce?
No MapReduce, durante a fase de mapa, conta as palavras de cada documento, enquanto na fase de redução agrega os dados de acordo com o documento abrangendo toda a coleção. Durante a fase de mapa, os dados de entrada são divididos em divisões para análise por tarefas de mapa executadas em paralelo na estrutura Hadoop.
👉 Download gratuito de PDF: Perguntas e respostas da entrevista sobre Hadoop e MapReduce
3) Explique o que é embaralhamento no MapReduce?
O processo pelo qual o sistema realiza a classificação e transfere as saídas do mapa para o redutor como entradas é conhecido como shuffle
4) Explique o que é Cache distribuído no MapReduce Framework?
Cache Distribuído é um recurso importante fornecido pela estrutura MapReduce. Quando você deseja compartilhar alguns arquivos entre todos os nós do Hadoop Cluster, o cache distribuído é usado. Os arquivos podem ser arquivos jar executáveis ou arquivos de propriedades simples.
5) Explique o que é NameNode no Hadoop?
NameNode no Hadoop é o nó onde o Hadoop armazena todas as informações de localização do arquivo. HDFS (sistema de arquivos distribuídos Hadoop)Em outras palavras, o NameNode é a peça central de um sistema de arquivos HDFS. Ele mantém o registro de todos os arquivos no sistema de arquivos e tracks os dados do arquivo em todo o cluster ou em várias máquinas
6) Explique o que é Jó.TracO que é um kernel no Hadoop? Quais são as ações executadas pelo Hadoop?
In Hadoop para submeter e tracrei dos trabalhos MapReduce, TrabalhoTracker é usado. Trabalho tracO ker é executado em seu próprio processo JVM.
Trabalho TracO ker executa as seguintes ações no Hadoop
- Aplicativo do cliente: envie trabalhos para o trabalho tracker
- TrabalhoTracO ker se comunica com o modo Nome para determinar a localização dos dados.
- Próximo aos dados ou com vagas disponíveis. TrabalhoTracker localiza a tarefaTracnós ker
- Na tarefa escolhidaTracker Nodes, ele submete o trabalho
- Quando uma tarefa falha, o trabalho tracO ker notifica e decide o que fazer em seguida.
- A TaskTracOs nós ker são monitorados pelo Job.Tracker
7) Explique o que é pulsação no HDFS?
O termo "heartbeat" refere-se a um sinal usado entre um nó de dados e um nó de nomes, e entre tarefas. tracker e trabalho tracker, se o nó de nome ou trabalho tracSe o ker não responder ao sinal, considera-se que há algum problema com o nó de dados ou com a tarefa. tracker
8) Explique o que são combinadores e quando você deve usar um combinador em um trabalho MapReduce?
Para aumentar a eficiência de Programa MapReduce, Combinadores são usados. A quantidade de dados pode ser reduzida com a ajuda de combinadores que precisam ser transferidos para os redutores. Se a operação realizada for comutativa e associativa você poderá usar seu código redutor como combinador. A execução do combinador não é garantida no Hadoop
9) O que acontece quando um nó de dados falha?
Quando um nó de dados falha
- TrabalhotracO ker e o namenode detectam a falha.
- No nó com falha, todas as tarefas são reprogramadas
- Namenode replica os dados do usuário para outro nó
10) Explique o que é Execução Especulativa?
No Hadoop, durante a execução especulativa, um certo número de tarefas duplicadas é iniciado. Em um nó escravo diferente, múltiplas cópias do mesmo mapa ou tarefa de redução podem ser executadas usando Execução Especulativa. Em palavras simples, se uma unidade específica demorar muito para concluir uma tarefa, o Hadoop criará uma tarefa duplicada em outro disco. Um disco que termina a tarefa primeiro é retido e os discos que não terminam primeiro são eliminados.
11) Explique quais são os parâmetros básicos de um Mapeador?
Os parâmetros básicos de um mapeador são
- LongWritable e Texto
- Texto e IntWritable
12) Explique qual é a função do particionador MapReduce?
A função do particionador MapReduce é garantir que todo o valor de uma única chave vá para o mesmo redutor, o que eventualmente ajuda na distribuição uniforme da saída do mapa sobre os redutores
13) Explique qual é a diferença entre uma divisão de entrada e um bloco HDFS?
A divisão lógica de dados é conhecida como Split, enquanto uma divisão física de dados é conhecida como HDFS Block
14) Explique o que acontece em formato de texto?
No formato de entrada de texto, cada linha do arquivo de texto é um registro. Valor é o conteúdo da linha enquanto Key é o deslocamento de bytes da linha. Por exemplo, Chave: longWritable, Valor: texto
15) Mencione quais são os principais parâmetros de configuração que o usuário precisa especificar para executar o MapReduce Job?
O usuário da estrutura MapReduce precisa especificar
- Locais de entrada do trabalho no sistema de arquivos distribuído
- Local de saída do trabalho no sistema de arquivos distribuído
- Formato de entrada
- Formato de saída
- Classe contendo a função map
- Classe contendo a função de redução
- Arquivo JAR contendo as classes mapeadora, redutora e driver
16) Explique o que é WebDAV no Hadoop?
Para oferecer suporte à edição e atualização de arquivos, WebDAV é um conjunto de extensões para HTTP. Na maioria dos sistemas operacionais, os compartilhamentos WebDAV podem ser montados como sistemas de arquivos, portanto é possível acessar o HDFS como um sistema de arquivos padrão expondo o HDFS sobre o WebDAV.
17) Explique o que é Sqoop no Hadoop?
Para transferir os dados entre Gerenciamento de banco de dados relacional (RDBMS) e Hadoop HDFS uma ferramenta é usada conhecida como Sqoop. Usando o Sqoop, os dados podem ser transferidos do RDMS como MySQL or Oracle em HDFS, bem como exportar dados do arquivo HDFS para RDBMS
18) Explique como JóTracKer agenda uma tarefa?
A tarefa tracKer envia mensagens de batimentos cardíacos para Jó.tracgeralmente a cada poucos minutos para garantir que o trabalhoTracKer está ativo e funcionando. A mensagem também informa Job.Tracker sobre o número de vagas disponíveis, então o trabalhoTracO ker pode se manter atualizado sobre onde o trabalho em cluster pode ser delegado.
19) Explique o que é Sequencefileinputformat?
Sequencefileinputformat é usado para ler arquivos em sequência. É um formato de arquivo binário compactado específico que é otimizado para passar dados entre a saída de um trabalho MapReduce para a entrada de algum outro trabalho MapReduce.
20) Explique o que a classe conf.setMapper faz?
Conf.setMapperclass define a classe do mapeador e todas as coisas relacionadas ao trabalho do mapa, como leitura de dados e geração de um par de valores-chave a partir do mapeador
21) Explique o que é Hadoop?
É uma estrutura de software de código aberto para armazenar dados e executar aplicativos em clusters de hardware comum. Ele fornece enorme poder de processamento e armazenamento massivo para qualquer tipo de dados.
22) Mencione qual é a diferença entre um RDBMS e Hadoop?
| RDBMS | Hadoop |
|---|---|
| RDBMS é um sistema de gerenciamento de banco de dados relacional | Hadoop é uma estrutura plana baseada em nós |
| É usado para processamento OLTP enquanto Hadoop | Atualmente é usado para processamento analítico e de BIG DATA |
| No RDBMS, o cluster de banco de dados usa os mesmos arquivos de dados armazenados em um armazenamento compartilhado | No Hadoop, os dados armazenados podem ser armazenados de forma independente em cada nó de processamento. |
| Você precisa pré-processar os dados antes de armazená-los | você não precisa pré-processar os dados antes de armazená-los |
23) Mencionou os componentes principais do Hadoop?
Os componentes principais do Hadoop incluem,
- HDFS
- MapaReduzir
24) O que é NameNode no Hadoop?
O NameNode no Hadoop é onde o Hadoop armazena todas as informações de localização de arquivos no HDFS. É o nó mestre no qual os jobs são executados. tracO ker é executado e consiste em metadados.
25) Mencione quais são os componentes de dados usados pelo Hadoop?
Os componentes de dados usados pelo Hadoop são
26) Mencione qual é o componente de armazenamento de dados usado pelo Hadoop?
O componente de armazenamento de dados usado pelo Hadoop é o HBase.
27) Mencione quais são os formatos de entrada mais comuns definidos no Hadoop?
Os formatos de entrada mais comuns definidos no Hadoop são;
- TextInputFormat
- KeyValueInputFormat
- SequenceFileInputFormat
28) No Hadoop o que é InputSplit?
Ele divide os arquivos de entrada em partes e atribui cada divisão a um mapeador para processamento.
29) Para um trabalho Hadoop, como você escreverá um particionador personalizado?
Você escreve um particionador personalizado para um trabalho do Hadoop e segue o seguinte caminho
- Crie uma nova classe que estenda a classe Partitioner
- Substituir método getPartition
- No wrapper que executa o MapReduce
- Adicione o particionador personalizado ao trabalho usando o método set Partitioner Class ou – adicione o particionador personalizado ao trabalho como um arquivo de configuração
30) Para um trabalho em Hadoop é possível alterar a quantidade de mappers a serem criados?
Não, não é possível alterar o número de mapeadores a serem criados. O número de mapeadores é determinado pelo número de divisões de entrada.
31) Explique o que é um arquivo de sequência no Hadoop?
Para armazenar pares chave/valor binários, o arquivo de sequência é usado. Ao contrário do arquivo compactado normal, o arquivo de sequência suporta a divisão mesmo quando os dados dentro do arquivo são compactados.
32) Quando o Namenode está inativo, o que acontece com o trabalho? tracker?
Namenode é o único ponto de falha no HDFS, portanto, quando o Namenode estiver inativo, seu cluster será acionado.
33) Explique como é feita a indexação no HDFS?
O Hadoop possui uma forma única de indexação. Uma vez que os dados são armazenados de acordo com o tamanho do bloco, o HDFS continuará armazenando a última parte dos dados, que indica onde estará a próxima parte dos dados.
34) Explique que é possível pesquisar arquivos usando curingas?
Sim, é possível pesquisar arquivos usando curingas.
35) Liste os três arquivos de configuração do Hadoop?
Os três arquivos de configuração são
- core-site.xml
- mapred-site.xml
- hdfs-site.xml
36) Explique como você pode verificar se o Namenode está funcionando ao lado do comando jps?
Além de usar o comando jps, para verificar se o Namenode está funcionando você também pode usar
/etc/init.d/hadoop-0.20-status do namenode.
37) Explique o que é “mapa” e o que é “redutor” no Hadoop?
No Hadoop, um mapa é uma fase na resolução de consultas HDFS. Um mapa lê dados de um local de entrada e gera um par de valores-chave de acordo com o tipo de entrada.
No Hadoop, um redutor coleta a saída gerada pelo mapeador, processa-a e cria sua própria saída final.
38) No Hadoop, qual arquivo controla os relatórios no Hadoop?
No Hadoop, o arquivo hadoop-metrics.properties controla os relatórios.
39) Para usar o Hadoop liste os requisitos de rede?
Para usar o Hadoop, a lista de requisitos de rede é:
- Conexão SSH sem senha
- Secure Shell (SSH) para iniciar processos do servidor
40) Mencione o que é rack awareness?
O reconhecimento do rack é a maneira pela qual o namenode determina como colocar os blocos com base nas definições do rack.
41) Explique o que é uma tarefa. Tracker no Hadoop?
Uma tarefa TracEm Hadoop, um ker é um daemon de nó escravo no cluster que aceita tarefas de um Job.Tracker. Ele também envia mensagens de pulsação para o Job.Tracker, a cada poucos minutos, para confirmar que o trabalhoTracKer ainda está vivo.
42) Mencione quais daemons são executados em um nó mestre e em nós escravos?
- Daemons executados no nó mestre são “NameNode”
- Os daemons executados em cada nó escravo são "Tarefas" Tracker” e “Dados”
43) Explique como você pode depurar o código Hadoop?
Os métodos populares para depuração de código Hadoop são:
- Usando a interface da web fornecida pela estrutura Hadoop
- Usando contadores
44) Explique o que são nós de armazenamento e computação?
- O nó de armazenamento é a máquina ou computador onde reside o seu sistema de arquivos para armazenar os dados de processamento
- O nó de computação é o computador ou máquina onde sua lógica de negócios real será executada.
45) Mencione qual é a utilidade do Context Object?
O Context Object permite que o mapeador interaja com o resto do Hadoop
sistema. Inclui dados de configuração para o trabalho, bem como interfaces que permitem emitir saída.
46) Mencione qual é o próximo passo após Mapper ou MapTask?
A próxima etapa após Mapper ou MapTask é que a saída do Mapper seja classificada e partições serão criadas para a saída.
47) Mencione qual é o número do particionador padrão no Hadoop?
No Hadoop, o particionador padrão é um particionador “Hash”.
48) Explique qual é o propósito do RecordReader no Hadoop?
No Hadoop, o RecordReader carrega os dados de sua fonte e os converte em pares (chave, valor) adequados para leitura pelo Mapeador.
49) Explique como os dados são particionados antes de serem enviados ao redutor se nenhum particionador customizado estiver definido no Hadoop?
Se nenhum particionador personalizado for definido no Hadoop, um particionador padrão calculará um valor hash para a chave e atribuirá a partição com base no resultado.
50) Explique o que acontece quando o Hadoop gera 50 tarefas para um trabalho e uma das tarefas falha?
Isso reiniciará a tarefa em outra tarefa.Tracker se a tarefa falhar mais vezes do que o limite definido.
51) Mencione qual é a melhor maneira de copiar arquivos entre clusters HDFS?
A melhor maneira de copiar arquivos entre clusters HDFS é usando vários nós e o comando distcp, para que a carga de trabalho seja compartilhada.
52) Mencione qual é a diferença entre HDFS e NAS?
Os blocos de dados HDFS são distribuídos em unidades locais de todas as máquinas em um cluster, enquanto os dados NAS são armazenados em hardware dedicado.
53) Mencionou como o Hadoop é diferente de outras ferramentas de processamento de dados?
No Hadoop, você pode aumentar ou diminuir o número de mapeadores sem se preocupar com o volume de dados a serem processados.
54) Mencione qual trabalho a classe conf faz?
A classe Job conf separa diferentes trabalhos em execução no mesmo cluster. Ele faz as configurações de nível de trabalho, como declarar um trabalho em um ambiente real.
55) Mencione o que são as APIs Hadoop MapReduce.tract para uma classe de chave e valor?
Para uma classe de chave e valor, existem duas APIs do Hadoop MapReduce.tract
- O valor deve definir a interface org.apache.hadoop.io.Writable
- A chave deve definir a interface org.apache.hadoop.io.WritableComparable
56) Mencione quais são os três modos em que o Hadoop pode ser executado?
Os três modos em que o Hadoop pode ser executado são
- Modo pseudodistribuído
- Modo autônomo (local)
- Modo totalmente distribuído
57) Mencione o que o formato de entrada de texto faz?
O formato de entrada de texto criará um objeto de linha que é um número hexadecimal. O valor é considerado como um texto de linha inteiro enquanto a chave é considerada como um objeto de linha. O mapeador receberá o valor como parâmetro 'texto' enquanto a chave como parâmetro 'longwriteable'.
58) Mencione quantos InputSplits são feitos por um Hadoop Framework?
Hadoop fará 5 divisões
- 1 divisão para arquivos de 64K
- 2 divisões para arquivos de 65 MB
- 2 divisões para arquivos de 127 MB
59) Mencione o que é cache distribuído no Hadoop?
O cache distribuído no Hadoop é um recurso fornecido pela estrutura MapReduce. No momento da execução do trabalho, ele é utilizado para armazenar o arquivo em cache. O Framework copia os arquivos necessários para o nó escravo antes da execução de qualquer tarefa naquele nó.
60) Explique como o Classpath do Hadoop desempenha um papel vital na interrupção.ping Ou iniciando nos daemons do Hadoop?
Classpath consistirá em uma lista de diretórios contendo arquivos jar para parar ou iniciar daemons.
Essas perguntas da entrevista também ajudarão em sua viva (oral)
