Tutorial do Apache Sqoop: ArchiTextura, comandos e exemplo

O que é SQOOP no Hadoop?

Apache SqoopName (SQL-to-Hadoop) é uma ferramenta projetada para suportar a exportação e importação em massa de dados para HDFS A partir de armazenamentos de dados estruturados, como bancos de dados relacionais, data warehouses corporativos e sistemas NoSQL. É uma ferramenta de migração de dados baseada em uma arquitetura de conectores que suporta plugins para fornecer conectividade a novos sistemas externos.

Um exemplo de caso de uso do Hadoop Sqoop é uma empresa que executa uma importação noturna do Sqoop para carregar os dados do dia de um RDBMS transacional de produção em um Colméia armazém de dados para análise posterior.

A seguir neste tutorial do Apache Sqoop, aprenderemos sobre a arquitetura Apache Sqoop.

Sqoop Archiarquitetura

Todos os existentes Sistemas de Gerenciamento de Banco de Dados são projetados com SQL padrão em mente. No entanto, cada SGBD difere até certo ponto em relação ao dialeto. Portanto, esta diferença coloca desafios quando se trata de transferências de dados entre sistemas. Os conectores Sqoop são componentes que ajudam a superar esses desafios.

A transferência de dados entre o Sqoop Hadoop e o sistema de armazenamento externo é possível com a ajuda dos conectores do Sqoop.

Sqoop possui conectores para trabalhar com uma variedade de bancos de dados relacionais populares, incluindo MySQL, PostgreSQL, Oracle, SQL Server e DB2. Cada um desses conectores sabe como interagir com seu SGBD associado. Há também um conector JDBC genérico para conexão com qualquer banco de dados que suporte Javaprotocolo JDBC do Sqoop. Além disso, o Sqoop também fornece otimização para o protocolo JDBC. MySQL e PostgreSQL conectores que usam APIs específicas de banco de dados para realizar transferências em massa com eficiência.

O diagrama abaixo posiciona o cliente Sqoop entre o armazenamento de dados externo e o cluster Hadoop, com a camada de conexão de um lado e o HDFS, o Hive e o HBase do outro.

Abaixo da camada de conectores, o Sqoop gera um Java Classe que espelha uma linha da tabela e então submete um mapa. MapaReduzir trabalho. Cada tarefa de mapeamento lê sua própria fatia do intervalo da coluna dividida, portanto, a taxa de transferência é proporcional ao número de mapeadores, em vez de ser proporcional a um único cursor JDBC.

Além disso, o Sqoop possui diversos conectores de terceiros para armazenamento de dados, desde soluções corporativas até soluções de ponta. armazéns de dados (incluindo Netezza, Teradata e Oracle) para armazenamentos NoSQL (como Couchbase). No entanto, esses conectores não vêm com o pacote Sqoop; eles precisam ser baixados separadamente e podem ser facilmente adicionados a uma instalação existente do Sqoop.

Por que precisamos do Sqoop?

O processamento analítico usando Hadoop requer o carregamento de grandes quantidades de dados de diversas fontes em clusters Hadoop. Esse processo de carregamento de dados em massa no Hadoop, a partir de fontes heterogêneas e posterior processamento, apresenta um certo conjunto de desafios. Manter e garantir a consistência dos dados e garantir a utilização eficiente dos recursos são alguns fatores a serem considerados antes de selecionar a abordagem certa para o carregamento de dados.

Problemas maiores:

1. Carregamento de dados usando scripts — A abordagem tradicional de usar scripts para carregar dados não é adequada para carregamento em massa de dados no Hadoop; essa abordagem é ineficiente e consome muito tempo.
2. Acesso direto a dados externos por meio de uma aplicação MapReduce. — Fornecer acesso direto aos dados residentes em sistemas externos (sem carregá-los no Hadoop) para aplicações MapReduce complica essas aplicações. Portanto, essa abordagem não é viável.

Além de ter a capacidade de trabalhar com enormes volumes de dados, o Hadoop pode lidar com dados em diversos formatos diferentes. Portanto, para carregar esses dados heterogêneos no Hadoop, foram desenvolvidas diversas ferramentas. Sqoop e Calha são duas dessas ferramentas de carregamento de dados.

A seguir neste tutorial do Sqoop com exemplos, aprenderemos sobre a diferença entre Sqoop, Flume e HDFS.

Sqoop vs Flume vs HDFS no Hadoop

Principais características do Sqoop

A comparação acima explica a qual categoria o Sqoop se encaixa. O conjunto de recursos abaixo determina se ele é adequado para uma tarefa específica de ingestão de dados.

• Carga máxima: Um único comando copia uma tabela inteira, e import-all-tables Copia todas as tabelas de um esquema em uma única passagem.
• Carga incremental: append modo tracks é uma coluna monotonicamente crescente, como uma chave substituta, enquanto lastmodified modo tracks é uma coluna de registro de data e hora, portanto, apenas as linhas novas ou alteradas são transmitidas.
• Transferência paralela: A coluna de divisão divide o intervalo de chaves entre as tarefas de mapeamento, e a contagem de mapeadores define quantas tarefas são executadas simultaneamente.
• Importação de consultas de formato livre: O resultado de uma instrução SQL arbitrária pode ser importado em vez de uma tabela inteira, mantendo as junções e filtros no lado do banco de dados.
• Carregamento direto no armazém: Uma importação pode criar e preencher um Colméia tabela ou escreva diretamente em uma tabela HBase em vez de pararping em arquivos HDFS brutos.
• Compressão e formatos de arquivo: A saída pode ser gravada como texto delimitado, SequenceFile, Avro ou Parquet, com compressão opcional em nível de codec.
• Segurança: O Sqoop integra-se com o Kerberos, e as credenciais podem ser lidas de um arquivo de senhas ou solicitadas em vez de serem digitadas na linha de comando.

Comandos de importação e exportação do Sqoop

Ambas as direções da transferência são executadas por meio de um único utilitário de linha de comando. A ferramenta de importação move linhas do banco de dados para o Hadoop, e a ferramenta de exportação move arquivos do Hadoop de volta para uma tabela do banco de dados.

Uma importação típica especifica a conexão JDBC, a tabela de origem, o diretório de destino, a coluna de divisão e a contagem de mapeadores:

sqoop import \
  --connect jdbc:mysql://localhost:3306/employees \
  --username hadoop \
  --password-file /user/hadoop/.mysql.password \
  --table employees \
  --target-dir /user/hadoop/warehouse/employees \
  --split-by emp_no \
  --num-mappers 4

Uma exportação inverte o fluxo. Ela lê os arquivos delimitados que já estão em um diretório HDFS e os insere em uma tabela existente; portanto, a tabela de destino precisa ser criada primeiro:

sqoop export \
  --connect jdbc:mysql://localhost:3306/employees \
  --username hadoop \
  --password-file /user/hadoop/.mysql.password \
  --table employee_summary \
  --export-dir /user/hadoop/warehouse/employee_summary \
  --input-fields-terminated-by ','

Uma tarefa noturna raramente precisa da tabela inteira duas vezes. Uma importação incremental registra o maior valor já visto e começa a partir daí na próxima execução.

sqoop import \
  --connect jdbc:mysql://localhost:3306/sales \
  --table orders \
  --incremental append \
  --check-column order_id \
  --last-value 15000 \
  --target-dir /user/hadoop/warehouse/orders

Esses são os argumentos que aparecem em quase todas as vagas de emprego:

⚠️ Atenção: Uma exportação não é uma transação única. Cada tarefa de mapeamento confirma seu próprio lote, portanto, uma falha no meio do processo pode deixar parte dos dados na tabela de destino. Direcione a gravação por meio de uma tabela de preparação quando a carga precisar ser do tipo "tudo ou nada".

Situação Atual do Projeto Sqoop e Alternativas Modernas

Um detalhe da versão é importante antes que qualquer um dos comandos acima seja inserido no agendador.

Os desenvolvedores do Sqoop votaram pelo encerramento do projeto em junho de 2021, e a mudança para o Sótão Apache Concluído em julho de 2021. O site, as listas de discussão, o repositório git e a edição estão disponíveis. tracOs arquivos ker e downloads continuam disponíveis, mas em modo somente leitura, e não há planos para novos lançamentos. A última versão de produção foi o Sqoop 1.4.7, de 2017; a linha separada do Sqoop 2 (1.99.x) nunca atingiu a paridade de recursos e nunca foi declarada pronta para produção.

Os trabalhos existentes do Sqoop ainda são executados, e as distribuições comerciais do Hadoop continuam a fornecer e a dar suporte à ferramenta em suas próprias plataformas. No entanto, novos trabalhos de ingestão geralmente são baseados em uma destas alternativas:

Perguntas Frequentes