Tutorial de Apache Sqoop: Archiarquitectura, comandos y ejemplo

Por: Prafulla Ranadive Prafulla Ranadive
Hours Actualizado

⚡ Resumen inteligente

Apache Sqoop transfiere grandes cantidades de datos entre bases de datos relacionales y HDFS mediante una arquitectura de conectores, generando trabajos MapReduce que importan tablas a Hive o HBase y exportan los resultados procesados ​​de vuelta al sistema de origen.

  • 🔘 Definición: Sqoop transfiere grandes cantidades de datos entre almacenes estructurados y HDFS a través de una capa de conectores basada en complementos.
  • ☑️ Architectura: Cada trabajo se compila en un programa MapReduce que solo utiliza mapas, cuyas tareas extraen porciones separadas de la tabla en paralelo.
  • ✅ Conectores: Cobertura de controladores incluida MySQL, PostgreSQL, Oracle, SQL Server y DB2, además de una alternativa JDBC genérica.
  • 🧪 comandos: La herramienta de importación extrae una tabla a HDFS, Hive o HBase; la herramienta de exportación vuelve a insertar los archivos procesados ​​en una tabla.
  • 🛠️ Modos de carga: Las cargas completas copian una tabla entera, mientras que los modos incrementales de adición y última modificación solo obtienen las filas nuevas.
  • ⚠️ Estado del proyecto: Sqoop se retiró al Apache Attic en julio de 2021, así que Spark JDBC y NiFi ahora cuentan con nuevas canalizaciones.
Descubre más

Tutorial de Apache Sqoop que abarca la arquitectura, los conectores y los comandos de importación y exportación.

¿Qué es SQOOP en Hadoop?

apache sqoop (SQL-to-Hadoop) es una herramienta diseñada para admitir la exportación e importación masiva de datos en HDFS Desde almacenes de datos estructurados como bases de datos relacionales, almacenes de datos empresariales y sistemas NoSQL. Es una herramienta de migración de datos basada en una arquitectura de conectores que admite complementos para proporcionar conectividad a nuevos sistemas externos.

Un caso de uso de ejemplo de Hadoop Sqoop es una empresa que ejecuta una importación Sqoop todas las noches para cargar los datos del día desde un RDBMS transaccional de producción en un Colmena almacén de datos para su posterior análisis.

A continuación en este tutorial de Apache Sqoop, aprenderemos sobre la arquitectura de Apache Sqoop.

sqoop Architectura

Todo lo existente Sistemas de gestión de bases de datos están diseñados con SQL estándar en mente. Sin embargo, cada DBMS difiere hasta cierto punto con respecto al dialecto. Por lo tanto, esta diferencia plantea desafíos cuando se trata de transferencias de datos entre sistemas. Los conectores Sqoop son componentes que ayudan a superar estos desafíos.

La transferencia de datos entre Sqoop Hadoop y el sistema de almacenamiento externo es posible con la ayuda de los conectores de Sqoop.

Sqoop tiene conectores para trabajar con una variedad de bases de datos relacionales populares, incluidas MySQL, PostgreSQL, Oracle, SQL Server y DB2. Cada uno de estos conectores sabe cómo interactuar con su DBMS asociado. También hay un conector JDBC genérico para conectarse a cualquier base de datos que admita Javaprotocolo JDBC de Sqoop. Además, Sqoop también proporciona optimización MySQL y PostgreSQL Conectores que utilizan API específicas de bases de datos para realizar transferencias masivas de manera eficiente.

El diagrama que aparece a continuación sitúa al cliente Sqoop entre el almacén de datos externo y el clúster Hadoop, con la capa de conexión en un lado y HDFS, Hive y HBase en el otro.

Diagrama de arquitectura de Sqoop que muestra la capa de conectores que enlaza un sistema de gestión de bases de datos relacionales (RDBMS) con un clúster de Hadoop.

Debajo de la capa de conectores, Sqoop genera un Java clase que refleja una fila de la tabla y luego envía un mapa solamente MapReduce trabajo. Cada tarea de mapeo lee su propia porción del rango de columnas divididas, por lo que el rendimiento aumenta con el número de mapeadores en lugar de con un solo cursor JDBC.

Además de esto, Sqoop tiene varios conectores de terceros para almacenes de datos, que van desde soluciones empresariales. almacenes de datos (incluidos Netezza, Teradata y Oracle) a tiendas NoSQL (como Couchbase). Sin embargo, estos conectores no vienen con el paquete Sqoop; estos deben descargarse por separado y pueden agregarse fácilmente a una instalación de Sqoop existente.

¿Por qué necesitamos Sqoop?

El procesamiento analítico mediante Hadoop requiere la carga de enormes cantidades de datos de diversas fuentes en clústeres de Hadoop. Este proceso de carga masiva de datos en Hadoop, desde fuentes heterogéneas y su posterior procesamiento, conlleva una serie de desafíos. Mantener y garantizar la coherencia de los datos y garantizar el uso eficiente de los recursos son algunos de los factores que se deben tener en cuenta antes de seleccionar el enfoque adecuado para la carga de datos.

Problemas mayores:

  1. Carga de datos mediante scripts — El método tradicional de usar scripts para cargar datos no es adecuado para la carga masiva de datos en Hadoop; este método es ineficiente y consume mucho tiempo.
  2. Acceso directo a datos externos a través de una aplicación Map-Reduce. Proporcionar acceso directo a los datos almacenados en sistemas externos (sin cargarlos en Hadoop) para aplicaciones MapReduce complica dichas aplicaciones. Por lo tanto, este enfoque no es viable.

Además de tener la capacidad de trabajar con enormes cantidades de datos, Hadoop puede procesar datos en diferentes formatos. Por ello, se han desarrollado diversas herramientas para cargar datos tan heterogéneos en Hadoop. sqoop y Canal de flujo son dos de esas herramientas de carga de datos.

A continuación, en este tutorial de Sqoop con ejemplos, aprenderemos sobre la diferencia entre Sqoop, Flume y HDFS.

Sqoop vs Flume vs HDFS en Hadoop

sqoop Canal de flujo HDFS
Sqoop se utiliza para importar datos de fuentes de datos estructurados como RDBMS. Flume se utiliza para mover datos de transmisión masiva a HDFS. HDFS es un sistema de archivos distribuido utilizado por el ecosistema Hadoop para almacenar datos.
Sqoop tiene una arquitectura basada en conectores. Los conectores saben cómo conectarse a la fuente de datos correspondiente y obtener los datos. Flume tiene una arquitectura basada en agentes. En ella se escribe un código (que se denomina "agente") que se encarga de obtener los datos. HDFS tiene una arquitectura distribuida donde los datos se distribuyen entre múltiples nodos de datos.
HDFS es un destino para la importación de datos mediante Sqoop. Los datos fluyen a HDFS a través de cero o más canales. HDFS es el destino final para el almacenamiento de datos.
La carga de datos de Sqoop no está controlada por eventos. La carga de datos de Flume puede ser impulsada por un evento. HDFS simplemente almacena los datos que se le proporcionan por cualquier medio.
Para importar datos de fuentes de datos estructurados, solo hay que usar comandos de Sqoop, porque sus conectores saben cómo interactuar con fuentes de datos estructurados y recuperar datos de ellas. Para cargar datos de transmisión, como tweets generados en Twitter o archivos de registro de un servidor web, se debe utilizar Flume. Los agentes Flume están diseñados para recuperar datos de transmisión. HDFS tiene sus propios comandos de shell integrados para almacenar datos. HDFS no puede importar datos en tiempo real.

Características principales de Sqoop

La comparación anterior explica dónde encaja Sqoop. El conjunto de características que se detalla a continuación determina si se ajusta a una tarea de ingesta específica.

  • Carga completa: Un solo comando copia una tabla completa y import-all-tables Copia todas las tablas de un esquema en una sola pasada.
  • Carga incremental: append modo tracks una columna monótonamente creciente como una clave subrogada, mientras que lastmodified modo tracks es una columna de marca de tiempo, por lo que solo se transfieren las filas nuevas o modificadas.
  • Transferencia paralela: La columna de división distribuye el rango de claves entre las tareas de mapeo, y el recuento de mapeadores determina cuántos se ejecutan simultáneamente.
  • Importación de consultas de formato libre: En lugar de importar una tabla completa, se puede importar el resultado de una sentencia SQL arbitraria, lo que mantiene las uniones y los filtros en la base de datos.
  • Carga directa en el almacén: Una importación puede crear y rellenar un Colmena tabla o escribir directamente en una tabla HBase en lugar de detenerseping en archivos HDFS sin procesar.
  • Compresión y formatos de archivo: La salida se puede escribir como texto delimitado, SequenceFile, Avro o Parquet, con compresión opcional a nivel de códec.
  • Seguridad: Sqoop se integra con Kerberos, y las credenciales se pueden leer desde un archivo de contraseñas o se pueden solicitar en lugar de escribirlas en la línea de comandos.

ARTÍCULOS RELACIONADOS

Comandos de importación y exportación de Sqoop

Ambas direcciones de la transferencia se realizan mediante una utilidad de línea de comandos. La herramienta de importación mueve filas de la base de datos a Hadoop, y la herramienta de exportación mueve archivos de Hadoop de vuelta a una tabla de la base de datos.

Una importación típica especifica la conexión JDBC, la tabla de origen, el directorio de destino, la columna de división y el número de asignadores:

sqoop import \
  --connect jdbc:mysql://localhost:3306/employees \
  --username hadoop \
  --password-file /user/hadoop/.mysql.password \
  --table employees \
  --target-dir /user/hadoop/warehouse/employees \
  --split-by emp_no \
  --num-mappers 4

Una exportación invierte el flujo. Lee los archivos delimitados que ya se encuentran en un directorio HDFS y los inserta en una tabla existente, por lo que primero hay que crear la tabla de destino:

sqoop export \
  --connect jdbc:mysql://localhost:3306/employees \
  --username hadoop \
  --password-file /user/hadoop/.mysql.password \
  --table employee_summary \
  --export-dir /user/hadoop/warehouse/employee_summary \
  --input-fields-terminated-by ','

Un proceso nocturno rara vez necesita la tabla completa dos veces. Una importación incremental registra el valor más alto que ya ha visto y comienza desde ahí en la siguiente ejecución:

sqoop import \
  --connect jdbc:mysql://localhost:3306/sales \
  --table orders \
  --incremental append \
  --check-column order_id \
  --last-value 15000 \
  --target-dir /user/hadoop/warehouse/orders

Estos son los argumentos que aparecen en casi todos los trabajos:

Argumento Lo que controla
--connect JDBC URL de la base de datos de origen o de destino.
--table Tabla que se lee durante una importación o en la que se escribe durante una exportación.
--target-dir Directorio HDFS que recibe una importación. No debe existir previamente.
--export-dir Directorio HDFS cuyos archivos son leídos por una exportación.
--split-by Columna cuyo rango se divide entre las tareas del mapa.
--num-mappers (-m) Número de tareas de mapeo paralelas. El valor predeterminado es cuatro.
--incremental Selecciona append or lastmodified el cambio tracRey.
--hive-import Crea la tabla de Hive correspondiente y carga en ella los datos importados.

⚠️ Atención: Una exportación no es una transacción única. Cada tarea de mapeo confirma su propio lote, por lo que un fallo a mitad del proceso puede dejar parte de los datos en la tabla de destino. Dirija la escritura a través de una tabla intermedia cuando la carga deba ser total o nula.

Estado del proyecto Sqoop y alternativas modernas

Un detalle de la versión es importante antes de que cualquiera de los comandos anteriores se incluya en el planificador.

Los desarrolladores de Sqoop votaron a favor de retirar el proyecto en junio de 2021 y el traslado a la Ático Apache Completado en julio de 2021. El sitio web, las listas de correo, el repositorio git, el problema tracEl kernel y las descargas siguen disponibles, pero solo en modo de lectura, y no se prevén más lanzamientos. La última versión de producción es Sqoop 1.4.7 de 2017; la línea independiente Sqoop 2 (1.99.x) nunca alcanzó la paridad de funciones y nunca se declaró lista para producción.

Los trabajos de Sqoop existentes siguen ejecutándose, y las distribuciones comerciales de Hadoop continúan incluyendo y dando soporte a la herramienta dentro de sus propias plataformas. Sin embargo, el nuevo trabajo de ingesta generalmente se basa en una de estas alternativas:

Alternative Mejores ajuste
Spark con la fuente de datos JDBC Tabla de lotes extracts que ya se encuentran dentro de un Spark pipeline, con lecturas particionadas en lugar de mapeadores.
apache nifi Enrutamiento basado en flujos y configurado visualmente entre múltiples sistemas heterogéneos.
Kafka Connect con un conector CDC Captura continua de cambios en los datos en lugar de un procesamiento por lotes nocturno.
Plataformas ETL gestionadas como Talend Conectores preconfigurados, programación y seguimiento de tareas sin necesidad de escribir trabajos manualmente.

Preguntas Frecuentes

Sqoop 1 es el único cliente de línea de comandos que se utiliza en todos los tutoriales. Sqoop 2 añadió un servidor, una API REST y una interfaz web, pero nunca alcanzó la paridad de funciones ni se consideró listo para producción, por lo que la línea 1.4.x se mantuvo como estándar.

Los modelos analizan las tablas de origen para inferir tipos, claves y columnas de división, sugieren límites de partición a partir de la distribución de filas e indican desviaciones del esquema antes de que se produzca una interrupción en la carga. También proponen columnas de verificación incrementales al detectar comportamientos monótonos o de marca de tiempo en los datos de muestra.

Copilot genera rápidamente la estructura de argumentos, pero mezcla la sintaxis de Sqoop 1 y Sqoop 2 e introduce parámetros que ninguna versión admite. Antes de programar la tarea, compruebe cada argumento con la Guía del usuario de Sqoop para la versión instalada.

Sqoop no puede seleccionar automáticamente una columna de división y la importación falla. Debe especificar explícitamente una columna numérica o de fecha adecuada como columna de división, o bien forzar una única tarea de mapeo que serialice la transferencia.

Una contraseña escrita en la línea de comandos es visible para cualquiera que esté listando los procesos. Guárdela en un archivo HDFS legible solo por el propietario del trabajo e indique dicho archivo al argumento password-file, o bien utilice la solicitud interactiva.

El texto delimitado es el formato predeterminado. También se admiten SequenceFile, Avro y Parquet, cada uno seleccionado mediante su propio argumento. El formato Parquet columnar es adecuado para consultas analíticas posteriores, mientras que el texto delimitado sigue siendo el más sencillo de inspeccionar e incorporar a una exportación.

Cuatro es el valor predeterminado y un buen punto de partida. Un mayor número de mapeadores implica más conexiones simultáneas a la base de datos, por lo que el límite práctico viene determinado por la capacidad del servidor de origen, en lugar de por la programación del clúster de Hadoop.

A Java tiempo de ejecución, un configurado Hadoop Se requiere un cliente que pueda acceder al clúster y el archivo JAR del controlador JDBC para la base de datos de destino, ubicado en el directorio de la biblioteca de Sqoop. La falta de archivos JAR de controladores es la causa más común de fallos en la primera ejecución.

Resumir este post con: