Sqoop Tutorial: Hvad er Apache Sqoop? ArchiTecture & Eksempel

Hvad er SQOOP i Hadoop?

Apache SQOOP (SQL-til-Hadoop) er et værktøj designet til at understøtte masseeksport og import af data til HDFS fra strukturerede datalagre såsom relationsdatabaser, virksomhedsdatavarehuse og NoSQL-systemer. Det er et datamigreringsværktøj baseret på en forbindelsesarkitektur, som understøtter plugins for at give forbindelse til nye eksterne systemer.

Et eksempel på brug af Hadoop Sqoop er en virksomhed, der kører en natlig Sqoop-import for at indlæse dagens data fra en produktionstransaktionel RDBMS til en Hive datavarehus til yderligere analyse.

Næste i denne Apache Sqoop-tutorial lærer vi om Apache Sqoop-arkitektur.

Sqoop Architecture

Alt det eksisterende Databasestyringssystemer er designet med SQL standard i tankerne. Hver DBMS adskiller sig dog til en vis grad med hensyn til dialekt. Så denne forskel giver udfordringer, når det kommer til dataoverførsler på tværs af systemerne. Sqoop Connectors er komponenter, der hjælper med at overvinde disse udfordringer.

Dataoverførsel mellem Sqoop Hadoop og eksternt lagersystem er muliggjort ved hjælp af Sqoops stik.

Sqoop har connectors til at arbejde med en række populære relationelle databaser, herunder MySQL, PostgreSQL, Oracle, SQL Server og DB2. Hver af disse konnektorer ved, hvordan de interagerer med dens tilknyttede DBMS. Der er også en generisk JDBC-forbindelse til at oprette forbindelse til enhver database, der understøtter Java's JDBC protokol. Derudover giver Sqoop Big data optimeret MySQL og PostgreSQL connectors, der bruger databasespecifikke API'er til at udføre masseoverførsler effektivt.

Ud over dette har Sqoop i big data forskellige tredjeparts-stik til databutikker, lige fra virksomheder datavarehuse (inklusive Netezza, Teradata og Oracle) til NoSQL-butikker (såsom Couchbase). Disse stik kommer dog ikke med Sqoop bundt; disse skal downloades separat og kan nemt tilføjes til en eksisterende Sqoop-installation.

Hvorfor har vi brug for Sqoop?

Analytisk behandling ved hjælp af Hadoop kræver indlæsning af enorme mængder data fra forskellige kilder til Hadoop-klynger. Denne proces med bulkdataindlæsning i Hadoop fra heterogene kilder og derefter bearbejdning af det, kommer med et vist sæt udfordringer. Vedligeholdelse og sikring af datakonsistens og sikring af effektiv udnyttelse af ressourcer er nogle faktorer, der skal overvejes, før man vælger den rigtige tilgang til dataindlæsning.

Vigtigste problemer:

1. Dataindlæsning ved hjælp af scripts

Den traditionelle tilgang med at bruge scripts til at indlæse data er ikke egnet til bulk dataindlæsning i Hadoop; denne tilgang er ineffektiv og meget tidskrævende.

2. Direkte adgang til eksterne data via Map-Reduce-applikationen

At give direkte adgang til de data, der findes på eksterne systemer (uden at indlæse i Hadoop) til kortreducerende applikationer komplicerer disse applikationer. Så denne tilgang er ikke gennemførlig.

3. Udover at have evnen til at arbejde med enorme data, kan Hadoop arbejde med data i flere forskellige former. Så for at indlæse sådanne heterogene data i Hadoop er der udviklet forskellige værktøjer. Sqoop og Flume er to sådanne dataindlæsningsværktøjer.

Næste i denne Sqoop-tutorial med eksempler vil vi lære om forskellen mellem Sqoop, Flume og HDFS.

Sqoop vs Flume vs HDFS i Hadoop