Co to jest ul? Architectura i tryby

Co to jest ul?

Hive to narzędzie do ETL i magazynowania danych opracowane w oparciu o rozproszony system plików Hadoop (HDFS). Hive ułatwia wykonywanie operacji takich jak:

• Enkapsulacja danych
• Zapytania doraźne
• Analiza ogromnych zbiorów danych

Ważne cechy Hive

Poniższe punkty wyjaśniają, co odróżnia Hive od zwykłego programu MapReduce.

• W Hive najpierw tworzone są tabele i bazy danych, a następnie dane są ładowane do tych tabel.
• Hive to magazyn danych przeznaczony do zarządzania i wykonywania zapytań wyłącznie w zakresie danych strukturalnych przechowywanych w tabelach.
• W przypadku danych strukturalnych MapReduce nie oferuje funkcji optymalizacji i użyteczności, takich jak UDF, ale framework Hive je posiada. Optymalizacja zapytań odnosi się do efektywnego sposobu wykonywania zapytań pod względem wydajności.
• Zainspirowany SQL-em język Hive oddziela użytkownika od złożoności programowania MapReduce. Wykorzystuje on znane koncepcje ze świata relacyjnych baz danych, takie jak tabele, wiersze, kolumny i schematy, ułatwiając naukę.
• Programowanie Hadoopa działa na płaskich plikach. Dzięki temu Hive może używać struktur katalogowych do "przegroda" dane w celu poprawy wydajności niektórych zapytań.
• Ważnym elementem Hive jest metamagazyn, służący do przechowywania informacji o schemacie. Ten metamagazyn zazwyczaj znajduje się w relacyjnej bazie danych. Możemy wchodzić w interakcję z Hive za pomocą metod takich jak:
  • GUI sieci
  • Java Interfejs łączności z bazą danych (JDBC).
• Większość interakcji odbywa się za pośrednictwem interfejsu wiersza poleceń (CLI). Hive udostępnia interfejs CLI do pisania zapytań Hive za pomocą języka HQL (Hive Query Language).
• Ogólnie składnia HQL jest podobna do SQL Składnia, z którą zna się większość analityków danych. Poniższe przykładowe zapytanie wyświetla wszystkie rekordy obecne w podanej nazwie tabeli.
  • Przykładowe zapytanie : Wybierz spośród
• Hive obsługuje cztery formaty plików, są to: PLIK TEKSTOWY, PLIK SEKWENCYJNY, ORC i PLIK RC (Nagraj plik kolumnowy).
• Do przechowywania metadanych pojedynczego użytkownika Hive korzysta z bazy danych Derby, a do przechowywania metadanych wielu użytkowników lub współdzielonych Hive korzysta z bazy danych Derby. MySQL.

Do ustawienia MySQL jako bazę danych i do przechowywania informacji metadanych, sprawdź samouczek na konfigurowanie metamagazynu Hive za pomocą MySQL, który jest kontynuacją Przewodnik po instalacji Hive.

Niektóre kluczowe punkty dotyczące Hive:

• Główną różnicą pomiędzy HQL i SQL jest to, że zapytanie Hive jest wykonywane w infrastrukturze Hadoop, a nie w tradycyjnej bazie danych.
• Wykonywanie zapytań Hive to seria automatycznie generowanych MapaReduce Oferty pracy.
• Hive obsługuje koncepcje partycjonowania i kontenerów, aby ułatwić pobieranie danych podczas wykonywania zapytania przez klienta.
• Hive obsługuje niestandardowe UDF (funkcje zdefiniowane przez użytkownika) Do oczyszczania, filtrowania i podobnych zadań danych. Zgodnie z wymaganiami programistów, można zdefiniować funkcje UDF Hive.

Hive kontra relacyjne bazy danych

Hive wykonuje funkcje, których nie potrafią relacyjne bazy danych. Gdy dane liczą się w petabajtach, zwracanie wyników w ciągu sekund ma znaczenie, a Hive robi to sprawnie. Oto najważniejsze różnice.

Bazy danych relacyjne są „schemat przy odczycie i schemat przy zapisie”: Najpierw tworzona jest tabela, a następnie wstawiane są do niej dane. W tabelach relacyjnych baz danych można wykonywać takie funkcje, jak wstawianie, aktualizowanie i modyfikowanie.

Ul jest „schemat tylko do odczytu”Funkcje takie jak aktualizacja i modyfikacja nie działały we wczesnych wersjach, ponieważ zapytanie Hive w typowym klastrze jest uruchamiane na wielu węzłach DataNode, co uniemożliwiało aktualizowanie i modyfikowanie danych na wielu węzłach (wersje Hive starsze niż 0.13).

Hive obsługuje również „czytaj wiele, pisz raz” wzór, dzięki czemu w nowszych wersjach tabelę można uaktualnić po wstawieniu.

UWAGA: Nowsze wersje Hive zawierają ulepszone funkcje. W Hive 0.14 wprowadzono nowe funkcje UPDATE i DELETE, a późniejsze wersje dodały pełną obsługę transakcji ACID.

Poniższa tabela podsumowuje porównanie.

Ul Architektura

Poniższy diagram wyjaśnia Apache Architektura Hive w szczegółach.

Hive składa się z 3 głównych części:

1. Klienci Hive
2. Usługi Hive
3. Przechowywanie i przetwarzanie w Hive

Klienci Hive

Hive oferuje różne sterowniki do komunikacji z różnymi typami aplikacji. W przypadku aplikacji opartych na Thrift, Hive udostępnia klienta Thrift do komunikacji.

Dla litu szacuje się Java Powiązane aplikacje udostępniają sterowniki JDBC. Do każdego innego typu aplikacji udostępnia sterowniki ODBC. Ci klienci i sterowniki z kolei komunikują się z serwerem Hive w usługach Hive.

Usługi ula

Interakcje klienta z Hive odbywają się za pośrednictwem usług Hive. Jeśli klient chce wykonać jakąkolwiek operację związaną z zapytaniem w Hive, musi się komunikować za pośrednictwem usług Hive.

Interfejs wiersza poleceń działa jak usługa Hive dla operacji DDL. Wszystkie sterowniki komunikują się z serwerem Hive i sterownikiem głównym w usługach Hive, jak pokazano na powyższym diagramie architektury.

Sterownik w usługach Hive jest sterownikiem głównym: komunikuje się z JDBC, ODBC i innymi aplikacjami specyficznymi dla klienta, a następnie przekazuje ich żądania do metamagazynu i systemu plików w celu dalszego przetwarzania.

Pamięć masowa i komputery Hive

Usługi Hive, takie jak metamagazyn, system plików i klient zadań, komunikują się z magazynem Hive i wykonują następujące czynności:

• Informacje metadane dotyczące tabel utworzonych w Hive są przechowywane w Hive baza danych metastore.
• Wyniki zapytania i dane załadowane do tabel są przechowywane w klastrze Hadoop na HDFS.

Przepływ wykonywania zadań

Poniższy diagram tracto jedno zapytanie z interfejsu użytkownika do DataNodes i z powrotem.

Z powyższego diagramu możemy zrozumieć przepływ wykonywania zadań w Hive z Hadoop. Przepływ danych w Hive przebiega według następującego schematu.

1. Wykonywanie zapytania z poziomu interfejsu użytkownika (UI)
2. Sterownik współpracuje z kompilatorem w celu uzyskania planu. (Tutaj plan odnosi się do procesu wykonywania zapytania i związanego z nim gromadzenia metadanych.)
3. Kompilator tworzy plan wykonania zadania. Kompilator komunikuje się z metamagazynem, aby pobrać żądanie metadanych.
4. Metamagazyn wysyła informacje o metadanych z powrotem do kompilatora
5. Kompilator komunikuje się ze sterownikiem, podając proponowany plan wykonania zapytania
6. Sterownik wysyła plany wykonania do silnika wykonawczego
7. Silnik wykonawczy (EE) działa jako pomost między Hive i Hadoop, przetwarzając zapytanie, w tym operacje DFS:
   • EE najpierw kontaktuje się z NameNode, a następnie z DataNode, aby pobrać wartości zapisane w tabelach.
   • EE pobiera żądane rekordy z węzłów danych. Rzeczywiste dane tabelaryczne znajdują się tylko w węzłach danych; z węzła nazw pobiera tylko metadane dla zapytania.
   • Gromadzi rzeczywiste dane z węzłów danych powiązanych ze wspomnianym zapytaniem
   • EE komunikuje się dwukierunkowo z metamagazynem w celu wykonywania operacji DDL (języka definicji danych), takich jak: UTWÓRZ, USUŃ I ZMIEŃ w tabelach i bazach danych. Metamagazyn przechowuje tylko nazwy baz danych, tabel i kolumn.
   • EE z kolei komunikuje się z demonami Hadoop, takimi jak NameNode, DataNodes i job tracker do wykonania zapytania na systemie plików Hadoop

8. Pobieranie wyników ze sterownika
9. Wysyłanie wyników do silnika wykonawczego. Po pobraniu wyników z węzłów danych do EE, silnik wysyła je z powrotem do sterownika i do interfejsu użytkownika (front-end).

Hive utrzymuje kontakt z systemem plików Hadoop i jego demonami za pośrednictwem silnika wykonawczego. Przerywana strzałka na diagramie pokazuje tę komunikację.

Różne tryby Hive

Hive może działać w dwóch trybach, w zależności od rozmiaru węzłów danych w Hadoop. Tryby te to:

• Tryb lokalny
• Tryb MapReduce

Kiedy używać trybu lokalnego

• Jeśli Hadoop jest zainstalowany w trybie pseudorozproszonym z jednym węzłem danych, w tym trybie używamy Hive
• Jeśli rozmiar danych jest na tyle mały, że można go ograniczyć do jednej lokalnej maszyny, możemy użyć tego trybu
• Przetwarzanie będzie bardzo szybkie w przypadku mniejszych zestawów danych znajdujących się na komputerze lokalnym

Kiedy używać trybu MapReduce

• Jeśli Hadoop ma wiele węzłów danych i dane są rozproszone pomiędzy różnymi węzłami, w tym trybie używamy Hive
• Działa na dużych ilościach danych, a zapytanie jest wykonywane równolegle
• W tym trybie można uzyskać lepszą wydajność przetwarzania dużych zbiorów danych

W Hive możemy ustawić właściwość określającą tryb działania Hive. Domyślnie działa w trybie MapReduce, a w trybie lokalnym można użyć następującego ustawienia:

SET mapred.job.tracker=local;

Od wersji Hive 0.7 obsługuje tryb, który automatycznie uruchamia zadania MapReduce w trybie lokalnym. W Hive 4.x domyślnym silnikiem jest Apache Tez, więc ta właściwość ma zastosowanie do starszej ścieżki MapReduce.

Co to jest Hive Server2 (HS2)?

HiveServer2 (HS2) to interfejs serwerowy, który wykonuje następujące funkcje:

• Umożliwia zdalnym klientom wykonywanie zapytań względem Hive
• Pobiera wyniki tych zapytań

Obecne wersje dodają zaawansowane funkcje oparte na Thrift RPC, takie jak:

• Współbieżność wielu klientów
• Uwierzytelnianie

HS2 stoi za Beeline i każdą sesją JDBC lub ODBC, dlatego zastąpił interfejs wiersza poleceń Hive dla pojedynczego użytkownika. Operatorzy HiveQL i wbudowane funkcje odniesienie jest naturalnym następnym krokiem.

FAQ