MYSQL ile HIVE Metastore Nasıl Kurulur ve Yapılandırılır

HIVE Metastore nedir?

Hive metastore, Apache Hive ile ilgili meta verileri (sütun adları, veri türleri, yorumlar vb.) kullanarak depolayan bir depodur. MySQL or PostgreSQL. Bu Hive meta deposu, ilişkisel bir veritabanındaki tablolar kullanılarak uygulanır.

Neden Kullanılmalı MySQL Hive'da Metastore olarak:

• Varsayılan olarak Hive, metastore olarak derby veritabanıyla birlikte gelir.
• Derby veritabanı aynı anda yalnızca tek bir aktif kullanıcıyı destekleyebilir
• Üretim ortamında Derby önerilmez

Böylece çözüm burada

• Aynı anda birden fazla kullanıcıyı Hive'a bağlamak için MYSQL'i arka uçta Meta depolama alanı olarak kullanın
• MYSQL, bağımsız metastore için en iyi seçimdir

Hive Metastore Nasıl Kurulur ve Yapılandırılır MySQL veritabanı

) 1 Adım kurmak MySQL sunucu
Bu adımda iki görevi gerçekleştireceğiz

1. MySQL sunucusunun kurulumu
2. MySQL sunucusunu ve sürecini kontrol etme

1. kullanma sudo apt-get install mysql-server komutunu kullanarak mysql sunucusunu indirebiliriz

kurmak MySQL ekran görüntüsünde gösterildiği gibi

2. Sonunda başarılı kurulumdan sonra, MySQL aşağıdaki ekran görüntüsünde gösterildiği gibi çalışacaktır

) 2 Adım kurmak MySQL Java Bağlayıcı
Takma MySQL Java Bağlayıcı. Bu, Java bağımlılıkları ve bağlantı amacı içindir

) 3 Adım Bağlayıcı için yumuşak bağlantı oluştur
Hive lib dizininde bağlayıcı için yumuşak bağlantı oluşturuluyor. Bu, arasındaki yumuşak bağlantı içindir Java ve MySql.

) 4 Adım Hive'da MySql depolama alanını yapılandırma

• MySql –u root –p ve ardından şifre yazın
• Burada –u root kullanıcı adını, p ise şifreyi temsil ediyor
• Yukarıdaki komutu girdikten sonra kullanıcının geçerli şifreyi girmesi ve ardından enter tuşuna basması gerekir.
• Daha sonra MySql kabuk moduna girecek

) 5 Adım Kullanıcı adı ve şifre oluştur
MySql için kullanıcı adı ve şifre oluşturma, ayrıcalık verme.

Aşağıda gösterildiği gibi komutları uygulamamız gerekiyor,

mysql> CREATE USER 'hiveuser'@'%' IDENTIFIED BY 'hivepassword'; 
mysql> GRANT all on *.* to 'hiveuser'@localhost identified by 'hivepassword';
mysql>  flush privileges;

) 6 Adım Hive-site.xml'i yapılandırma

• 5. Adımdan sonra kullanıcı adınızı ve şifrenizi atayın MySQL veritabanı ve verilen ayrıcalıklar.
• Burada bağlantı kurmak için Hive'daki bazı özellikleri yapılandıracağız. MySQL veri tabanı.

Yukarıdaki ekran görüntüsünden aşağıdakileri gözlemliyoruz. Burada MYSQL'i Meta deposu olarak kurmak için gerekli olabilecek 4 özelliği tanımlıyoruz kovan

Bunlar şöyledir:

1. Bu özellik bağlantı URL'si amaçlıdır. Burada ConnectionURL’yi bu özellikte tanımlıyoruz. JDBC bağlantısı görevi görür ve aynı zamanda metastore konumunu da temsil eder.
2. Bu özellik Bağlantı sürücüsü adı içindir. Burada mysql.jdbc.Driver değer etiketinde belirtmemiz gereken saygın değerdir
3. Bu özellik Bağlantı Kullanıcı adını tanımlamak için kullanılır. Burada kullanıcı adı olarak “hiveguru”yu tanımladık
4. Bu özellik Bağlantı Şifresinden bahsetmek için kullanılır. Burada şifreyi kullanıcı şifresi olarak tanımladık.

Özellikler hive –site.xml'e yerleştirildikten sonra dosyayı manuel olarak kaydetmemiz (Ctrl+S) ve kapatmamız gerekir. Bu dosyayı kapattıktan sonra, Hive tablosu oluşturmalı ve tablo ayrıntılarını kontrol etmeliyiz MySQL depolama.

Bu kodu Hive-site.xml dosyasına yerleştirin

kovan-site.xml

<configuration>
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value>
		<description>metadata is stored in a MySQL server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
		<description>MySQL JDBC driver class</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>hiveuser</value>
		<description>user name for connecting to mysql server</description>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>hivepassword</value>
		<description>password for connecting to mysql server</description>
	</property>
</configuration>

Adım7) Tablo oluştur
Hive'da "guru99" tablosunu oluşturun.

Yukarıdaki ekran görüntüsünden aşağıdakileri gözlemleyebiliriz:

• İki sütun adı ile “guru99″ tablo adının oluşturulması
• Veri türü ile bahsedilen sütun adlarından biri tam sayı, diğeri ise string türündedir.

Bir sonraki adımda MySql'de saklanıp saklanmadığını kontrol edeceğiz.

) 8 Adım MySql kabuk moduna girin

Yukarıdaki ekran görüntüsünden aşağıdakileri gözlemleyebiliriz:

• Öncelikle veritabanını “metastore kullan” olarak kullanmalıyız
• Meta mağazayı seçtikten sonra, ekran görüntüsünde gösterildiği gibi “tabloları göster” komutunu kullanarak burada bulunan tabloları kontrol edebiliriz.
• Hive'da oluşturulan tablolar ne olursa olsun, meta veriler TBLS altında depolanan tablolara karşılık gelir. MySQL veri tabanı.
• Hive'da "Guur99 tablosu" oluşturulur, böylece karşılık gelen meta veriler MySQL TBLS kapsamında.

) 9 Adım TBLS'den * seç seçeneğini girin
Oluşturulan tablonun sunulup sunulmadığının kontrol edilmesi MySQL ya da değil

TBLS'den select * girerek Hive kabuk modunda oluşturduğumuz tabloları görüntüleyecektir.

Yukarıdaki ekran görüntüsünden şunları gözlemleyebiliriz:

• Oluşturulan tablo adı “guru99” Hive'dır. MySQL kabuk modu
• Bunun yanında yukarıdaki ekran görüntüsünde gösterildiği gibi tablo oluşturma zamanı, erişim zamanı ve diğer özellikler gibi bilgileri de sağlayacaktır.