HIVE をインストールする方法 Ubuntu (ダウンロード&セットアップガイド)

Apache Hiveのインストール前に、専用の Hadoopの すべての Hadoop デーモンをインストールし、起動して実行します。

Hadoopのインストールについては、こちらをご確認ください。 .

Hadoopデーモンがすべて正常に動作するようになったら、Hiveのインストールを開始します。以下の手順は4つの段階で構成されています。

Apache Hiveのインストール手順

1. 前提条件とバージョン互換性
2. ハイブのインストール
3. メタストア スキーマの初期化
4. ハイブシェルコマンド

Apache Hiveをインストールするための前提条件 Ubuntu

Hiveはスタンドアロンのデータベースではありません。HiveQLを既存のクラスター上で実行されるジョブに変換するクエリレイヤーです。そのため、ほとんどのインストール失敗は tracこれは、Hive自体の問題ではなく、前提条件の不足が原因です。ダウンロードする前に、以下の点を確認してください。

• サポートされているJDK。 Hive 4.1.x は JDK 17 で動作しますが、Hive 4.2.x では最小要件が JDK 21 に引き上げられます。バージョンを確認するには、 java -version また、JAVA_HOMEがエクスポートされていることを確認してください。
• 稼働中のHadoopクラスター。 NameNodeとDataNodeの両方がアクティブである必要があります。 JPS リストにNameNode、DataNode、ResourceManager、NodeManagerがすべて表示されていることを確認してください。
• HDFSへの書き込みアクセス。 Hive を起動するアカウントには、以下のディレクトリを作成する権限が必要です。 HDFS.
• 一致するバージョン。 Hive 4.2.0 は Hadoop 3.4.1 および Tez 0.10.5 をベースに構築されています。Hive 3.x 系は 2024 年 10 月にサポートが終了したため、新規インストールの場合は 4.x 系をターゲットにする必要があります。
• 無料リソース。 シングルノードの学習環境であれば、約4GBのRAMと20GBの空きディスク容量があれば十分です。

これらのチェックボックスにチェックを入れると、以下のダウンロードと解凍の手順は問題なく実行されます。

Hive をインストールする方法 Ubuntu

以下は、Hive をインストールする方法の段階的なプロセスです。 Ubuntu:

ステップ 1) Hive をダウンロードしてインストールします。 Ubuntu

Hiveの安定版セットアップをダウンロードするには、以下を参照してください。 アパッチ URL 下記に記載。

https://www.apache.org/dyn/closer.cgi/hive/ — に行く URL そして、Apacheミラーのダウンロードリンクを選択します。 Apache Hiveのダウンロードページ どのリリースがどの Hadoop バージョンとペアになっているかを一覧表示します。

ミラーページを開くと、以下に示すように、利用可能なHiveリリースディレクトリの一覧が表示されます。

Hive の最新バージョンを選択してください。（私の場合は現在 hive – 3.1.2 です。）リリースフォルダには、バイナリアーカイブとソースアーカイブが並んで表示されます。

binファイルをクリックするとダウンロードが開始されます。

ステップ2）例tractarファイル

ダウンロードしたtarファイルの場所に移動して、trac以下のコマンドを使用してtarファイルを解凍し、Hiveをインストールします。 Ubuntu あなたのシステムで。

tar -xvf  apache-hive-3.1.2-bin.tar.gz

ターミナルは、ファイルが新しいHiveディレクトリに展開されるたびに、その内容を表示します。

ステップ 3) Apache Hive にさまざまな構成プロパティを配置する

このステップでは、次の2つのことを行います。

1. Hiveのホームパスをbashrcファイルに配置する
2. Hadoopホームパスの場所をhive-config.shに配置する

1) ~/.bashrc に Hive のパスを記述する

以下のコマンドを使用して、ファイルを編集用に開きます。

• 上記のスクリーンショットに示すように、bashrc ファイルを開きます。
• bashrc ファイルに Hive ホーム パス、つまり HIVE_HOME パスを記述し、以下のようにエクスポートします。

Code bashrc に配置する必要があります:

export HIVE_HOME="/home/guru99hive/apache-hive-1.2.0-bin"
export PATH=$PATH:$HIVE_HOME/bin

ファイルを再読み込み ソース〜/ .bashrc つまり、新しいパスは現在の端末セッションで有効になります。

2) hive-config.shでHadoopパスをエクスポートする

Hadoopエコシステムと通信するために、Hive設定ファイルでHadoopホームパスを定義します。以下に示すように、hive-config.shを開いてください。

以下に示すように、hive-config.sh ファイルに HADOOP_HOME パスを指定してください。

ステップ 4) Hadoop で Hive ディレクトリを作成する

Hadoopと通信するには、以下に示すようにHadoop内にディレクトリを作成する必要があります。Hiveは管理対象テーブルのデータをウェアハウスディレクトリに書き込み、ステージング出力をtmpディレクトリに書き込みます。

HadoopでHiveフォルダを作成するためのroot権限を付与します。エラーメッセージが表示されなければ、HadoopがHiveフォルダへの権限付与に成功したことを意味します。

ステップ5）Hiveシェルに入る

Hiveシェルに入るには、 '。 /ハイブ' 以下に示すコマンド。

Hiveメタストアスキーマを初期化する方法

Hive は、すべてのテーブル名、列名、データ型をメタストアと呼ばれるリレーショナル ストアに保持します。新規インストール時にはこのストアは空であり、Hive 3.x 以降では、スキーマ テーブルが存在するまでシェルは起動しません。Hive の bin ディレクトリに同梱されている schematool ユーティリティが、これらのスキーマ テーブルを作成します。

シングルユーザー向けの学習環境であれば、同梱されているDerbyデータベースで十分です。

$HIVE_HOME/bin/schematool -dbType derby -initSchema

このコマンドは作成したスキーマバージョンを出力し、最後に schemaTool が完了しましたDerbyはコマンドが実行されたディレクトリにファイルを書き込むため、その後は必ず同じディレクトリからHiveを起動してください。

Derbyは一度に1つのアクティブセッションしか受け付けないため、共有クラスターには適していません。Point Hiveは MySQL 代わりに、hive-site.xmlに接続プロパティを追加し、別のデータベースタイプでツールを再実行してください。

$HIVE_HOME/bin/schematool -dbType mysql -initSchema

物件の全リストとドライバーの配置については、ガイドに記載されています。 Hiveメタストアを以下のように構成します。 MySQLさらに、覚えておくべき旗が2つあります。

• -情報 何も変更せずに、メタストアに現在記録されているスキーマバージョンを報告します。
• -upgradeSchema 既存のメタストアを、新しくインストールされたHiveリリースのスキーマバージョンに移行します。

スキーマが準備できたので、シェルは最初のHiveQLステートメントを受け入れる準備が整いました。

ハイブシェルコマンド

ここでは、Hiveシェルコマンド「create」を使用して、列名を指定してサンプルテーブルを作成します。

Hiveでデータベースを作成するためのサンプルコードです。以下のスクリーンショットは、作成ステートメントとdescribeコマンドの出力を続けて表示したものです。

上記のスクリーンショットから、以下のことが分かります。

1) Hiveで列名を含むサンプルテーブルを作成する

• ここではテーブル名は「product」で、XNUMX つの列名があります。 製品、pname、および価格
• 3つの列名は、それぞれのデータ型で示されています。
• すべてのフィールドはカンマ「, 」で終わります

2) Hiveテーブル情報の表示

• 「describe」コマンドを使用すると、Hiveに存在するテーブル情報を確認できます。
• ここでは、テーブルスキーマに存在する列名とそのデータ型が表示されています。
• 最後に、このコマンドの実行にかかった時間と取得した行数が表示されます。

データベースを作成するためのサンプルコード ハイブ （自己チェック用）

1) テーブル product を作成します (product は整数、pname は文字列、price は浮動小数点数)

Row format delimited
Fields terminated by ',';

2) 製品の説明

テーブルがdescribeコマンドに応答すると、シェル、メタストア、HDFSがすべて接続されます。ここから同じセッションがより広い範囲の テーブルの作成、変更、削除 声明と 並べ替え、グループ化、クラスタリング クエリ

Hiveのインストールでよくあるエラー Ubuntu そしてそれを修正する方法

初回実行時のエラーのほとんどは、Hive自体ではなく、Hiveを取り巻く環境に起因します。以下の表は、最も頻繁に表示されるメッセージとその原因、およびそれらを解消するコマンドを示しています。

Hiveの問題とHadoopの問題を素早く区別する方法は、以下のコマンドを実行することです。 JPS まず、デーモンが見つからない場合はクラスターに問題があります。デーモンが存在してもシェルが失敗する場合は、Hive 構成またはメタストア スキーマに問題があります。シェルが安定したら、 HiveQLの演算子と組み込み関数 参考文献を参照するのが、次の自然なステップだ。

よくあるご質問