初心者向けHiveチュートリアル
デビッドカーター
Hive チュートリアルの概要
Apache Hive は、大規模なデータセットのクエリと管理を高速に行うのに役立ちます。 それは ETLツール Hadoopエコシステム向け。この初心者向けApache Hiveチュートリアルでは、Hiveの基本と、HQLクエリ、データ抽出などの重要なトピックを学びます。tracパーティション、バケットなど。この Hive チュートリアル シリーズは、Hive の概念と基本を学ぶのに役立ちます。
何を知っておくべきですか？
この Hive クエリ チュートリアルを学習するには、次の基本的な知識が必要です。 SQL、 Hadoopの 他のデータベースに関する知識もさらに役立ちます。
ハイブコースのシラバス
イントロダクション
| 👉 基礎学習 | Hiveとは何ですか？ - Archi構造とモード |
| 👉 基礎学習 | HIVE をダウンロードしてインストールする — HIVE をダウンロードしてインストールする方法 Ubuntu |
| 👉 基礎学習 | HIVE メタストアの構成 — 使用する理由 MySQL? |
| 👉 基礎学習 | ハイブのデータ型 — Hive でのデータベースの作成と削除 |
高度なもの
| 👉 基礎学習 | ハイブ作成テーブル — 種類とその使い方 |
| 👉 基礎学習 | Hive パーティションとバケット — 例で学ぶ |
| 👉 基礎学習 | Hive のインデックスとビュー — 例で学ぶ |
| 👉 基礎学習 | ハイブクエリ — 例で学ぶ |
| 👉 基礎学習 | Hive 結合とサブクエリのチュートリアル — 例で学ぶ |
| 👉 基礎学習 | Hive クエリ言語のチュートリアル — 内蔵 Operaトー |
| 👉 基礎学習 | ハイブ機能 — 組み込み関数とユーザー定義関数 |
| 👉 基礎学習 | ハイブETL — JSON、XML、テキスト データのサンプルのロード |
| 👉 基礎学習 | ハイブの面接の質問 — ハイブインタビューQ&Aトップ40 |
ハイブの紹介
Hive は、Hadoop Map-Reduce フレームワーク上に構築されたデータ ウェアハウジング ソリューションとして進化しました。
業界で収集および分析されているデータセットのサイズ ビジネス・インテリジェンス 成長しており、ある意味では、従来のデータ ウェアハウス ソリューションのコストが高くなっています。 Hadoopの MapReduce フレームワークを使用した、巨大なサイズのデータセットを分析するための代替ソリューションとして使用されています。 Hadoop は巨大なデータ セットを扱うのに便利であることが証明されていますが、その MapReduce フレームワークは非常に低レベルであり、プログラマは保守や再利用が難しいカスタム プログラムを作成する必要があります。 ハイブはプログラマーを救出するためにここにやって来ます。
ハイブエンジン これらのクエリを Map-Reduce ジョブにコンパイルし、Hadoop で実行します。さらに、カスタム Map-Reduce スクリプトをクエリにプラグインすることもできます。Hive は、プリミティブ データ型と、配列やマップなどのコレクション データ型で構成されるテーブルに格納されたデータを操作します。
Hive には、テーブルの作成やクエリの実行に使用できるコマンドライン シェル インターフェイスが付属しています。
Hive クエリ言語は SQL に似ており、サブクエリをサポートします。 Hive クエリ言語を使用すると、Hive テーブル間で MapReduce 結合を行うことができます。 簡単なサポートがあります SQL のような関数– CONCAT、SUBSTR、ROUND など、および 集計関数– SUM、COUNT、MAXなど。GROUP BY句とSORT BY句もサポートしています。Hiveクエリ言語でユーザー定義関数を記述することも可能で、これはよく話題になります。 Hiveの面接質問 ビッグデータ関連の職種向け。
Hiveとは何ですか？
ApacheHive HDFS に保存されているデータのクエリと分析を行うためのデータ ウェアハウス フレームワークです。 Hadoop 上で開発されています。 Hive は、Hadoop 上の大規模なデータ セットを分析するためのオープンソース ソフトウェアです。 これは、クエリを表現するための HiveQL と呼ばれる SQL に似た宣言言語を提供します。 Hive-QL を使用すると、ユーザーは SQL 非常に簡単にデータ分析を実行できます。
Hive と Map Reduce の比較
これら XNUMX つのオプションのいずれかを選択する前に、その機能のいくつかを確認する必要があります。
Hive と Map Reduce のどちらを選択するかは、次の要素を考慮して決定されます。
- データの種類
- データ量
- の複雑さ Code
Hive と Map Reduce?
| 機能 | ハイブ | MapReduce |
|---|---|---|
| 言語 | インタラクションとデータモデリングのために SQL のようなクエリ言語をサポートします |
|
| 腹筋レベルtrac生産 | より高いレベルのAbstracHDFSの上に構築 | 腹筋のレベルが低いtrac生産 |
| 効率 Code | マップリデュースよりも比較的小さい | 高効率を実現 |
| コードの範囲 | Less 実行に必要なコードの行数 | 定義するコードの行数が増える |
| 必要な開発作業の種類 | Less 必要な開発作業 | さらなる開発作業が必要 |
クリックして 次のチュートリアル
