ประเภทข้อมูลไฮฟ์: วิธีสร้างและวางฐานข้อมูลในไฮฟ์

ชนิดข้อมูลเป็นองค์ประกอบที่สำคัญมากในภาษาการสืบค้นข้อมูลและการสร้างแบบจำลองข้อมูลของ Hive ในการกำหนดชนิดคอลัมน์ของตาราง เราจำเป็นต้องรู้จักชนิดข้อมูลและการใช้งานของมัน

ต่อไปนี้เป็นภาพรวมโดยย่อของประเภทข้อมูลบางประเภทที่มีอยู่ใน Hive:

• ประเภทตัวเลข
• ประเภทสตริง
• ประเภทวันที่/เวลา
• ประเภทที่ซับซ้อน

ชนิดข้อมูลในไฮฟ์

คอลัมน์ทุกคอลัมน์ใน Hive จะถูกประกาศด้วยประเภทข้อมูลอย่างใดอย่างหนึ่งดังต่อไปนี้ โดยประเภทข้อมูลพื้นฐานจะอยู่ลำดับแรก ตามด้วยประเภทข้อมูลที่ซับซ้อนกว่าซึ่งสามารถเก็บค่าได้มากกว่าหนึ่งค่าในคอลัมน์เดียว

ประเภทข้อมูลตัวเลขไฮฟ์

คอลัมน์ตัวเลขมีขนาดตั้งแต่หนึ่งไบต์ถึงแปดไบต์ ดังนั้นการเลือกชนิดข้อมูลที่เล็กที่สุดที่เหมาะสมกับค่าจะช่วยลดทั้งพื้นที่จัดเก็บและต้นทุนการสแกน

ประเภทข้อมูลสตริงไฮฟ์

คอลัมน์อักขระมีสามรูปแบบ และความแตกต่างอยู่ที่ว่า Hive บังคับใช้ความยาวที่กำหนดไว้หรือไม่

ประเภทข้อมูลวันที่/เวลาไฮฟ์

คอลัมน์ข้อมูลตามเวลาจะถูกจัดเก็บโดยไม่มีการชดเชยเขตเวลา ซึ่งเป็นสิ่งสำคัญที่ควรจำไว้ก่อนเปรียบเทียบค่าที่เขียนโดยคลัสเตอร์ต่างๆ

ประเภทข้อมูลเบ็ดเตล็ดของ Hive

มีหน่วยข้อมูลพื้นฐานอีกสองหน่วยที่อยู่นอกเหนือกลุ่มตัวเลข สตริง และวันที่ แต่ปรากฏให้เห็นเป็นประจำในรูปแบบข้อมูลจริง

ประเภทข้อมูลที่ซับซ้อนของ Hive

ประเภทข้อมูลที่ซับซ้อนจะซ้อนค่าต่างๆ ไว้ภายในคอลัมน์เดียว ซึ่งช่วยลดการเชื่อมต่อเพิ่มเติมที่การออกแบบเชิงสัมพันธ์จำเป็นต้องใช้

ตัวอย่างประเภทข้อมูลที่ซับซ้อนของ Hive

ตารางด้านบนแสดงรูปแบบการประกาศ คำสั่งด้านล่างนำประเภทข้อมูลที่ซับซ้อนสามประเภทมารวมไว้ในตารางเดียวกัน เพื่อให้สามารถมองเห็นเงื่อนไขตัวคั่นและไวยากรณ์การเข้าถึงได้พร้อมกัน

CREATE TABLE employees (
  name      STRING,
  skills    ARRAY<STRING>,
  deductions MAP<STRING, FLOAT>,
  address   STRUCT<street:STRING, city:STRING, pin:INT>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

จำเป็นต้องใช้ตัวคั่นสามตัวแยกกันในที่นี้ ได้แก่ ตัวคั่นระหว่างคอลัมน์ ตัวคั่นระหว่างรายการของ ARRAY หรือ STRUCT และตัวคั่นระหว่างคีย์ของ MAP กับค่าของมัน เมื่อตารางมีอยู่แล้ว แต่ละคอลัมน์ที่ซับซ้อนจะถูกอ่านด้วยตัวเข้าถึงเฉพาะของตัวเอง

SELECT name, skills[0], deductions['tax'], address.city
FROM employees;

ตารางด้านล่างสรุปว่าตัวเข้าถึงข้อมูลแต่ละชนิดจัดอยู่ในประเภทใดบ้าง

ประเภทข้อมูลที่ซับซ้อนอาจซ้อนกันได้ ดังนั้น ARRAY จึงเป็นเช่นนั้น > เป็นการประกาศคอลัมน์ที่ถูกต้อง เมื่อกำหนดโครงสร้างคอลัมน์เสร็จแล้ว ตารางจะถูกสร้างขึ้นโดยใช้คำสั่งต่างๆ ที่กล่าวถึงในหัวข้อถัดไป Hive สร้าง แก้ไข และลบตาราง.

วิธีสร้างและวางฐานข้อมูลใน Hive

ฐานข้อมูลใน Hive เป็นเพียงเนมสเปซที่จัดกลุ่มตาราง ดังนั้นจึงเป็นวัตถุแรกที่ต้องสร้างก่อนที่จะเริ่มทำงานกับตารางใดๆ ต่อไปนี้คือขั้นตอนในการสร้างและลบฐานข้อมูลใน Hive

ขั้นตอนที่ 1) สร้างฐานข้อมูลใน Hive

ในการสร้างฐานข้อมูลใน Hive shell เราต้องใช้คำสั่งตามไวยากรณ์ที่แสดงด้านล่างนี้:

ไวยากรณ์:

Create database <DatabaseName>

ตัวอย่าง: สร้างฐานข้อมูล “guru99”

ภาพหน้าจอด้านล่างแสดงคำสั่งสร้างตามด้วยคำสั่งแสดงรายการฐานข้อมูลทั้งหมดในคลัสเตอร์

จากภาพหน้าจอข้างต้น เรากำลังทำสองสิ่งต่อไปนี้:

1. การสร้างฐานข้อมูล “guru99” ใน Hive
2. การแสดงฐานข้อมูลที่มีอยู่โดยใช้คำสั่ง “show”

ในหน้าจอเดียวกัน เมื่อรันคำสั่ง show จะแสดงฐานข้อมูล “guru99” ซึ่งหมายความว่าฐานข้อมูล “guru99” ถูกสร้างขึ้นสำเร็จแล้ว

ขั้นตอนที่ 2) ลบฐานข้อมูลใน Hive

สำหรับหยดน้ำping ในการลบฐานข้อมูลใน Hive shell เราต้องใช้คำสั่ง "drop" ตามไวยากรณ์ที่แสดงด้านล่าง:

ไวยากรณ์:

Drop database <DatabaseName>

ตัวอย่าง: ลบฐานข้อมูล guru99

ในภาพหน้าจอถัดไป คำสั่ง drop จะทำงานก่อน และคำสั่ง show ที่ตามมาจะไม่แสดงรายการฐานข้อมูลอีกต่อไป

ในภาพหน้าจอข้างต้น เรากำลังทำสองสิ่งต่อไปนี้:

1. เรากำลังทิ้งping ฐานข้อมูล 'guru99' จาก Hive
2. ตรวจสอบความถูกต้องอีกครั้งด้วยคำสั่ง “show”

ในหน้าจอเดียวกัน หลังจากตรวจสอบฐานข้อมูลด้วยคำสั่ง show แล้ว ฐานข้อมูล “guru99” ไม่ปรากฏใน Hive ดังนั้นเราจึงยืนยันได้ว่าฐานข้อมูล “guru99” ถูกลบไปแล้ว

คำสั่งฐานข้อมูล Hive: USE, DESCRIBE, SHOW และ ALTER DATABASE

คำสั่งสองคำสั่งข้างต้นใช้รูปแบบที่สั้นที่สุด ไวยากรณ์ที่บันทึกไว้มีข้อความเพิ่มเติมที่ไม่บังคับ ซึ่งจะกำหนดว่าไฟล์จะถูกจัดเก็บไว้ที่ใด และจะเกิดอะไรขึ้นเมื่อชื่อไฟล์นั้นถูกใช้ไปแล้ว

CREATE DATABASE [IF NOT EXISTS] database_name
  [COMMENT database_comment]
  [LOCATION hdfs_path]
  [WITH DBPROPERTIES (property_name=property_value, ...)];

DROP DATABASE [IF EXISTS] database_name [RESTRICT|CASCADE];

คำหลัก DATABASE และ SCHEMA สามารถใช้แทนกันได้ตลอดทั้งเอกสาร ดังนั้น CREATE SCHEMA และ CREATE DATABASE จึงทำหน้าที่เหมือนกันทุกประการ ส่วนคำสั่งที่เหลือเป็นคำสั่งเสริมสำหรับการทำงานประจำวันเกี่ยวกับเนมสเปซ

มีค่าเริ่มต้นสองอย่างที่ควรจดจำ หากไม่มีเงื่อนไข LOCATION ไฟล์จะอยู่ในไดเร็กทอรี warehouse ซึ่งโดยปกติคือ /user/hive/warehouse/database_name.db และหากไม่มีเงื่อนไข IF EXISTS การลบไฟล์ไปยังชื่อที่หายไปจะทำให้เกิดข้อผิดพลาดแทนที่จะผ่านไปได้โดยไม่มีปัญหา การตั้งค่าทั้งสองนี้ถูกเก็บไว้ในไฟล์ เมตาสโตร์ของ Hive.

การแปลงประเภทข้อมูลและข้อผิดพลาดที่พบบ่อยใน Hive

ประเภทข้อมูลไม่ได้ถูกใช้งานตรงตามที่ประกาศไว้เสมอไป Hive จะขยายค่าโดยอัตโนมัติเมื่อไม่สามารถสูญเสียข้อมูลใดๆ ได้ และปล่อยให้การแปลงค่าในกรณีอื่นๆ เป็นไปตามวิธีการที่กำหนดไว้

• การขยายขนาดโดยปริยายเป็นไปตามลำดับ TINYINT ไป SMALLINT ไป INT ไป BIGINT ไป FLOAT ไป DOUBLE และ STRING ที่เก็บตัวเลขจะถูกแปลงเป็น DOUBLE
• การลดขนาดข้อมูลจะไม่เกิดขึ้นเองโดยอัตโนมัติ ดังนั้นค่า DOUBLE ที่กำหนดค่าให้กับคอลัมน์ INT จึงจำเป็นต้องมีการแปลงค่าด้วยการเขียนโค้ด
• ฟังก์ชัน CAST จะทำการแปลงค่าตามที่เขียนไว้ และจะส่งคืนค่า NULL แทนที่จะเป็นข้อผิดพลาด หากไม่สามารถแปลงค่าได้

SELECT CAST(salary AS DECIMAL(10,2)) FROM employees;

ข้อผิดพลาดด้านล่างนี้เป็นสาเหตุหลักที่ทำให้ผู้เริ่มต้นพบเจอปัญหาโดยไม่คาดคิดเมื่อใช้งานสคีมาครั้งแรก

เมื่อกำหนดรูปแบบข้อมูลได้แล้ว ขั้นตอนต่อไปคือการโหลดและสอบถามข้อมูล ซึ่งจะกล่าวถึงในหัวข้อถัดไป คำสั่ง SQL ใน Hive ที่มี Order By, Group By และ Cluster By.

คำถามที่พบบ่อย