บทช่วยสอนการรวมข้อมูล Pentaho

⚡ สรุปอย่างชาญฉลาด

คู่มือการใช้งาน Pentaho Data Integration Tutorial จะแนะนำแพลตฟอร์ม ETL แบบโอเพนซอร์ส หรือที่รู้จักกันในชื่อ Kettle Lessเนื้อหาจะครอบคลุมถึงประวัติความเป็นมา การใช้งาน ข้อกำหนดเบื้องต้น ส่วนประกอบ การแปลงข้อมูล งาน การติดตั้ง และข้อดีข้อเสียของการใช้ Pentaho

  • 🛠️ Pentaho คืออะไร: Pentaho เป็นชุดซอฟต์แวร์ BI แบบโอเพนซอร์สที่มีเครื่องมือ ETL, การสร้างรายงาน, OLAP และการวิเคราะห์ข้อมูล
  • 🔁 กาต้มน้ำ ETL: เครื่องมือ Pentaho Data Integration ที่เรียกว่า Kettle สร้างการแปลงข้อมูลและกระบวนการ ETL แบบภาพ
  • 📋 การเปลี่ยนแปลง vs งานประจำ: การแปลงข้อมูลจะประมวลผลแถวการไหลของข้อมูล ในขณะที่งานต่างๆ จะจัดการและควบคุมกระบวนการทำงานในระดับที่สูงขึ้น
  • 🌐 การเชื่อมต่อแบบกว้าง: เชื่อมต่อกับฐานข้อมูลเชิงสัมพันธ์ แหล่งข้อมูลขนาดใหญ่ ไฟล์ พื้นที่จัดเก็บข้อมูลบนคลาวด์ และ API ของ SaaS
  • 📊 ชุดรายงาน: การรายงานแบบฝังตัว แดชบอร์ด และ Mondrian OLAP ช่วยให้ผู้ใช้ทางธุรกิจสามารถเข้าถึงข้อมูลเชิงวิเคราะห์ได้
  • 🤖 การรวม AI: ผสานรวม Pentaho ETL กับบริการ AI เพื่อการให้คะแนนเชิงทำนายและการตรวจสอบคุณภาพข้อมูลแบบอัตโนมัติ

บทช่วยสอนการรวมข้อมูล Pentaho

Pentaho BI คืออะไร?

ซอฟต์แวร์ Pentaho เป็นเครื่องมือ Business Intelligence ที่ให้บริการโซลูชั่น Business Intelligence ที่หลากหลายแก่ลูกค้า มีความสามารถในการรายงาน การวิเคราะห์ข้อมูล การรวมข้อมูล การทำเหมืองข้อมูล ฯลฯ Pentaho ยังมีชุดฟีเจอร์ BI ที่ครอบคลุมซึ่งช่วยให้คุณปรับปรุงประสิทธิภาพและประสิทธิภาพของธุรกิจได้

คุณสมบัติของเพนทาโฮ

ต่อไปนี้คือคุณสมบัติที่สำคัญของ Pentaho:

  • ความสามารถ ETL สำหรับความต้องการระบบธุรกิจอัจฉริยะ
  • ทำความเข้าใจกับผู้ออกแบบรายงาน Pentaho
  • ความเชี่ยวชาญด้านผลิตภัณฑ์
  • เสนอรายงานย่อยแบบเคียงข้างกัน
  • ปลดล็อกความสามารถใหม่ๆ
  • การสนับสนุนระดับมืออาชีพ
  • แบบสอบถามและการรายงาน
  • เสนอฟังก์ชันการทำงานที่ได้รับการปรับปรุง
  • การสนับสนุนเมตาดาต้ารันไทม์แบบเต็มจากแหล่งข้อมูล

ชุด Pentaho BI

ตอนนี้ เราจะเรียนรู้เกี่ยวกับชุด Pentaho BI ในบทช่วยสอน Pentaho นี้:

เพนทาโฮ บี สวีท
เพนทาโฮ บี สวีท

Pentaho BI Suite ประกอบด้วยส่วนประกอบต่อไปนี้:

การรายงาน Pentaho

การรายงาน Pentaho ขึ้นอยู่กับโครงการ JFreeReport ช่วยให้คุณตอบสนองความต้องการในการรายงานธุรกิจของคุณ ส่วนประกอบนี้ยังนำเสนอการเผยแพร่รายงานทั้งตามกำหนดเวลาและตามความต้องการในรูปแบบยอดนิยม เช่น XLS, PDF, TXT และ HTML

การวิเคราะห์

มีการวิเคราะห์ที่หลากหลายพร้อมคุณสมบัติที่หลากหลายซึ่งรวมถึงมุมมองตารางสรุปข้อมูล เครื่องมือนี้มีคุณสมบัติ GUI ที่ได้รับการปรับปรุง (โดยใช้ Flash หรือ SVG) วิดเจ็ตแดชบอร์ดแบบรวม พอร์ทัล และการรวมเวิร์กโฟลว์

นอกจากนี้ Pentaho Spreadsheet Services ยังช่วยให้ผู้ใช้เรียกดู หมุน และใช้แผนภูมิจากภายใน MS Excel

แผงควบคุม

แดชบอร์ดนำเสนอการรายงานและการวิเคราะห์ ซึ่งสนับสนุนเนื้อหาให้กับแดชบอร์ด Pentaho ตัวออกแบบแดชบอร์ดแบบบริการตนเองมีเทมเพลตและโครงร่างแดชบอร์ดในตัวที่ครอบคลุม ช่วยให้ผู้ใช้ทางธุรกิจสามารถสร้างแดชบอร์ดส่วนบุคคลโดยอาศัยการฝึกอบรมเพียงเล็กน้อย

การทำเหมืองข้อมูล

เครื่องมือขุดข้อมูล ค้นพบรูปแบบและตัวบ่งชี้ที่ซ่อนอยู่ของประสิทธิภาพในอนาคต โดยนำเสนอชุดอัลกอริทึมการเรียนรู้ของเครื่องที่ครอบคลุมที่สุดจากโครงการ Weka ซึ่งรวมถึงการจัดกลุ่ม ต้นไม้การตัดสินใจ ป่าสุ่ม การวิเคราะห์องค์ประกอบหลัก และเครือข่ายประสาท

ช่วยให้คุณสามารถดูข้อมูลแบบกราฟิก โต้ตอบกับข้อมูลโดยทางโปรแกรม หรือใช้แหล่งข้อมูลหลายแหล่งสำหรับรายงาน การวิเคราะห์เพิ่มเติม และกระบวนการอื่นๆ

การรวมข้อมูล Pentaho

ส่วนประกอบนี้ใช้เพื่อรวมข้อมูลไม่ว่าจะอยู่ที่ไหนก็ตาม

คลังการแปลงข้อมูลที่หลากหลาย พร้อมแผนที่สำเร็จรูปมากกว่า 150 แบบping วัตถุ

รองรับแหล่งข้อมูลที่หลากหลายซึ่งรวมถึงโอเพ่นซอร์สมากกว่า 30 แพลตฟอร์มและแพลตฟอร์มฐานข้อมูลที่เป็นกรรมสิทธิ์ ไฟล์แบบเรียบ นอกจากนี้ยังช่วย การวิเคราะห์ข้อมูลขนาดใหญ่ ด้วยการบูรณาการและการจัดการข้อมูล Hadoop

ใครบ้างที่ใช้ Pentaho BI?

Pentaho BI เป็นเครื่องมือที่ใช้กันอย่างแพร่หลายโดยผู้เชี่ยวชาญด้านซอฟต์แวร์เช่น:

  • โปรแกรมซอฟต์แวร์โอเพ่นซอร์ส
  • นักวิเคราะห์ธุรกิจและนักวิจัย
  • นักเรียนวิทยาลัย
  • สมาชิกสภาข่าวกรองธุรกิจ

วิธีการติดตั้ง Pentaho ใน AWS

ต่อไปนี้เป็นกระบวนการทีละขั้นตอนเกี่ยวกับวิธีการติดตั้ง Pentaho ใน AWS

ขั้นตอน 1) คลิกดำเนินการต่อเพื่อสมัครสมาชิก
ไปที่ https://aws.amazon.com/marketplace/pp/prodview-mce2xdbgie4ro และคลิกดำเนินการต่อ

ติดตั้ง Pentaho ใน AWS

ขั้นตอน 2) ยอมรับข้อกำหนดและเงื่อนไข
ในหน้าถัดไป ยอมรับข้อตกลงใบอนุญาต

ติดตั้ง Pentaho ใน AWS

ขั้นตอน 3) คลิกดำเนินการต่อเพื่อกำหนดค่า
ดำเนินการกำหนดค่า

ติดตั้ง Pentaho ใน AWS

ขั้นตอน 4) คลิกดำเนินการต่อเพื่อเปิดตัว
คงการตั้งค่าเริ่มต้นไว้ และคลิกเพื่อเปิดใช้

ติดตั้ง Pentaho ใน AWS

ขั้นตอน 5) รอประมาณ 5 นาทีเพื่อเปิดอินสแตนซ์
ตรวจสอบคำแนะนำการใช้งานแล้วรอ

ติดตั้ง Pentaho ใน AWS

ขั้นตอน 6) รับ IP สาธารณะ
คัดลอก IP สาธารณะของอินสแตนซ์

ติดตั้ง Pentaho ใน AWS

ขั้นตอน 7) ใช้ IP สาธารณะเพื่อเข้าสู่ระบบ
วาง IP สาธารณะของอินสแตนซ์เพื่อเข้าถึง Pentaho

ติดตั้ง Pentaho ใน AWS

ข้อกำหนดเบื้องต้นของ Pentaho

  • ความต้องการทางฮาร์ดแวร์
  • ความต้องการด้านซอฟต์แวร์
  • การดาวน์โหลดและติดตั้ง Bl suite
  • เริ่มต้นชุด Bl
  • การบริหารงานของ Bl suite

ข้อกำหนดฮาร์ดแวร์

ซอฟต์แวร์ Pentaho Bl Suite ไม่มีข้อจำกัดในการแก้ไขใดๆ บนคอมพิวเตอร์หรือฮาร์ดแวร์เครือข่าย ตราบใดที่คุณมีคุณสมบัติตรงตามข้อกำหนดขั้นต่ำของซอฟต์แวร์ การติดตั้งเครื่องมือ Business Intelligence นี้เป็นเรื่องง่าย อย่างไรก็ตาม ชุดข้อกำหนดของระบบที่แนะนำ:

แรม ขั้นต่ำ 2GB
พื้นที่ฮาร์ดไดรฟ์ ขั้นต่ำ 1GB
หน่วยประมวลผล ดูอัลคอร์ EM64T หรือ AMD64

ความต้องการด้านซอฟต์แวร์

  • การติดตั้ง Sun JRE 5.0
  • สภาพแวดล้อมอาจเป็นแบบ 32 บิตหรือ 64 บิตก็ได้
  • ที่สนับสนุน Operaระบบติ้ง: Linux, Solaris, Windows, แมค
  • เวิร์กสเตชันที่มีอินเทอร์เฟซเว็บเบราว์เซอร์ที่ทันสมัย ​​เช่น Chrome, Internet Explorer, Firefox

เพื่อเริ่ม Bl-server

  • On Windows ตั้งแต่เริ่มต้นให้คลิกปุ่มเริ่มต้นที่ไอคอนเริ่มเซิร์ฟเวอร์ Bl
  • บน Linux OS ให้รันสคริปต์ start-pentaho บน /biserver-ce/directory

เพื่อเริ่มเซิร์ฟเวอร์ผู้ดูแลระบบ

  • On Windows จากปุ่มเริ่มต้นคลิกที่เริ่มเซิร์ฟเวอร์องค์กร Bl
  • สำหรับ Linux: ไปที่หน้าต่างคำสั่งและรันสคริปต์เริ่มต้นใน /biserver-ce/administration-console/directory

เพื่อหยุดเซิร์ฟเวอร์ผู้ดูแลระบบ

  • หากต้องการหยุดเซิร์ฟเวอร์ใน Windows ให้คลิกที่ไอคอนหยุดสองเซิร์ฟเวอร์
  • บนลินุกซ์ คุณต้องไปที่เทอร์มินัลแล้วไปที่ไดเร็กทอรีที่ติดตั้งแล้วรัน stop.bat

คอนโซลการดูแลระบบ Pentaho

ผู้ออกแบบรายงาน

เป็นเครื่องมือสร้างรายงานขั้นสูง นี่เป็นเครื่องมือที่เหมาะสำหรับคุณหากคุณต้องการสร้างรายงานไดรฟ์ข้อมูลที่สมบูรณ์ เครื่องมือนี้มีความยืดหยุ่นและฟังก์ชันการทำงานมากกว่าความสามารถในการรายงานเฉพาะกิจของคอนโซลผู้ใช้ Pentaho

สตูดิโอดีไซน์

มันเป็น a Eclipse- เครื่องมือพื้นฐาน ช่วยให้คุณสามารถแก้ไขรายงานหรือการวิเคราะห์ด้วยตนเองได้ มีการใช้กันอย่างแพร่หลายในการเพิ่มการแก้ไขรายงานที่มีอยู่ซึ่งไม่สามารถเพิ่มด้วย Report Designer ได้

นักออกแบบการรวมกลุ่ม

เครื่องมือกราฟิกนี้ช่วยให้คุณปรับปรุงประสิทธิภาพลูกบาศก์ Mondrian

ตัวแก้ไขข้อมูลเมตา

ใช้เพื่อเพิ่มชั้นข้อมูลเมตาที่กำหนดเองลงในแหล่งข้อมูลที่มีอยู่

การรวมข้อมูล Pentaho

กาต้มน้ำ extracเครื่องมือ t, แปลง และโหลด (ETL) ซึ่งช่วยให้

เครื่องมือ Pentaho กับ BI stack

เครื่องมือเพนทาโฮ บีไอสแต็ค
บูรณาการข้อมูล (PDI) ETL
มันมีตัวแก้ไขข้อมูลเมตา มันมีการจัดการข้อมูลเมตา
เพนทาโฮ บ บทวิเคราะห์
ผู้ออกแบบรายงาน Operaการรายงานตามความเป็นจริง
ไซคุ การรายงานเฉพาะกิจ
CDE แผงควบคุม
คอนโซลผู้ใช้ Pentaho (PUC) การกำกับดูแล/การติดตามผล

ข้อดีของเพนทาโฮ

ในบทช่วยสอนการรวมข้อมูลของ Pentaho เราจะเรียนรู้เกี่ยวกับข้อดีบางประการของ Pentaho Business Intelligence Tool:

  • Pentaho BI เป็นเครื่องมือที่ใช้งานง่าย เพียงมีแนวคิดพื้นฐานบางประการ คุณก็สามารถใช้งานมันได้
  • เครื่องมือ Business Intelligence ที่เรียบง่ายและใช้งานง่าย
  • นำเสนอความสามารถ BI ที่หลากหลายซึ่งรวมถึงการรายงาน แดชบอร์ด การวิเคราะห์เชิงโต้ตอบ การรวมข้อมูล การทำเหมืองข้อมูล ฯลฯ
  • มาพร้อมกับอินเทอร์เฟซที่ใช้งานง่ายและมีเครื่องมือต่างๆ ในการดึงข้อมูลจากแหล่งข้อมูลหลายแหล่ง
  • เสนอแพ็คเกจเดียวเพื่อทำงานกับข้อมูล
  • มีรุ่นชุมชนที่มีผู้สนับสนุนจำนวนมากพร้อมกับรุ่น Enterprise
  • ความสามารถในการทำงานบนคลัสเตอร์ Hadoop
  • Javaโค้ดสคริปต์ที่เขียนในส่วนประกอบขั้นตอนสามารถนำไปใช้ซ้ำในส่วนประกอบอื่นได้

ข้อเสียของเพนทาโฮ

นี่คือข้อเสีย/ข้อเสียของการใช้เครื่องมือ Pentaho BI:

  • การออกแบบอินเทอร์เฟซอาจไม่ดี และไม่มีอินเทอร์เฟซแบบรวมสำหรับส่วนประกอบทั้งหมด
  • การพัฒนาเครื่องมือช้ากว่ามากเมื่อเทียบกับเครื่องมือ BI อื่นๆ
  • การวิเคราะห์ธุรกิจของ Pentaho มีส่วนประกอบจำนวนจำกัด
  • การสนับสนุนจากชุมชนไม่ดี ดังนั้น หากคุณไม่ได้รับส่วนประกอบที่ใช้งานได้ คุณต้องรอจนกว่าจะมีการเปิดตัวเวอร์ชันถัดไป

คำถามที่พบบ่อย

Kettle คือชื่อเดิมของ Pentaho Data Integration ซึ่งเป็นส่วนประกอบ ETL Pentaho เป็นชุดซอฟต์แวร์ที่ครอบคลุมมากกว่า โดยรวม Kettle เข้ากับเครื่องมือสร้างรายงาน OLAP แดชบอร์ด และเครื่องมือวิเคราะห์ข้อมูล

ใช่แล้ว ผู้ช่วย AI สร้างขั้นตอนการแปลงข้อมูล แนะนำการเชื่อมต่อ และอธิบายสูตรใน Kettle ช่วยเร่งกระบวนการเริ่มต้นใช้งานและเสนอการจัดการงานที่เหมาะสมที่สุดสำหรับวิศวกรข้อมูลมือใหม่

AI ผสานการทำงานกับ Pentaho โดยการเรียกใช้บริการให้คะแนนภายนอก หรือ Python ขั้นตอนต่างๆ จะตรวจจับความผิดปกติ ทำนายการเปลี่ยนแปลงโครงสร้างข้อมูล และแนะนำกฎที่ช่วยตรวจจับข้อมูลที่ไม่ถูกต้องก่อนการโหลดข้อมูลเข้าสู่คลังข้อมูล

ใช่แล้ว Hitachi Vantara ยังคงให้บริการ Pentaho Community Edition ควบคู่ไปกับเวอร์ชัน Enterprise สำหรับใช้งานเชิงพาณิชย์ โดยเวอร์ชัน Community Edition จะมีฟีเจอร์หลักด้าน ETL, การรายงาน และการวิเคราะห์ สำหรับการใช้งานแบบโฮสต์เอง

การแปลงข้อมูลจะทำงานกับแถวข้อมูลที่ผ่านขั้นตอนต่างๆ พร้อมกัน ในขณะที่งานจะจัดการการควบคุมการไหลในระดับที่สูงขึ้น โดยเรียกใช้การแปลงข้อมูลตามลำดับ พร้อมเงื่อนไข การลองใหม่ และการจัดการข้อผิดพลาด

Pentaho เชื่อมต่อกับ MySQL, PostgreSQL, OracleSQL Server, Hadoop, Sparkรวมถึง REST API, CSV, JSON, XML, พื้นที่จัดเก็บข้อมูลบนคลาวด์ และแอปพลิเคชัน SaaS จำนวนมาก ผ่านปลั๊กอินในตัวและไดรเวอร์ JDBC

ใช่แล้ว Pentaho สามารถติดตั้งใช้งานบน AWS ได้ Azure, Google Cloudและ Kubernetes โดยใช้ภาพคอนเทนเนอร์ ฮิตาชิให้บริการจัดการและสถาปัตยกรรมอ้างอิงสำหรับการใช้งาน ETL บนคลาวด์

ผู้เริ่มต้นสามารถสร้างการแปลงข้อมูลครั้งแรกได้ภายในหนึ่งสัปดาห์ ส่วนการเชี่ยวชาญด้านการจัดการงาน การปรับแต่งประสิทธิภาพ และการประมวลผลแบบคลัสเตอร์นั้น โดยทั่วไปแล้วต้องใช้เวลาสามถึงหกเดือนในการทำงานจริงในโครงการ ETL

สรุปโพสต์นี้ด้วย: