Samouczek integracji danych Pentaho

โšก Inteligentne podsumowanie

W samouczku Pentaho Data Integration zaprezentowano platformฤ™ ETL typu open source, znanฤ… rรณwnieลผ jako Kettle. LessOmรณwiono historiฤ™, zastosowania, wymagania wstฤ™pne, komponenty, transformacje, zadania, instalacjฤ™ oraz zalety i wady korzystania z Pentaho.

  • ๐Ÿ› ๏ธ. Czym jest Pentaho: Pentaho to pakiet narzฤ™dzi BI typu open source, obejmujฤ…cy narzฤ™dzia ETL, raportowania, OLAP i eksploracji danych.
  • ๐Ÿ” Czajnik ETL: Narzฤ™dzie Pentaho Data Integration o nazwie Kettle sล‚uลผy do tworzenia wizualnych transformacji i zadaล„ ETL.
  • ๐Ÿ“‹ Transformacje kontra miejsca pracy: Transformacje przetwarzajฤ… wiersze przepล‚ywu danych; zadania koordynujฤ… kontrolฤ™ przepล‚ywu pracy na wyลผszym poziomie.
  • ๐ŸŒ Szeroka ล‚ฤ…cznoล›ฤ‡: ลฤ…czy siฤ™ z relacyjnymi bazami danych, duลผymi ลบrรณdล‚ami danych, plikami, pamiฤ™ciฤ… masowฤ… w chmurze i interfejsami API SaaS.
  • ๐Ÿ“Š Zestaw narzฤ™dzi do raportowania: Wbudowane raporty, pulpity nawigacyjne i Mondrian OLAP zapewniajฤ… uลผytkownikom biznesowym analitykฤ™.
  • ๐Ÿค– Integracja AI: Poล‚ฤ…cz Pentaho ETL z usล‚ugami AI, aby uzyskaฤ‡ predykcyjne punktowanie i zautomatyzowaฤ‡ jakoล›ฤ‡ danych.

Samouczek integracji danych Pentaho

Co to jest Pentaho BI?

Pentaho to narzฤ™dzie Business Intelligence, ktรณre dostarcza klientom szerokฤ… gamฤ™ rozwiฤ…zaล„ Business Intelligence. Umoลผliwia raportowanie, analizฤ™ danych, integracjฤ™ danych, eksploracjฤ™ danych itp. Pentaho oferuje rรณwnieลผ kompleksowy zestaw funkcji BI, ktรณre pozwalajฤ… poprawiฤ‡ wydajnoล›ฤ‡ i efektywnoล›ฤ‡ biznesowฤ….

Cechy Pentaho

Oto najwaลผniejsze cechy Pentaho:

  • Moลผliwoล›ci ETL na potrzeby analityki biznesowej
  • Zrozumienie projektanta raportรณw Pentaho
  • Ekspertyza produktowa
  • Oferuje podraporty side-by-side
  • Odblokowanie nowych moลผliwoล›ci
  • Profesjonalne wsparcie
  • Zapytania i raportowanie
  • Oferuje zwiฤ™kszonฤ… funkcjonalnoล›ฤ‡
  • Peล‚na obsล‚uga metadanych ล›rodowiska wykonawczego ze ลบrรณdeล‚ danych

Pakiet Pentaho BI

Teraz dowiemy siฤ™ o pakiecie Pentaho BI w tym samouczku Pentaho:

Pakiet Pentaho BI
Pakiet Pentaho BI

Pakiet Pentaho BI Suite zawiera nastฤ™pujฤ…ce komponenty:

Sprawozdawczoล›ฤ‡ Pentaho

Pentaho Reporting zaleลผy od projektu JFreeReport. Pomaga speล‚niฤ‡ Twoje potrzeby w zakresie raportowania biznesowego. Komponent ten umoลผliwia takลผe publikowanie raportรณw zaplanowanych i na ลผฤ…danie w popularnych formatach, takich jak XLS, PDF, TXT i HTML.

Analiza

Oferuje szeroki zakres analiz, szeroki zakres funkcji, w tym widok tabeli przestawnej. Narzฤ™dzie zapewnia ulepszone funkcje GUI (przy uลผyciu Flash lub SVG), zintegrowane widลผety pulpitu nawigacyjnego, portal i integracjฤ™ przepล‚ywu pracy.

Co wiฤ™cej, usล‚ugi arkuszy kalkulacyjnych Pentaho umoลผliwiajฤ… uลผytkownikowi przeglฤ…danie, przestawianie i uลผywanie wykresรณw z poziomu programu MS Excel.

Pulpity

Pulpit nawigacyjny oferuje raporty i analizy, ktรณre dostarczajฤ… treล›ci do pulpitรณw Pentaho. Samoobsล‚ugowy projektant pulpitรณw nawigacyjnych zawiera rozbudowane wbudowane szablony i ukล‚ady pulpitรณw nawigacyjnych. Umoลผliwia uลผytkownikom biznesowym tworzenie spersonalizowanych pulpitรณw nawigacyjnych po niewielkim przeszkoleniu.

Data Mining

Narzฤ™dzie do eksploracji danych odkrywa ukryte wzorce i wskaลบniki przyszล‚ej wydajnoล›ci. Oferuje najbardziej kompleksowy zestaw algorytmรณw uczenia maszynowego z projektu Weka, ktรณry obejmuje klasteryzacja, drzewa decyzyjne, lasy losowe, analizฤ™ gล‚รณwnych skล‚adowych, sieci neuronowe.

Umoลผliwia graficzne przeglฤ…danie danych, programowฤ… interakcjฤ™ z nimi lub korzystanie z wielu ลบrรณdeล‚ danych na potrzeby raportรณw, dalszych analiz i innych procesรณw.

Integracja danych Pentaho

Komponent ten sล‚uลผy do integracji danych, gdziekolwiek one istniejฤ….

Bogata biblioteka transformacji z ponad 150 gotowymi mapamiping obiekty.

Obsล‚uguje szerokฤ… gamฤ™ ลบrรณdeล‚ danych, ktรณra obejmuje ponad 30 platform baz danych typu open source i zastrzeลผonych, plikรณw pล‚askich. To takลผe pomaga Analityka Big Data z integracjฤ… i zarzฤ…dzaniem danymi Hadoop.

Kto korzysta z Pentaho BI?

Pentaho BI jest powszechnie uลผywanym narzฤ™dziem przez wielu profesjonalistรณw zajmujฤ…cych siฤ™ oprogramowaniem, takich jak:

  • Oprogramowanie typu open source
  • Analityk biznesowy i badacz
  • Studenci
  • Radca ds. wywiadu gospodarczego

Jak zainstalowaฤ‡ Pentaho w AWS

Poniลผej przedstawiono krok po kroku proces instalacji Pentaho w AWS.

Krok 1) Kliknij Kontynuuj subskrypcjฤ™
Iล›ฤ‡ do https://aws.amazon.com/marketplace/pp/prodview-mce2xdbgie4ro i kliknij Kontynuuj

Zainstaluj Pentaho w AWS

Krok 2) Zaakceptuj regulamin
Na nastฤ™pnej stronie zaakceptuj umowฤ™ licencyjnฤ…

Zainstaluj Pentaho w AWS

Krok 3) Kliknij Kontynuuj konfiguracjฤ™
Przejdลบ do konfiguracji

Zainstaluj Pentaho w AWS

Krok 4) Kliknij Kontynuuj, aby uruchomiฤ‡
Zachowaj ustawienia domyล›lne i kliknij, aby uruchomiฤ‡

Zainstaluj Pentaho w AWS

Krok 5) Poczekaj na przykล‚ad 5 minut na uruchomienie
Sprawdลบ instrukcjฤ™ obsล‚ugi i poczekaj

Zainstaluj Pentaho w AWS

Krok 6) Uzyskaj publiczny adres IP
Skopiuj publiczny adres IP instancji.

Zainstaluj Pentaho w AWS

Krok 7) Uลผyj publicznego adresu IP do logowania
Wklej publiczny adres IP instancji, aby uzyskaฤ‡ dostฤ™p do Pentaho.

Zainstaluj Pentaho w AWS

Warunek wstฤ™pny Pentaho

  • wymagania sprzฤ™towe
  • Wymagania Systemowe
  • Pobieranie i instalowanie pakietu Bl
  • Rozpoczฤ™cie pakietu Bl
  • Administracja apartamentem Bl

Wymagania sprzฤ™towe

Oprogramowanie Pentaho Bl Suite nie ma ลผadnych ograniczeล„ dotyczฤ…cych poprawek na komputerze lub sprzฤ™cie sieciowym, o ile moลผna speล‚niฤ‡ minimalne wymagania oprogramowania. Zainstalowanie tego narzฤ™dzia Business Intelligence jest ล‚atwe. Jednakลผe zalecany zestaw specyfikacji systemu:

RAM Minimum 2 GB
Miejsce na dysku twardym Minimum 1 GB
Procesor Dwurdzeniowy EM64T lub AMD64

Wymagania Systemowe

  • Instalacja Sun JRE 5.0
  • ลšrodowisko moลผe byฤ‡ 32-bitowe lub 64-bitowe
  • Utrzymany Operasystemy operacyjne: Linux, Solaris, Windows, Mac
  • Stacja robocza posiadajฤ…ca interfejs nowoczesnej przeglฤ…darki internetowej typu Chrome, Internet Explorer, Firefox

Aby uruchomiฤ‡ serwer Bl

  • On Windows od poczฤ…tku kliknij przycisk Uruchom ikonฤ™ serwera Bl.
  • W systemie operacyjnym Linux uruchom skrypt start-pentaho w katalogu /biserver-ce/

Aby uruchomiฤ‡ serwer administratora

  • On Windows od przycisku Start kliknij przycisk Start Serwer korporacyjny Bl.
  • W systemie Linux: przejdลบ do okna poleceล„ i uruchom skrypt startowy w katalogu /biserver-ce/administration-console/directory.

Aby zatrzymaฤ‡ serwer administratora

  • Aby zatrzymaฤ‡ serwer w systemie Windows, kliknij ikonฤ™ Stop Bi-server.
  • Na Linuksie. Musisz udaฤ‡ siฤ™ do terminala, przejล›ฤ‡ do zainstalowanego katalogu i uruchomiฤ‡ stop.bat

Konsola administracyjna Pentaho

Projektant raportรณw

Jest to zaawansowane narzฤ™dzie do tworzenia raportรณw. Jest to idealne narzฤ™dzie dla Ciebie, jeล›li chcesz zbudowaฤ‡ kompletny raport dotyczฤ…cy dysku danych. To narzฤ™dzie oferuje wiฤ™kszฤ… elastycznoล›ฤ‡ i funkcjonalnoล›ฤ‡ niลผ moลผliwoล›ci raportowania ad hoc w Konsoli Uลผytkownika Pentaho.

Studio projektowe

To jest Eclipsenarzฤ™dzie oparte. Umoลผliwia rฤ™cznฤ… edycjฤ™ raportu lub analizy. Jest powszechnie uลผywany do dodawania modyfikacji do istniejฤ…cego raportu, ktรณrych nie moลผna dodaฤ‡ za pomocฤ… Projektanta raportรณw.

Projektant agregacji

To graficzne narzฤ™dzie pozwala poprawiฤ‡ wydajnoล›ฤ‡ kostki Mondriana.

Edytor metadanych

Sล‚uลผy do dodawania niestandardowej warstwy metadanych do dowolnego istniejฤ…cego ลบrรณdล‚a danych.

Integracja danych Pentaho

Czajnik extracnarzฤ™dzie do transformacji, ล‚adowania i przetwarzania (ETL), ktรณre umoลผliwia

Narzฤ™dzie Pentaho kontra stos BI

Narzฤ™dzie Pentaho Stos BI
Integracja danych (PDI) ETL
Oferuje edytor metadanych Zapewnia zarzฤ…dzanie metadanymi
Pentaho BA Analizy
Projektant raportรณw OperaSprawozdawczoล›ฤ‡ narodowa
Saiku Raportowanie ad hoc
CDE Pulpity
Konsola uลผytkownika Pentaho (PUC) Zarzฤ…dzanie/Monitorowanie

Zalety Pentaho

W tym samouczku dotyczฤ…cym integracji danych Pentaho dowiemy siฤ™ o niektรณrych zaletach narzฤ™dzia Pentaho Business Intelligence Tool:

  • Pentaho BI to bardzo intuicyjne narzฤ™dzie. Przy kilku podstawowych koncepcjach moลผesz z nim pracowaฤ‡.
  • Proste i ล‚atwe w uลผyciu narzฤ™dzie Business Intelligence
  • Oferuje szeroki zakres moลผliwoล›ci BI, ktรณry obejmuje raportowanie, dashboard, interaktywnฤ… analizฤ™, integracjฤ™ danych, eksploracjฤ™ danych itp.
  • Posiada przyjazny dla uลผytkownika interfejs i zapewnia rรณลผne narzฤ™dzia do pobierania danych z wielu ลบrรณdeล‚ danych
  • Oferuje pojedynczy pakiet do pracy na danych
  • Dostฤ™pna jest rรณwnieลผ edycja spoล‚ecznoล›ciowa z duลผฤ… liczbฤ… wspรณล‚pracownikรณw, a takลผe edycja Enterprise.
  • Moลผliwoล›ฤ‡ uruchomienia w klastrze Hadoop
  • JavaKod skryptu napisany w komponentach krokรณw moลผe zostaฤ‡ ponownie wykorzystany w innych komponentach.

Wady Pentaho

Oto wady/wady korzystania z narzฤ™dzia Pentaho BI:

  • Projekt interfejsu moลผe byฤ‡ sล‚aby i nie ma ujednoliconego interfejsu dla wszystkich komponentรณw.
  • Znacznie wolniejsza ewolucja narzฤ™dzia w porรณwnaniu do innych narzฤ™dzi BI.
  • Pentaho Business Analytics oferuje ograniczonฤ… liczbฤ™ komponentรณw.
  • Sล‚abe wsparcie spoล‚ecznoล›ci. Wiฤ™c jeล›li nie otrzymasz dziaล‚ajฤ…cego komponentu, musisz czekaฤ‡, aลผ zostanie wydana nastฤ™pna wersja.

FAQ

Kettle to oryginalna nazwa Pentaho Data Integration, komponentu ETL. Pentaho to szerszy pakiet, ktรณry ล‚ฤ…czy Kettle z narzฤ™dziami do raportowania, OLAP, pulpitami nawigacyjnymi i eksploracjฤ… danych.

Tak. Asystenci AI generujฤ… kroki transformacji, sugerujฤ… ล‚ฤ…czenia i objaล›niajฤ… wyraลผenia Kettle. Przyspieszajฤ… proces wdraลผania i proponujฤ… zoptymalizowanฤ… organizacjฤ™ pracy dla nowych inลผynierรณw danych.

Sztuczna inteligencja integruje siฤ™ z Pentaho poprzez wywoล‚ywanie zewnฤ™trznych usล‚ug scoringowych lub Python krokรณw. Oznacza anomalie, przewiduje odchylenie schematu i rekomenduje reguล‚y, ktรณre wychwytujฤ… nieprawidล‚owe dane przed zaล‚adowaniem ich do magazynu.

Tak. Hitachi Vantara utrzymuje Pentaho Community Edition obok komercyjnej wersji Enterprise. Wersje spoล‚ecznoล›ciowe obejmujฤ… podstawowe funkcje ETL, raportowania i analityki dla wdroลผeล„ hostowanych samodzielnie.

Transformacja dziaล‚a na wierszach danych przechodzฤ…cych przez kroki jednoczeล›nie. Zadanie koordynuje kontrolฤ™ przepล‚ywu wyลผszego poziomu, uruchamiajฤ…c transformacje sekwencyjnie z warunkami, ponownymi prรณbami i obsล‚ugฤ… bล‚ฤ™dรณw.

Pentaho ล‚ฤ…czy siฤ™ z MySQL, PostgreSQL, Oracle, SQL Server, Hadoop, Spark, interfejsy API REST, pliki CSV, JSON, XML, pamiฤ™ฤ‡ masowa w chmurze i wiele aplikacji SaaS za poล›rednictwem wbudowanych wtyczek i sterownikรณw JDBC.

Tak. Pentaho moลผna wdroลผyฤ‡ na platformie AWS, Azure, Google Cloudi Kubernetes z wykorzystaniem obrazรณw kontenerรณw. Hitachi zapewnia zarzฤ…dzane usล‚ugi i architektury referencyjne dla wdroลผeล„ ETL w chmurze.

Poczฤ…tkujฤ…cy zrealizujฤ… swojฤ… pierwszฤ… transformacjฤ™ w tydzieล„. Opanowanie koordynacji zadaล„, optymalizacji wydajnoล›ci i realizacji klastrowej zajmuje zazwyczaj od trzech do szeล›ciu miesiฤ™cy praktycznej pracy nad projektem ETL.

Podsumuj ten post nastฤ™pujฤ…co: