Mapowania w Informatyce: Tworzenie, Komponenty, Parametr, Zmienna

Co to jest mapowanie?

Mapowanie to zbiór obiektów źródłowych i docelowych połączonych ze sobą zestawem transformacji. Transformacje te składają się z zestawu reguł, które definiują przepływ danych i sposób ich ładowania do obiektów docelowych.

Mapowanie składa się z następującego zestawu obiektów

• Definicja źródła – Definicja źródła określa strukturę i charakterystykę źródła, podstawowe typy danych, typ źródła danych itp.
• Transformacja – Obiekty transformacji definiują sposób transformacji danych źródłowych, podczas którego można zastosować różne funkcje.
• Target Definicja - Target definicja określa ostateczny cel, do którego zostaną załadowane dane.
• Linki – Linki łączą definicję źródłową z różnymi transformacjami i tabelami docelowymi. Definiuje sposób przepływu danych od źródła do celu i transformacje.

Dlaczego potrzebujesz mapowania?

Mapowanie to obiekt w Informatica, za pomocą którego można zdefiniować sposób modyfikacji danych źródłowych, zanim dotrą one do obiektu docelowego lub docelowego. To tak, jakbyś miał imię i nazwisko pracownika jako „Bill Clinton” w systemie źródłowym i docelowym wymagane jest posiadanie nazwiska pracownika w formacie „Clinton Bill”, takie operacje można zaprojektować na poziomie mapowania. Mówiąc najprościej, to, co robisz z danymi źródłowymi, jest definiowane na poziomie mapowania.

Mapowanie jest podstawowym obiektem Informatica, za pomocą którego możemy zdefiniować szczegóły transformacji danych i charakterystykę obiektu źródłowego/docelowego. Mapowania pomagają nam zdefiniować transformację danych na poziomie poszczególnych kolumn dla każdego wiersza. Nawet w jednym mapowaniu można obsługiwać wiele źródeł i celów.

Składniki mapowania

Podstawowe elementy mapowania to

• Tabele źródłowe
• Mapowanie parametrów i zmiennych
• Target obiekty
• Mapowanie transformacji

Mapowanie składa się z różnych obiektów. Mapowanie może składać się z źródeł, celów, parametrów i zmiennych mapowania, mapletów, różnych transformacji i funkcji zdefiniowanych przez użytkownika.

• Źródło mapowania: Źródła mapowania to obiekty, z których pobierane są dane źródłowe. Może to być tabela bazy danych, plik płaski, źródło XML lub COBOL źródło pliku
• Cel mapowania: Celem mapowania są nasze obiekty docelowe, do których ładowane są ostatecznie przetworzone dane. Celem mapowania może być tabela relacyjna bazy danych, plik tekstowy lub plik XML. Źródła i cele są obowiązkowe w każdym mapowaniu, ich typ może się różnić
• Mapowanie parametrów i zmiennych: Mapowanie parametrów i zmiennych pomaga w tworzeniu tymczasowych obiektów zmiennych, które pomogą Ci definiować i przechowywać wartości tymczasowe podczas mapowania przetwarzania danych. Parametry i zmienne mapowania to opcjonalne typy danych zdefiniowane przez użytkownika, które można utworzyć na potrzeby mapowania, do których można się odwoływać i które można aktualizować pod kątem określonych wymagań. W tej sekcji dowiemy się więcej o mapowaniu parametrów i zmiennych
• Mapplety: Są to obiekty składające się z zestawu transformacji, źródła lub celów. Maplety są zazwyczaj tworzone w celu ponownego wykorzystania istniejącej funkcjonalności zestawu transformacji. Można go używać w dowolnej liczbie mapowań.

Co to jest mapowanie sceniczne?

Mapowanie etapu to mapowanie, w którym tworzymy replikę tabeli źródłowej. Na przykład w systemie produkcyjnym, jeśli masz tabelę „pracownik”, możesz utworzyć identyczną tabelę „etap_pracownika” w schemacie ETL.

Posiadanie lokalnej tabeli etapowej oferuje różne korzyści, takie jak przestoje produkcyjne, nie wpłynie to na system ETL, ponieważ masz własną tabelę „employee_stage”, zamiast odwoływać się do tabeli produkcyjnej „employee”. W systemie produkcyjnym mogą występować inne operacje i procesy, które wpływają na wydajność. Jednak gdy masz replikę tabeli etapowej, dostęp do niej będą miały tylko procesy ETL. Zapewnia to korzyści w zakresie wydajności.

W mapowaniach scenicznych

• Źródło i Target tabele mają identyczną strukturę
• Dane w tabeli docelowej są repliką danych z tabeli źródłowej lub
• Dane w tabeli etapowej (docelowej) stanowią podzbiór danych źródłowych.

Na przykład, jeśli tabela źródłowa zawiera dane pracowników z deptno 10, 20, 30 i 40. Tabela tymczasowa może być tabelą zawierającą tylko rekordy pracowników z deptno 10 i 30.

Celem tworzenia tabel etapowych w hurtowni danych jest usprawnienie procesu transformacji danych poprzez pobieranie tylko tych danych, które są dla nas istotne, a także zminimalizowanie zależności ETL/hurtowni danych od systemu operacyjnego czasu rzeczywistego.

Jak utworzyć mapowanie

W tym ćwiczeniu utworzymy mapowanie etapowe, w którym źródłem będzie „empt table”, a celem będzie „emptgt”.

Konwencja nazewnictwa – nazwy mapowania są poprzedzone znakiem „m_”, po którym następują nazwy tabel źródłowych i docelowych oddzielone znakiem podkreślenia.

Przykład – jeśli ładujesz tabelę emp_target z tabeli emp, to nazwą mapowania może być 'm_emp_emp_target'.

Krok 1) Uruchamianie Projektanta map

1. Otwórz narzędzie projektanta Informatica
2. Kliknij ikonę Projektanta map, aby uruchomić Projektanta map

Krok 2)W Projektancie map

1. Kliknij menu Mapowania
2. Wybierz opcję Utwórz opcję

Krok 3) Wprowadź nazwę mapowania jako „m_emp_emp_target” i wybierz przycisk OK.

Mapowanie zostanie utworzone i wyświetlone w folderze mapowania.

Mapowanie musi mieć co najmniej a źródło i cel, dodasz źródła i cele do mapowania.

Krok 4) Na tym etapie będziemy

1. Wybierz tabelę źródłową „emp” w folderze źródeł.
2. Przeciągnij i upuść tabelę „emp” do projektanta map.

W projektancie map zostanie wyświetlona zaimportowana tabela źródłowa.

Note – Podczas importowania dowolnej tabeli relacyjnej (bazy danych) w mapowaniu, zostanie również utworzony dodatkowy obiekt typu kwalifikator źródłowy. Ta transformacja kwalifikatora źródła jest konieczna i pomaga usłudze integracji Informatica zidentyfikować tabelę źródłowej bazy danych i jej właściwości. Za każdym razem, gdy importujesz tabelę źródłową, utworzona zostanie również transformacja kwalifikatora źródła. Nigdy nie należy usuwać obiektu kwalifikatora źródła w mapowaniu.

Krok 5) Na tym etapie będziemy

1. Wybierz tabelę źródłową „emp_target” w Targetfolder s.
2. Przeciągnij i upuść tabelę „emp_target” do projektanta map

W projektancie map „tabela docelowa” zostanie zaimportowana i wyświetlona.

Aby zarządzać przestrzenią widoku, możesz ikonizować te obiekty na mapowaniu.

Krok 6)Kliknij prawym przyciskiem myszy w dowolnym miejscu pustego obszaru roboczego projektanta map i wybierz opcję – Rozmieść wszystkie ikony.

Po wybraniu opcji „Ułóż wszystko Iconic” obszar roboczy będzie wyglądał następująco.

Krok 7) In Informatyka, Projektujemy z przepływem od lewej do prawej. Zatem tabele źródłowe powinny znajdować się po lewej stronie, a tabele docelowe powinny znajdować się po prawej stronie. Aby rozmieścić tabele w naszym obszarze roboczym, wybierz tabelę „emp_target”, a następnie przeciągnij ją i upuść po prawej stronie tabeli emp.

Po tej zmianie układu obszar roboczy będzie wyglądał następująco.

Note – Okresowo używaj skrótu „ctrl+s”, aby zapisać zmiany w repozytorium.

Krok 8) Teraz w mapowaniu masz tabele źródłowe i docelowe, ale mapowanie nie zostało jeszcze ukończone. Aby zakończyć mapowanie, należy połączyć tabele źródłowe i docelowe.

Aby połączyć źródło i cele

Double kliknij tabelę SQ_EMP i tabelę EMP_TARGET, aby zmienić ich widok z ikonicznego na graficzny.

Krok 9) Kliknij prawym przyciskiem myszy obszar roboczy projektanta map i wybierz opcję „Autolink” według nazwy.

Krok 10) Aby połączyć źródło z tabelą docelową

1. Wybierz Kolumny tabeli źródłowej.
2. Przeciągnij i upuść kolumny do tabeli docelowej.

Źródło i Target tabele zostaną połączone, a strzałki łączące je z tabelą źródłową i docelową zostaną wyświetlone.

Note – Tutaj połączyłeś wszystkie kolumny źródłowe z odpowiednią kolumną tabeli docelowej. Oznacza to, że dla każdego pobranego rekordu źródłowego zostaną załadowane wszystkie kolumny celu. Jeśli chcesz wykluczyć konkretną kolumnę z ładowania, kliknij łącze tej kolumny i naciśnij klawisz Delete na klawiaturze. Link zostanie usunięty, a kolumna docelowa nie zostanie załadowana.

Krok 11) Użyj skrótu „ctrl+s”, aby zapisać zmiany w mapowaniu. W oknie wyjściowym możesz zobaczyć komunikat dotyczący sprawdzania poprawności/analizowania mapowania. Potwierdza to, że Twoje mapowanie jest prawidłowe. Ponadto obok nazwy mapowania w drzewie folderów map pojawi się tymczasowy zielony znacznik wyboru, wskazujący, że mapowanie zostało wykonane pomyślnie.

W przypadku mapowań może zaistnieć wymóg, w którym musimy przekazać zmienną do mapowania, lub może zaistnieć scenariusz, w którym musimy obliczyć zmienne tymczasowe i dodatkowo zachować je na potrzeby następnej sesji mapowania. W tym celu tworzymy parametry i zmienne mapujące.

Mapowanie parametrów i zmiennych

Jak każdy język programowania, Informatica ma swój własny sposób definiowania parametrów i zmiennych. Jednak w przeciwieństwie do innych języków programowania, Informatica nie jest językiem opartym na kodzie. Aby utworzyć parametry i zmienne w Informatice, należy postępować zgodnie z predefiniowaną składnią i nawigacją.

Różnica między parametrami i zmiennymi –

Parametry mapowania

Mapowanie zmiennych

Parametry mapowania to typy danych, których raz przypisana wartość pozostaje stała przez cały przebieg mapowania. Podobnie jak w przypadku utworzenia parametru mapowania deptno=20, wówczas wartość 20 będzie stała przez cały przebieg mapowania. Parametr, gdziekolwiek będzie się odwoływał, zawsze zwróci wartość 20 dla tego wystąpienia przebiegu mapowania. W przypadku nowej instancji mapowania można ponownie zdefiniować wartość parametru.

Zmienne mapujące to obiekty, do których można się odwoływać w trakcie mapowania (aby uzyskać dostęp do ich wartości), a ich wartości można ponownie przypisywać. Na przykład w mapowaniu można użyć zmiennej mapującej total_salary, a jej wartość można aktualizować na podstawie wynagrodzeń.

Parametry i zmienne mapowania są specyficzne tylko dla mapowania. Nie można się do nich odwoływać w innym mapowaniu.

Jak utworzyć parametr mapowania

Podczas tworzenia parametru mapowania, podczas wykonywania mapowania usługa integracji szuka przypisanej mu wartości. Wartości te mogą być przypisane do następujących miejsc.

• Wewnątrz pliku parametrów
• W przypisaniu zmiennych przed sesją
• Wartość początkowa w repozytorium
• Wartość domyślna przypisana podczas tworzenia zmiennej

Krok 1) Aby utworzyć parametr mapowania - W projektancie map,

1. Wybierz menu mapowania
2. Wybierz menu parametrów i zmiennych

Krok 2) Na następnym ekranie

1. Kliknij dodaj nowe menu zmiennych
2. Z listy rozwijanej wybierz typ jako parametr
3. Wprowadź nazwę parametru jako $$Deptno
4. Wprowadź wartość początkową 10
5. Wybierz przycisk OK

Teraz utworzyłeś parametr mapowania deptno z początkowo przypisaną wartością 10 i można odwoływać się do tego parametru wewnątrz mapowania.

Jak utworzyć zmienną mapującą

Krok 1) W projektancie map

1. Wybierz menu mapowania
2. Wybierz menu parametrów i zmiennych

Krok 2) Na następnym ekranie

1. Kliknij dodaj nowe menu zmiennych
2. Z listy rozwijanej wybierz typ jako zmienną
3. Wprowadź nazwę zmiennej jako $$TotalSalary
4. Wybierz typ danych jako dziesiętny
5. Wprowadź wartość początkową 0
6. Wybierz przycisk OK

Spowoduje to utworzenie zmiennej mapującej.

Note – nazwy parametrów mapowania i zmiennych zawsze zaczynają się od $$.

Podsumowanie

Mapowania są ważne w informatyce, aby dopasować dane źródłowe do docelowych zgodnie z wymaganiami projektu. Omówiliśmy mapowania etapów oraz koncepcję mapowania zmiennych i parametrów.