Отладчик в Informatica: точка останова и подробный режим

⚡ Умное резюме

Отладчик в Informatica запускает карту.ping Построчно внутри конструктора, так что становится видимым значение, хранящееся в каждом порту после каждого преобразования, а не только конечный результат, записанный в целевой объект.

  • 🧪 Экземпляр сессии: Отладчику необходима существующая сессия, многократно используемая сессия или новый экземпляр отладочной сессии.
  • 🛡️ Target безопасность: Выбор параметра «Отбросить целевые данные» сохраняет целевую таблицу неизменной, в то время как картаping анализируется.
  • 🔎 Два окна: В окне «Цель» отображается строка, которая будет вставлена; в окне «Экземпляр» отображаются все порты выбранного преобразования.
  • ⏭️ Шаг рядаping: Функция «Следующий экземпляр» или сочетание клавиш F10 позволяет перемещаться по строкам в окне отладчика на одну позицию за раз.
  • 🚩 Контрольные точки: Условие, например, ENAME равно SCOTT, останавливает выполнение непосредственно на нужной строке.
  • ???? Tracуровни: Значения Normal, Terse, Verbose Initialization и Verbose Data определяют, насколько подробным будет журнал сессии.

Отладчик в Informatica

Как мы обсуждали в предыдущих темах, картаping Это набор исходных и целевых объектов, связанных между собой набором преобразований. Эти преобразования состоят из набора правил, определяющих поток данных и способ загрузки данных в целевые объекты.

Что такое отладчик?

Отладчик — очень удобная утилита в Informatica. Когда мы выполняем операцию mappingInformatica выполняет отображениеping на основе определенной логики преобразования.

Его выполнение аналогично пакетному режиму, когда мы не можем видеть промежуточные результаты или то, как данные изменяются от одной трансформации к другой.

Зачастую данные, которые мы получаем в целевом хранилище, не соответствуют нашим ожиданиям. С помощью отладчика мы можем проанализировать, как данные перемещаются внутри карты.pingпострочно.

Отладчику требуется экземпляр сессии. Мы можем либо повторно использовать существующую сессию, созданную ранее, для запуска карты.pingили создать новый экземпляр сеанса отладки. Поскольку данные извлекаются из источника во время отладки, мы сами выбираем, что с ними произойдет.

  • Отбросьте данные, или
  • Загрузите данные в целевое устройство.

Эти параметры можно установить во время настройки отладчика.

Для мониторинга отладчика в Informatica Designer есть два окна.

  • Target окно
  • Окно экземпляра

В окне «Цель» отображается целевая запись, которая будет вставлена ​​в целевую таблицу. В окне «Экземпляр» можно выбрать любой из экземпляров преобразования карты.pingВсе этапы этого преобразования отображаются в этом окне, что позволяет анализировать процесс преобразования данных.

Шаги по использованию отладчика в картеping

Informatica Designer предоставляет возможность использовать отладчик для отладки карты.pingЭто означает, что мы можем отлаживать и анализировать любую существующую карту.pingТребование к отладчику заключается в том, что картаping должна быть действительная картаping.

В этом упражнении мы будем отлаживать существующую карту.ping "m_emp_emp_target", который мы создали ранее. В исходных данных мы проверим наличие конкретной записи с employee_name = 'SCOTT'. Для Скотта мы проверим, получены ли значения в Informatica и корректно ли запись передана в целевую систему.

Наши исходные данные для таблицы emp выглядят следующим образом.

Пример строк исходной таблицы emp, включая запись SCOTT, использованную в этом упражнении.

Для имени "SCOTT" мы с помощью отладчика проверим, какое значение извлекается из столбца "sal" (зарплата) в Informatica.

Шаг 1) Откройте Informatica Designer и откройте карту.ping Нажмите на «m_emp_emp_target» дважды. Откроются таблицы определения исходного квалификатора и целевого объекта, отображающие карту.ping внутри картыping Дизайнер.

Картаping m_emp_emp_target открыт на картеping Дизайнер с указанием источника и цели.

Шаг 2) Теперь запустите отладчик.

  1. Нажмите на картуpingпункт меню s
  2. Выберите «Отладчик» из вариантов.
  3. Выберите опцию «Запустить отладчик».

Картаpingменю с выбранными пунктами «Отладчик» и «Запустить отладчик» в конструкторе.

Шаг 3) Выберите «Далее» на карте отладки.ping окно.

Начальный экран карты отладкиping мастер с кнопкой «Далее»

Шаг 4) В следующем окне вам будет предложено выбрать тип сессии. Вы можете использовать существующую сессию, существующую многократно используемую сессию или создать экземпляр отладочной сессии.

При использовании существующей сессии Informatica повторно использует сессию, созданную вами ранее для этой карты.pingПри выборе опции «Создать экземпляр сеанса отладки» создается новый экземпляр сеанса для отладки.

В этом примере мы выберем существующий экземпляр сессии. По умолчанию будет использоваться служба интеграции.

  1. Выберите опцию «использовать существующий экземпляр сессии».
  2. Нажмите Далее

Экран типа сессии с выбранной опцией "существующий экземпляр сессии".

Шаг 5) В новом окне «Информатика» предложит вам выбрать существующий сеанс для отладки.

Выберите сессию «s_m_emp_emp_target» и нажмите кнопку «Далее».

Мастер выбора отображает многократно используемую сессию s_m_emp_emp_target для выбора.

Шаг 6) В следующем окне появится опция «Отбросить целевые данные». Мы выбираем эту опцию, потому что во время отладки мы не хотим загружать никакие данные в целевую таблицу.

  1. Выберите опцию «Удалить целевые данные».
  2. Выберите целевую таблицу «emp_target».
  3. Нажмите кнопку Готово

Target На экране параметров для emp_target отмечена галочка «Отменить целевые данные».

Выполнив описанные выше шаги, мы настроили и запустили отладчик. Теперь мы можем отлаживать карту.ping.

Шаг 7) Отладчик запущен, но он еще не получил ни одной строки из источника. Во время отладки он получает данные из источника построчно. Чтобы получить первую строку из источника, необходимо выполнить отладку.

  1. Выберите картуpingпункт меню
  2. Выберите параметр «Отладчик».
  3. Выберите параметр «Следующий экземпляр».

КартаpingМеню, отображающее команду «Следующий экземпляр», которая извлекает одну строку.

Шаг 8) В окне экземпляра вы увидите первую полученную запись из квалификатора источника.

Окно экземпляра, отображающее первую полученную строку для сотрудника SMITH.

Если вы проанализируете окно экземпляра, то увидите первую запись — строку с именем «SMITH». Это не та запись, которую мы ищем, поэтому мы можем перейти к следующему экземпляру.

Шаг 9) Чтобы перейти к следующей строке, нажмите кнопку F10. Это сочетание клавиш для перехода к следующему экземпляру без использования карты.pingВыберите опцию s, а затем опцию «Отладчик».

После перехода к следующему экземпляру данные в окне экземпляра изменятся на следующую запись.

После нажатия клавиши F10 окно экземпляра обновилось, и в нем отобразилась следующая строка с исходными данными.

Шаг 10) Нажимайте кнопку F10 до тех пор, пока не найдете нужную запись о сотруднике «SCOTT». После этого окно будет выглядеть так, как показано ниже.

Окно экземпляра остановлено на строке SCOTT, содержащей информацию о должности, идентификаторе менеджера и зарплате.

Это именно тот экземпляр, который мы искали. В окне экземпляра мы можем проанализировать данные, проверить, корректны ли они или отсутствуют какие-либо значения.

В исходных данных информация о сотруднике «SCOTT» была следующей: должность = «АНАЛИТИК», идентификатор менеджера = «7566», зарплата = «3000».

В отладчике мы проанализировали все эти данные по сотруднику «SCOTT», и они совпадают с исходными данными, поэтому мы уверены, что записи были корректно получены с помощью Source Qualifier.

Использование точки останова в отладчике

Когда мы ищем определенную строку данных, как в предыдущем примере, вместо того, чтобы обращаться к каждому экземпляру исходных данных, мы можем определить точки останова.

Точка останова — это условие или набор условий, определенных в процессе настройки отладки, таким образом, что при выполнении этого условия отладчик останавливается в этой конкретной точке.

Например, если мы зададим deptno=20 в точке останова, то всякий раз, когда это условие выполняется для записи, отладчик остановится на этом экземпляре данных.

Точку останова также можно создать для глобального условия, а не для отдельного преобразования, и ее тип можно установить как error вместо data, что остановит выполнение всякий раз, когда это преобразование вызовет ошибку.

Шаг 1) Чтобы настроить точку останова

  1. Перейти к картеpingменю
  2. Выберите параметр «Отладчик».
  3. Выберите опцию «Редактировать точки останова».

Картаpingменю с выделенной командой «Редактировать точки останова»

Шаг 2) Вы увидите окно «Редактировать точки останова», как показано ниже.

Перед добавлением какой-либо точки останова отредактируйте окно «Редактировать точки останова».

Шаг 3) В окне точки останова нажмите кнопку «Добавить».

Кнопка «Добавить» в окне «Редактировать точки останова» используется для создания точки останова.

Шаг 4) В новом окне

  1. Выберите SQ_EMP в качестве экземпляра.
  2. Нажмите кнопку ОК

Диалоговое окно выбора экземпляра, в котором в качестве экземпляра точки останова выбран SQ_EMP.

Шаг 5) Предыдущее окно будет выглядеть так, как показано ниже.

В окне «Редактировать точки останова» отображается новая точка останова SQ_EMP.

Шаг 6) У вас есть точка останова, и теперь вам нужно определить условие для её установки. Для этого нажмите на значок «Добавить новое условие».

Добавьте значок «Новое условие» на вкладке «Условия» окна точки останова.

Вкладка «Условие» откроет новую строку. Здесь мы можем настроить условие.

Шаг 7) В таблице условий

  1. В раскрывающемся списке «Порт» выберите параметр «ENAME», поскольку мы отлаживаем запись ename='SCOTT'.
  2. В поле значения введите значение «SCOTT».
  3. Нажмите кнопку ОК

Строка условия настроена с использованием порта ENAME и значения SCOTT.

Шаг 8) Теперь запустите отладчик, как указано в предыдущем разделе.

Перейти к картеpingВ меню выберите пункт «Отладчик» → выберите «Запустить отладчик» → выберите экземпляр сессии.

Шаг 9) После запуска отладчика

  1. Выберите картуpingменю
  2. Выберите параметр «Отладчик».
  3. Выберите вариант «Продолжить».

Картаpingменю с командой «Продолжить», которая переходит к следующей точке останова.

Отладчик будет проверять каждое отдельное вхождение строки на наличие условия «ename=SCOTT», останавливаясь на записи, для которой это условие истинно. Таким образом, при большом объеме данных точка останова позволяет перейти непосредственно к этой записи, а не к следующему шагу.ping через каждую строку источника.

Отладчик остановился на строке SCOTT после того, как совпало условие точки останова.

После завершения обработки всех экземпляров Informatica отладчик автоматически останавливается. Для повторного анализа данных необходимо перезапустить отладчик.

Tracработая с Informatica

При каждом запуске сессии для картыpingПри этом генерируется журнал сессии. Он содержит подробную информацию о выполнении, например,

  • Время проведения мероприятий
  • Сведения об ошибке
  • Статистика индивидуальных преобразований и т.д.

Внутри преобразований картыpingВы можете настроить, насколько подробно Informatica записывает данные в журнал сессии.

Существует четыре уровня, которые можно установить для tracвнутри преобразований.

Tracуровень Что Informatica записывает в журнал сессии
нормально - Normal В обычном режиме Informatica записывает информацию об инициализации преобразования и его состоянии, обнаруженных ошибках, а также подводит итоги сессии.
Обратный В режиме Terse Informatica записывает только информацию об инициализации и подробности об ошибках. В журнал сессии записывается минимальное количество подробностей.
Подробная инициализация В режиме подробной инициализации Informatica записывает подробные данные в журнал, аналогичные обычному режиму, а также информацию об используемых файлах данных и индексов и статистику преобразований.
Подробные данные В режиме подробного вывода данных Informatica записывает лог, аналогичный логу подробной инициализации, но дополнительно записывает каждую строку данных, проходящую через преобразование.

В разделе «Подробные данные» также указывается, где служба интеграции обрезает строковые данные, чтобы они соответствовали точности столбца.

Примечание: По умолчанию tracУровень детализации установлен на «Нормальный». Рекомендуется использовать режим подробного вывода данных только при отладке карты.pingСокращенный режим можно использовать для повышения производительности, поскольку он записывает минимальное количество деталей, поэтому накладные расходы на запись журнала минимальны.

Как установить TracУровень трансформации

Шаг 1) Открыть картуping в Informatica Designer, для которого вы хотите установить tracуровень ing.

Картаping открыто в Informatica Designer, готово к tracизменение уровня

Шаг 2) Double—Щелкните по преобразованию, в данном случае это преобразование Source Qualifier «SQ_EMP».

Откроется окно «Редактирование преобразований».

Для квалификатора источника SQ_EMP открылось окно «Редактировать преобразования».

Шаг 3) В окне «Редактировать преобразования»

  1. Перейдите на вкладку «Свойства».
  2. Выберите TracВариант уровня ing
  3. В раскрывающемся списке выберите «Подробные данные».
  4. Нажмите кнопку ОК

Вкладка «Свойства» с TracВ раскрывающемся списке «Уровень» установлено значение «Подробные данные».

Шаг 4) Сохраните картуping и выполнить картуpingИспользуйте сочетание клавиш Ctrl+S для сохранения карты.ping.

Шаг 5) Чтобы просмотреть журнал

  1. Открыто Монитор рабочего процесса и выберите сеанс, который был выполнен на последнем шаге
  2. Нажмите на опцию «Журнал сессий», чтобы открыть журнал сессий для карты.ping

Меню, вызываемое правой кнопкой мыши в мониторе рабочих процессов, с опцией «Журнал сеансов».

Это откроет окно журнала сеанса для карты.ping.

В журнале сессии подробно описывается ход выполнения сессии: время начала и окончания выполнения, общее представление о производительности, используемое соединение с базой данных и файл параметров, а также количество полученных и загруженных в целевую базу данных записей.

В заголовке журнала сессии указаны время, соединения, а также количество источников и целевых устройств.

Шаг 6) Прокрутите журнал вниз, и вы увидите дополнительные сведения о содержании записей, включая сами записи данных.

Нижняя часть журнала сеанса отображает отдельные записи данных, зафиксированные в режиме подробного просмотра. tracИНГ

Таким образом, вы можете установить tracуровень на картеpingдля сбора дополнительных сведений в целях отладки.

В этом руководстве вы узнали, как настроить, сконфигурировать и запустить отладчик, а также как установить следующие параметры: tracуровень на картеpingЭти параметры позволяют отлаживать карту.pings.

Часто задаваемые вопросы (FAQ)

Картаping Сначала необходимо проверить корректность. Неподключенные порты, неработающая ссылка или недопустимое выражение препятствуют открытию мастера, поэтому конструктор сообщает об ошибке проверки и отображении карты.ping Необходимо исправить.

Предварительный просмотр данных отображает исходные строки непосредственно из исходной или целевой таблицы. Шагping После каждого выполнения преобразования отображаются одни и те же строки, что позволяет увидеть, где именно изменяется значение, а не то, что содержится в таблице.

Она записывает каждую строку, проходящую через карту.pingВ результате лог быстро разрастается, а выполнение замедляется. После обнаружения проблемы верните уровень сложности к «Нормальному» или «Краткому» для минимальных накладных расходов.

Нет. После завершения или остановки выполнения сессия закрывается, и анализ начинается заново с первой строки. Условие, определяющее интересующее значение, позволяет избежать этого шага.ping снова просматриваем более ранние записи.

Инструменты обеспечения качества данных на основе машинного обучения профилируют каждый запуск и отмечают столбцы, распределение которых изменяется между загрузками, указывая на преобразование, изменившее значение до любого ручного шага.ping начинается.

Второй пилот не может подключиться к конструктору, но может создавать контент. Python или скрипты оболочки, которые анализируют подробный лог, подсчитывают количество отклоненных строк по коду ошибки и извлекают данные из строк, содержащих информацию о сбое.

Informatica Intelligent Cloud Services предлагает предварительный просмотр данных по отдельным преобразованиям, а также журналы на уровне заданий, вместо пошаговой отладки, поэтому проверка строк происходит непосредственно в окне сопоставления.ping дизайнер.

Служба интеграции записывает его на узел, на котором была выполнена сессия, в настроенный каталог журналов сессии. Открытие файла из монитора запрашивает доступ у агента журналов, поэтому доступ к серверу не требуется.

Подведем итог этой публикации следующим образом: