Свойства сеанса в Informatica: полное руководство

⚡ Умное резюме

Свойства сессии в Informatica управляют тем, как и когда служба интеграции перемещает строки из источника в целевой объект, включая точки фиксации, файлы журналов, выделение памяти, обработку ошибок и соединения.ping используется во время выполнения.

  • 🔘 Основные моменты сессии: Сессия — это задача, привязанная к одной карте.ping, который после назначения нельзя обменять.
  • ☑️ Обрабатывайте исходные строки следующим образом: Функции «Вставка», «Обновление», «Удаление» и «Управление данными» определяют, добавляются, изменяются или удаляются строки.
  • Первичный ключ: Для применения изменений при операциях обновления и удаления необходимо наличие первичного ключа в целевой таблице.
  • 🧪 Тестовая нагрузка: Строки считываются из источника, но никогда не записываются, поэтому используется карта.ping Проверено на безопасность.
  • 🇧🇷 Оптимизация памяти: Вкладка «Объект конфигурации» предоставляет доступ к параметрам размера буферного блока и длины последовательного буфера для оптимизации производительности.
  • 📦 Тип нагрузки: При пакетной загрузке журнал базы данных пропускается для повышения скорости, в то время как при обычной загрузке сохраняется возможность восстановления.

Свойства сеанса в информатике

Сессия — это набор инструкций, которые указывают Informatica, как и когда перемещать данные из источников в целевые системы.

Сессия — это задача, как и другие задачи, которые мы создаём в Workflow Manager. Любая созданная вами сессия должна иметь картаping связанные с ним.

В рамках одной сессии может быть одна карта.ping После назначения изменить его невозможно. Для выполнения задачи сессии ее необходимо добавить в рабочий.

Сессия может быть многократно используемым объектом или не многократно используемым. При создании сессии в Task Developer она может быть повторно использована, но при создании сессии в Workflow Designer она не является многократно используемой.

Многоразовый сеанс можно добавить в несколько рабочих процессов.

Свойства сессии

Используя свойства сеанса, вы можете настроить различные характеристики сеанса, такие как до и после. SQL сценарии, имя и путь к файлу журнала, свойства памяти и т. д.

Вы также можете изменить карту.ping Свойства сессии. В этом разделе мы обсудим следующие важные свойства сессии.

  • Обрабатывать исходные строки как
  • Интервал фиксации
  • Свойство файла журнала сеанса
  • Свойство тестовой нагрузки
  • Параметры журнала
  • Обработка ошибок
  • Источник/Target Основные свойства
  • Связь

Шаг 1) Откройте сессию «s_m_emp_emp_target» в Task Developer, которую мы создали в предыдущем уроке.

Сессия s_m_emp_emp_target указана в рабочей области разработчика задач.

Шаг 2) Double—Щелкните значок сессии в Task Developer, чтобы открыть окно редактирования задачи.

Окно редактирования задачи открывается для этой сессии из приложения «Разработчик задач».

Шаг 3) В окне «Редактировать задачу» перейдите на вкладку «Свойства».

В окне редактирования задачи сеанса выбрана вкладка «Свойства».

Шаг 4) На вкладке «Свойства» Informatica отображает свойства сессии.

Полный список свойств сессии отображается на вкладке «Свойства».

Рассматривать исходные строки как собственность

Это свойство позволяет вам определить, как исходные данные влияют на целевую таблицу. Например, вы можете определить, что исходная запись должна быть вставлена ​​или удалена из целевой.

У этого свойства есть четыре варианта –

  • Вставить
  • Обновление ПО
  • Удалить
  • На основе данных

Все четыре варианта находятся в одном выпадающем списке рядом с названием объекта недвижимости.

Рассматривайте строки источника как выпадающий список с вариантами «Вставить», «Обновить», «Удалить» и «Управлять данными».

  • Если для этого параметра установлено значение «вставка», исходные данные будут помечены для вставки. Это означает, что данные будут только вставлены.
  • Когда для свойства задано обновление, целевые данные будут обновлены на основе исходных данных. Для обновления данных необходимо определить первичный ключ в целевой таблице.
  • Если для свойства установлено значение «удалить», исходные данные, уже присутствующие в целевой таблице, будут удалены из целевой таблицы. Для выполнения этого свойства и применения изменений необходимо определить первичный ключ в целевой таблице.
  • Если для параметра установлено значение «Управляемый данными», Informatica проверяет, какие записи источника помечены. Если записи источника помечены как «вставить в карту», ​​это означает, что они должны быть вставлены.ping, тогда записи будут вставлены в целевую папку. Если записи помечены как обновления в карте,pingЗатем записи будут обновлены в целевом объекте. Таким образом, операция, выполняемая в целевом объекте, зависит от того, как обрабатываются записи внутри карты.ping.

Выбор варианта, основанного на данных, возможен при создании карты.ping содержит преобразование «Стратегия обновления», поскольку это преобразование помечает каждую строку по отдельности.

Как удалить строки источника угощения

Шаг 1) На вкладке «Свойства» задачи сеанса:

  1. В разделе «Обрабатывать исходные строки как» выберите параметр «Удалить».
  2. Нажмите кнопку ОК

Удалить выбранный параметр в поле «Обрабатывать исходные строки как свойство сессии».

Шаг 2) Чтобы задать первичный ключ в целевой таблице, откройте Informatica Designer.

  1. Открыто Target UX/UI дизайнер
  2. Double-Щелкните по таблице «emp_target»

Таблица emp_target открыта из Target Дизайнер внутри Informatica Designer

Это откроет окно «Редактировать таблицу» для нашей целевой таблицы.

Шаг 3) В окне редактирования целевой таблицы:

  1. Для столбца EmpNo выберите в раскрывающемся меню тип ключа «первичный ключ», и
  2. Нажмите кнопку ОК.

В окне редактирования таблицы emp_target столбец EmpNo установлен в качестве первичного ключа.

Шаг 4) Сохраните изменения в Informatica и запустите рабочий процесс для этой карты.ping.

При выполнении этой картыpingВ этом случае исходные записи, уже присутствующие в целевой системе, будут удалены.

Интервал фиксации — свойство

Это свойство определяет интервал, по истечении которого Informatica выполняет операцию фиксации изменений в целевой таблице.

Например, если вы вставляете 20,000 5,000 записей в целевую таблицу и определяете интервал фиксации равным 5,000 XNUMX, то после каждых XNUMX XNUMX вставок записей в целевую таблицу будет выполняться операция фиксации.

Интервал по умолчанию составляет 10 000 строк, а тип фиксации может быть установлен на основе целевого или исходного источника.

Поля «Тип фиксации» и «Интервал фиксации» отображаются на вкладке «Свойства сессии».

Имя файла журнала сеанса и каталог файлов журнала сеанса

Настройте это свойство для изменения

  • Имя файла журнала сеанса по умолчанию и
  • Путь к файлу журнала

Переменная $PMSessionLogDir\ является переменной Informatica, и на Windows Он указывает на следующее местоположение по умолчанию: «C:\Informatica\9.6.1\server\infa_shared\SessLogs».

В свойствах сессии есть поля «Имя файла журнала сессии» и «Каталог файла журнала сессии».

Включить тестовую загрузку

Используя это свойство, вы можете протестировать свою сессию и карту.pingПри использовании этой функции и запуске сессий записи извлекаются из источников, но не загружаются в целевую систему. Поэтому эта функция помогает в следующем: тестов правильность картыpingфайлы параметров и функционирование различных преобразований внутри картыping.

Если вы включите эту функцию, то появится еще одно свойство — «Количество строк для тестирования», — которое следует настроить для количества записей, которые вы хотите получить из источника для тестовой загрузки.

Установите флажок «Включить тестовую нагрузку», а рядом с ним укажите поле «Количество строк для тестирования».

Свойства памяти

Свойства памяти позволяют нам гибко настраивать объем памяти, выделяемой Informatica для оптимизации производительности. При наличии серьезных узких мест и низкой производительности можно попытаться улучшить ее, используя свойства памяти.

Для настройки свойств памяти перейдите на вкладку «Объект конфигурации» в окне «Редактировать задачу». Откроется другое окно, где вы сможете внести изменения.

В окне редактирования задачи сеанса выбрана вкладка «Объект конфигурации».

В этом разделе можно настроить свойства памяти. Например, размер блока буфера по умолчанию, длину последовательного буфера и т. д. Изменения этих свойств определяют, сколько памяти должно быть выделено службам Informatica для их работы.

На вкладке «Объект конфигурации» находятся поля «Размер блока буфера по умолчанию» и «Длина последовательного буфера».

Параметры журнала

В этом разделе свойств вы можете настроить параметры ведения журнала сессии. Вы можете указать, сколько записей журнала вы хотите сохранить для сессии, а также максимальный размер файла журнала сессии.

Группа параметров ведения журнала отображает настройки сохранения журнала сеанса и максимальный размер файла журнала.

Обработка ошибок

В этом разделе вы можете настроить свойства ошибок для сеанса.

С помощью параметра "Остановка при ошибках" можно настроить, после скольких ошибок сессия должна быть остановлена.

Использование переопределения tracвы можете изменить карту.ping tracуровни.

Вы также можете настроить поведение сессии при возникновении различных ошибок, например, ошибок хранимой процедуры, ошибок SQL до и после выполнения и т. д.

Группа обработки ошибок вкладки «Объект конфигурации» с полем «Остановка при ошибках».

Картаping и Источник/Target Основные свойства

На картеping На вкладке «Редактировать задачу» окна «Редактировать задачу» можно настроить свойства карты.ping а также его источников, целей и преобразований. Здесь можно переопределить имена таблиц и применить префиксы имен таблиц, а свойства преобразования задать внутри карты.ping Их также можно просмотреть и изменить. Это единое место для просмотра всех параметров.

Картаping Вкладка окна «Редактировать задачу» содержит список источников, целей и преобразований.

Свойства подключения на картеping

С помощью этого свойства можно определить подключения к базе данных для источников и целевых объектов.

Обозреватель реляционных соединений используется для установки исходного и целевого соединений.

Исходные свойства

В этом разделе вы можете настроить свойства, связанные с источником карты.pingВы можете настроить SQL-скрипты до и после обработки запроса к источнику.

С помощью свойства SQL-запроса можно переопределить SQL-запрос для источника. В этом разделе также можно переопределить имя исходной таблицы.

Панель свойств источника, отображающая переопределения SQL-запроса и имени исходной таблицы.

Target Основные свойства

В этом разделе вы можете настроить параметры целевого груза. Вы можете указать, должен ли целевой груз быть насыпным или обычным.

Target тип нагрузки Что это значит для забега?
нормально - Normal Запись строк осуществляется через журнал базы данных, поэтому загрузка происходит медленнее, но восстановление базы данных после сбоя возможно.
насыпной Буферы журналов повторного выполнения обходятся стороной, поэтому загрузка происходит быстрее, но восстановление после сбоя загрузки недоступно.

Также можно задать свойство для очистки целевой таблицы перед ее заполнением, чтобы таблица сначала была очищена, а затем выполнялась загрузка. Это свойство полезно при создании карты данных.pings для нагрузки на сцену.

Мы также можем определить предварительные и последующие SQL-запросы для целевой таблицы. Предварительный SQL-запрос — это фрагмент SQL-кода, который будет выполнен перед вставкой данных в целевую таблицу, а последующий SQL-запрос — после завершения загрузки данных в целевую таблицу.

Target Панель свойств с указанием целевого типа загрузки, параметра очистки и полей до и после выполнения SQL-запроса.

Успех или неудача выполнения задания сессии

Когда рабочий процесс содержит несколько сессий, одна или несколько из них могут завершиться с ошибкой, в то время как остальные завершатся успешно, что поднимает вопрос о том, каким должен быть статус рабочего процесса. Для обработки таких ситуаций Informatica предоставляет свойство, специфичное для обработки ошибок, внутри рабочего процесса. Чтобы настроить такое поведение –

Шаг 1) Откройте созданный нами ранее рабочий процесс «wkf_run_command».

Рабочий процесс wkf_run_command открылся в Диспетчере рабочих процессов вместе с командами и задачами сессии.

Шаг 2) Double— Щелкните по задаче команды. Откроется окно «Редактировать задачу».

  1. Выберите вкладку Общие
  2. Установите флажок напротив свойства «отклонить родительский процесс, если эта задача завершится неудачей».
  3. Нажмите кнопку ОК

В случае сбоя этой задачи, если выбран параметр «Общие» на вкладке «Общие» задачи команды, родительский процесс следует завершить с ошибкой.

Шаг 3) Double— Щелкните по задаче сессии. Откроется окно «Редактировать задачу».

  1. Выберите вкладку Общие
  2. Установите флажок напротив свойства «отклонить родительский процесс, если эта задача завершится неудачей».
  3. Нажмите кнопку ОК

В случае сбоя этой задачи, если выбран параметр «Общие» на вкладке «Общие» задачи сессии, родительский процесс следует завершить с ошибкой.

Шаг 4) Сохраните изменения, используя сочетание клавиш Ctrl+S.

При выполнении этого рабочего процесса после внесения вышеуказанных изменений, если какая-либо из задач завершится с ошибкой, статус рабочего процесса будет установлен на «сбой», что позволит вам определить, что в процессе выполнения рабочего процесса некоторые из его задач завершились с ошибкой.

Часто задаваемые вопросы (FAQ)

Да. Сессия, созданная в Task Developer, является многоразовой и может быть использована во многих приложениях. Рабочие процессыСозданный в Workflow Designer экземпляр становится невозможным для повторного использования и принадлежит исключительно этому рабочему процессу.

Служба интеграции формирует условие WHERE для генерируемого оператора UPDATE или DELETE на основе ключевых столбцов. Без первичного ключа в целевом определении ни одна строка не будет найдена, и ничего не изменится.

В ней каждая строка помечается как вставляемая, обновляемая, удаляемая или отклоняемая. преобразование конвейер, поэтому сессия должна запускаться с выбранным параметром "Управление данными".

Он группирует исходный квалификатор с целевыми таблицами, которые он передает, поэтому связанные таблицы загружаются в выбранной последовательности, и родительские строки оказываются на месте до того, как поступят дочерние строки.

Просмотрите журнал сеанса, чтобы узнать процент загрузки потоков чтения, преобразования и записи. Наиболее загруженный поток является настоящим узким местом, и только в этом случае следует обратить внимание на настройки буфера.

Да. Имена соединений, исходные каталоги и карта.ping Параметры считываются из файла параметров во время выполнения, поэтому один объект работает в средах разработки, тестирования и производства без изменений.

Современные ETL-платформы используют модели машинного обучения для анализа истории выполнения, прогнозирования того, какой этап станет узким местом, и выработки рекомендаций по разделению памяти или ее изменению, заменяя ручной метод проб и ошибок.

Да. Второй пилот составляет проект SQL Эта операция выполняется до или после загрузки данных, например, удаление индексов, операторы truncate и вставки аудита. Каждый сгенерированный оператор по-прежнему требует проверки схемы.

Подведем итог этой публикации следующим образом: