Налаштування продуктивності в Informatica: повний посібник

⚡ Розумний підсумок

Налаштування продуктивності в Informatica видаляє найповільніше посилання в сеансі, один рівень за раз, працюючи від цільового об'єкта назад через джерело, карту.ping, сеанс і, нарешті, операційна система.

  • 🎯 Фіксований порядок: Informatica рекомендує спочатку шукати вузькі місця, потім джерело, а потім картуping, потім сеанс, а потім система.
  • 🧵 Статистика теми розповідає історію: Найбільш завантажений з потоків читання, перетворення та запису називає шар, який потребує роботи.
  • 🚿 Фільтрувати раніше: Рядки, відкинуті в кваліфікаторі джерела, ніколи не потрапляють у конвеєр, тому вони нічого не коштують далі.
  • 🗄️ Перенести роботу до бази даних: Об'єднання, сортування та фільтри зазвичай виконуються швидше в SQL, ніж у перетворенні.
  • 🧊 Дисципліна кешу: Менше портів і менше стовпців пошуку означає менший кеш і менше підкачки диска.
  • ️ Налаштування сеансу мають значення: Розмір буфера DTM, розмір блоку буфера, інтервал фіксації та оптимізація pushdown налаштовуються після відображення карти.ping чиста.

Налаштування продуктивності в Informatica

Що таке налаштування продуктивності в Informatica?

Налаштування продуктивності в Informatica — це практика пошуку одного компонента, який обмежує швидкість виконання сеансу, видалення цього обмеження, а потім повторення вправи для того компонента, який наступним чином стане найповільнішим. Швидкість сеансу залежить від його найповільнішого шару, тому налаштування перетворення, яке ніколи не було проблемою, не дає жодного помітного покращення.

Informatica визначає п'ять місць, де може бути вузьке місце, і рекомендує перевіряти їх у встановленому порядку.

замовлення шар Типова причина
1 Target Повільний запис, малі інтервали контрольних точок, малі розміри мережевих пакетів бази даних
2 Source Повільний запит, відсутні індекси, зчитування непотрібних стовпців
3 картаping Дорогі або невдало розміщені трансформації, надмірно великі кеші
4 Session Buffer пам'ять, інтервал фіксації, розділення, тип завантаження
5 SYSTEM Насичення процесора, очікування вводу-виводу, підкачка на комп'ютері служби інтеграції

Такий порядок навмисний. Ціль, яка не може достатньо швидко поглинати рядки, змусить кожен рівень вище за течією виглядати повільним, тому вона перевіряється першою. Повний метод задокументовано в Посібник з налаштування продуктивності PowerCenter.

Як визначити вузькі місця в продуктивності

Вгадування того, який шар повільний, витрачає більше часу, ніж його вимірювання. Чотири методи охоплюють п'ять шарів, перелічених вище.

  • Проведіть тестовий сеанс. Налаштуйте копію Сесія для запису в цільовий файл-плоский файл. Якщо сеанс помітно прискорюється, ціль є вузьким місцем. Дзеркальне відображення того ж трюку, читання з джерела-плоского файлу, ізолює вузьке місце джерела.
  • Проаналізуйте статистику потоків. Менеджер перетворення даних запускає потік читача, один або декілька потоків перетворення та потік запису. Потік з найвищим часом зайнятості в журналі сеансу вказує безпосередньо на шар, над яким потрібно працювати: читач для джерела, перетворення для карти.ping, автор для цільової аудиторії.
  • Проаналізуйте деталі продуктивності. Увімкнути збір даних про продуктивність у сеансі та зчитати лічильники. Високий рівень помилок у рядках або велика кількість рядків у кеші пошуку вказує на карту.ping проблема, а не проблема бази даних.
  • Слідкуйте за системою. Operaсистемні інструменти, що показують використання процесора, очікування вводу/виводу та підкачку, разом із Монітор робочого процесу перегляди ресурсів показують, що машина просто не має достатньої потужності.

Щойно відповідальний рівень відомий, варто застосувати поради щодо рівня трансформації, наведені в наступних розділах. Розділи розташовані в порядку конвеєра, починаючи з точки, де дані надходять до картаping до точки, де вона агрегується.

Перетворення кваліфікуючого джерела

Кожен рядок, який не зчитує Source Qualifier, є рядком, який не потрібно обробляти жодним іншим перетворенням, що робить його найдешевшим місцем на всій карті.ping щоб заощадити час.

  • Перенесіть лише необхідні стовпці з джерела. У більшості випадків не всі стовпці вихідної таблиці є обов’язковими, тому заповнюйте лише обов’язкові поля, видаливши непотрібні стовпці.
  • Уникайте використання речення order by всередині Кваліфікатор джерела Перевизначення SQL. Речення order by вимагає додаткової обробки, і продуктивність можна підвищити, якщо його уникнути.

Перетворення фільтра

Фільтрація виконується за тим самим принципом на наступному кроці в конвеєрі: відкидання небажаних рядків на найпершому етапі, коли картаping має достатньо інформації, щоб їх ідентифікувати.

  • Скористайтеся кнопкою перетворення фільтра якомога раніше на картіpingЯкщо небажані дані можна відкинути на початку картиping, це збільшило б пропускну здатність.
  • Використовуйте кваліфікатор джерела для фільтрації даних. Ви також можете використовувати SQL-перевизначення кваліфікатора джерела для фільтрації записів замість використання перетворення фільтра.

Столярна трансформація

Приєднання — це перша справді дорога операція на типовій карті.ping, оскільки головне джерело має бути кешоване, перш ніж з ним можна буде зіставити рядки деталей.

  • Завжди, якщо можливо, надавайте перевагу виконанню об'єднань у базі даних, оскільки об'єднання баз даних швидші, ніж об'єднання, створені в Informatica. перетворення столяра.
  • Відсортуйте дані перед приєднанням, якщо це можливо, оскільки це зменшує введення/виведення диска під час приєднання.
  • Створіть таблицю з меншою кількістю рядків як головну таблицю.

Третій момент найчастіше пропускається. Служба інтеграції кешує головне джерело, тому призначення меншої таблиці як головної зменшує розмір кешу.

Перетворення пошуку

Пошук або запитує базу даних один раз для кожного рядка, або створює кеш у пам'яті, і обидва маршрути винагороджують менше, краще індексоване джерело пошуку.

  • Створіть індекс для стовпця в таблиця пошуку який використовується в умові пошуку. Оскільки таблиця пошуку буде запитуватися для пошуку відповідних даних, додавання індексу підвищить продуктивність.
  • Якщо можливо, замість використання перетворення пошуку використовуйте об’єднання в базі даних. Оскільки приєднання до бази даних відбувається швидше, продуктивність буде збільшена.
  • Видаліть непотрібні стовпці з таблиці пошуку та збережіть лише необхідні стовпці. Це зменшить накладні витрати на отримання додаткових стовпців із бази даних.

Трансформація агрегатора

An Агрегатор зберігає дані в кеші під час групування рядків, тому будь-що, що зменшує обсяг, що досягає його, зменшує необхідний кеш.

  • Фільтруйте дані перед їх агрегацією. Якщо ви використовуєте перетворення фільтрів на картіping, а потім відфільтруйте дані перед використанням агрегатора, оскільки це зменшить непотрібну операцію агрегації.
  • Обмежте кількість портів, що використовуються в агрегаторному перетворенні. Це зменшить обсяг даних, які агрегаторне перетворення зберігає в кеші.

Налаштування на рівні сеансу в Informatica

Коли картаping сам по собі чистий, решта переваг пов'язана з властивостями сеансу. Ці налаштування варто змінювати по одному, з певним часом запуску після кожної зміни, оскільки деякі з них жертвують пам'яттю заради швидкості.

Установка Що воно контролює Коли це змінювати
Розмір буфера DTM Загальна пам'ять, яку служба інтеграції виділяє для вихідних та цільових блоків даних Збільшити, коли сеанс обробляє багато розділів, джерел або цільових даних.
Buffer розмір блоку Розмір окремого блоку пам'яті Збільшуйте для надзвичайно великих рядків; зменшуйте, коли фізична пам'ять обмежена
Інтервал фіксації Скільки рядків записується перед видачі коміту Викликати його, коли потік запису витрачає час на очікування контрольних точок бази даних.
Оптимізація виштовхування Яка частина картиping логіка перетворюється на SQL та виконується базою даних Використовувати, коли джерело та ціль знаходяться в одній потужній базі даних

Buffer Пам'ять базується на задокументованому розрахунку, а не на здогадках. Служба інтеграції виділяє щонайменше два блоки для кожного вихідного та цільового розділів, тому кількість блоків буфера сеансу (загальна кількість джерел + загальна кількість цільових об'єктів) множиться на два, а розмір буфера DTM – це кількість блоків, помножена на розмір блоку буфера та поділена на 0.9.

Оптимізація pushdown заслуговує на обережність. Вона допомагає лише тоді, коли база даних дійсно швидша за машину Integration Service, а логіку перетворення можна виразити в SQL; логіка, яку неможливо перекласти, залишається в сеансі, тому коефіцієнт посилення часто менший, ніж очікувалося. Вимірюйте до та після, а не вмикайте її за замовчуванням.

Поширені запитання

Розділення допомагає, коли машина Integration Service має вільний процесор, а джерело та ціль можуть обслуговувати паралельні з'єднання. На перевантаженій машині або на однопотоковій цільовій машині додаткові розділи збільшують накладні витрати, не скорочуючи час виконання.

Встановіть кеш індексу та даних достатньо великим, щоб вмістити все джерело пошуку, інакше сторінки служби інтеграції зберігатимуться на диску. Журнали сеансів повідомляють про фактично необхідний розмір кешу, тому запустіть його один раз з автоматичним визначенням розміру та зчитайте значення.

Кожна вставка також підтримує кожен індекс та обмеження на цілі, і ця вартість зростає з розміром таблиці. Застаріла статистика бази даних погіршує ситуацію. Тоді потік запису стає найзавантаженішим потоком, що є класичною сигнатурою вузького місця цілі.

Так, оскільки перетворення може звільнити кожну групу одразу після завершення, замість кешування всього. Вхідні рядки вже мають бути відсортовані за портами групування, і сеанс завершується невдало, якщо це не так.

Для великого завантаження лише вставкою, скиньтеping Спочатку індекси та обмеження, а потім їх перебудова зазвичай відбувається швидше. SQL-команди до та після сеансу у властивостях сеансу зазвичай використовуються для сценаріїв обох кроків.

Масовий режим обходить значну частину ведення журналу бази даних і завантажується швидше, але він запобігає відновленню та працює не з усіма цільовими об'єктами або зі стратегіями оновлення. Звичайний режим записує дані через звичайний шлях ведення журналу та залишається відновлюваним.

Моделі, навчені на історичних даних про час виконання, позначають сеанс, який відхилився від своєї нормальної тривалості задовго до того, як хтось це помітив, а також збої, пов'язані з кластером. Вони вказують на запуск, який змінився — відповідальний рівень все ще потрібно підтвердити зі статистики потоків.

Він може переписати запит, запропонувати кандидатів для індексації та пояснити план виконання, вставлений у редактор. Він не може бачити репозиторій або журнал сеансу, тому будь-яке перезаписування має бути перевірено на відповідність реальному плану та кількості рядків.

Підсумуйте цей пост за допомогою: