Тестирование бизнес-аналитики (BI) с помощью тестовых сценариев.
Редакционная коллегия
⚡ Умное резюме
Тестирование бизнес-аналитики проверяет промежуточные данные, процесс ETL и отчеты BI, на основе которых принимаются решения. Оно подтверждает корректность передачи данных из источника в целевую систему и достоверность всех показателей, отображаемых в отчете.
Что такое BI-тестирование?
Business Intelligence (BI) Бизнес-аналитика (BI) — это процесс сбора, очистки, анализа, интеграции и обмена данными для получения полезных выводов, способствующих росту бизнеса. Тестирование бизнес-аналитики (BI) проверяет промежуточные данные, процесс ETL, отчеты BI и обеспечивает правильность реализации. Тестирование BI гарантирует достоверность данных и точность выводов, полученных в результате процесса BI.
Вы можете узнать больше об ETL/Business Intelligence в этом учебник
Процесс тестирования бизнес-аналитики
Тестирование бизнес-аналитики следует структуре самого конвейера обработки данных. Каждый этап должен быть пройден, прежде чем следующий станет целесообразным для тестирования, поскольку дефект на предыдущем этапе может проявиться как ложная ошибка на последующем.
- Анализ требований: Определите, на какие бизнес-вопросы должны отвечать отчеты и в каких исходных системах хранятся данные. Неопределенность на этом этапе приведет к тому, что отчет станет непроверяемым в дальнейшем.
- Проверка исходных данных: Проанализируйте источник данных: количество строк, типы данных, процент нулевых значений и наличие дубликатов. Вы не можете проверить преобразование на основе источника, который вы не измерены.
- Проверка на этапе тестирования: Подтвердите бывшегоtracВсе прошло успешно, и после применения правил фильтрации данные сверки совпали с исходными.
- Тестирование ETL и преобразований: Проверьте каждую картуping а также бизнес-правила, включая производные столбцы, агрегации и генерацию суррогатных ключей.
- Хранилище данных и кубическое тестирование. Проверьте целостность таблиц измерений и фактов, обработку медленно изменяющихся измерений и точность агрегирования на каждом уровне иерархии.
- Тестирование отчетов и панелей мониторинга: Сравните данные отчета с данными хранилища, затем с исходными данными и проверьте фильтры, детализацию и роли безопасности.
- Тестирование производительности и регрессионное тестирование: Измерьте продолжительность окна загрузки и сообщите время отклика, затем повторно запустите набор тестов после каждого изменения в конвейере.
Примирение — это основа всего процесса: На каждом этапе необходимо подсчитывать и суммировать ключевые показатели. tracМожно вернуться к источнику. Отчет, который выглядит корректным, но не поддается проверке, не тестируется, а только осматривается.
Виды тестирования бизнес-аналитики
Представленные в этом руководстве сценарии делятся на шесть общепризнанных категорий. Присвоение им названий помогает плану тестирования охватить всю поверхность, а не только те части, которые легко проверить.
| Тип | Что это подтверждает | Типичная техника |
|---|---|---|
| Полнота данных | Все ожидаемые записи были сделаны. | Сверка количества строк между источником и целевым объектом. |
| Преобразование данных | Правило ведения бизнеса применено правильно | Сравните преобразованные выходные данные с ожидаемыми значениями, рассчитанными вручную. |
| Качество данных | Значения являются допустимыми, уникальными и находятся в пределах допустимого диапазона. | Проверки на наличие нулевых значений, дубликатов, формата и ссылочной целостности. |
| Тестирование метаданных | Типы данных, длина и ограничения соответствуют спецификации. | Сравнение схем источника и цели |
| Отчет о тестировании | Рисунки, форматирование и детализация данных корректны. | Сравните результаты отчета с запросом к хранилищу данных. |
| Тестирование безопасности | Пользователи видят только те данные, которые им разрешены в соответствии с их ролью. | Запускайте идентичные отчеты, используя разные учетные данные. |
Выбор Инструмент бизнес-аналитики Это влияет на то, как выполняется каждый тип, но не на то, какие типы необходимы. Тестирование безопасности чаще всего пропускают, и пропуск этого этапа обходится дороже всего, поскольку дефект безопасности на уровне строк приводит к утечке данных в различных бизнес-подразделениях без видимых последствий.
Тестирование бизнес-аналитики: тестовые примеры и сценарии
Приведенные ниже сценарии применимы практически к любому проекту бизнес-аналитики. Сгруппируйте их по этапу конвейера, который они проверяют, и запускайте в указанном порядке, поскольку дефект на этапе подготовки приведет к сбоям на каждом последующем этапе.
Сценарии тестирования для проверки ETL
- Убедитесь, что данные правильно сопоставлены из источника в целевую систему.
- Убедитесь, что все таблицы и их поля копируются из источника в целевой.
- Убедитесь, что ключи, настроенные для автоматического создания, правильно созданы в целевой системе.
- Убедитесь, что пустые поля не заполнены.
- Убедитесь, что данные не искажены и не усечены.
- Убедитесь, что тип и формат данных в целевой системе соответствуют ожиданиям.
- Убедитесь, что в целевой системе нет дублирования данных.
- Убедитесь, что преобразования применяются правильно.
- Убедитесь, что точность данных в числовых полях верна.
- Убедитесь, что обработка исключений надежна.
Тестовые сценарии для промежуточных данных
- Проверка сверки — количество записей между таблицами STG (промежуточными) и целевыми таблицами одинаково после применения правил фильтрации.
- Вставьте запись, которая не загружена в целевую таблицу для данной комбинации клавиш.
- Повторно отправьте записи, уже присутствующие в целевых таблицах, и убедитесь, что они не были загружены дважды.
- Обновить запись для ключа, когда столбцы значений изменились в день загрузки day_02.
- Логически удалить записи в целевых таблицах
- Значения, загружаемые таблицами процессов
- Значения, загруженные по справочным таблицам
Сценарии тестирования загрузки данных
- Проверьте, хорошо ли соединены целевая и исходная базы данных и нет ли проблем с доступом.
- Для полной загрузки проверьте параметр усечения и убедитесь, что он работает нормально.
- Во время загрузки данных проверьте работоспособность сессии
- Проверьте наличие нефатальных ошибок.
- Убедитесь, что вы можете завершить выполнение вызывающей родительской задачи в случае сбоя дочерней задачи.
- Убедитесь, что журналы обновлены
- Проверить картуping и рабочий параметры настроены точно
- Убедитесь, что количество таблиц в исходной и целевой системах одинаково.
- Сравните атрибуты промежуточных таблиц с атрибутами целевых таблиц. Они должны совпадать.
Тестовые сценарии отчетов BI
- Отображение даты и времени
- Десятичная точность для ключевых цифр
- На данной странице отображается количество строк и столбцов.
- Бесплатные характеристики в отчете
- Как отображаются пустые значения как для характеристик, так и для ключевых показателей
- Независимо от того, выполняется ли поиск по характеристикам по ключу, по тексту или по обоим параметрам, как указано.
- Учитывается ли регистр при поиске текста и соответствует ли это требованиям.
Проблемы тестирования бизнес-аналитики
- Объем данных. На складах хранятся сотни миллионов строк данных, поэтому исчерпывающее сравнение невозможно. Тестирование основано на итоговых суммах сверки, а также на целенаправленной выборке записей, относящихся к границам и зонам высокого риска.
- Разнородные источники. Одно хранилище данных может использовать реляционные базы данных, текстовые файлы, API и устаревшие системы, каждая из которых имеет свою собственную кодировку, формат даты и соглашение об использовании нулевых значений.
- Видимых неисправностей нет. Неверные данные в отчете не являются ошибкой. Они лишь указывают на неверное решение, поэтому сверка данных — единственный надежный метод выявления таких ошибок.
- Источники информации постоянно меняются. Изменение схемы в вышестоящей системе незаметно нарушает отображение.pingТестирование метаданных должно проводиться по графику, а не только во время выпуска продукта.
- Медленно меняющиеся размеры. Для обеспечения исторической точности необходимо, чтобы в записи, действительной за прошлый год, по-прежнему указывались значения прошлого года, что сложно проверить и легко допустить ошибку.
- Экологическое равенство. В тестовых средах редко используются данные, характерные для производственных условий, поэтому проблемы с загрузкой и производительностью запросов проявляются только после запуска в эксплуатацию.
Общая черта заключается в том, что дефекты бизнес-аналитики проявляются бесшумно. Все вышеперечисленные меры работают за счет создания сигнала там, где сама система его не производит.
