Що таке еталонне тестування?

Перш ніж вивчати тестування бенчмарків, давайте зрозуміємо -

Еталон тестування продуктивності

A Еталон тестування продуктивності це метрика або точка відліку, з якою можна порівнювати програмні продукти або послуги для оцінки показників якості. Іншими словами, бенчмарк означає встановлений стандарт, який допомагає визначити якість програмного продукту чи послуги. Ми можемо порівняти програмний продукт або послугу, щоб оцінити їх якість.

Наприклад, футбольна команда має орієнтир, за яким гравець може кваліфікуватися як a гравець першої ліги. Набір навичок для контрольного показника може бути кількістю голів, забитих за останні п’ять сезонів, або володіння м’ячем протягом першого тайму, або мінімальну кількість ігор, зіграних у місцевому турнірі тощо.

Що таке еталонне тестування?

Тестування контрольних показників вимірює повторюваний набір кількісно визначених результатів, який служить точкою відліку, з якою можна порівнювати продукти/послуги. Метою результатів порівняльного тестування є порівняння поточних і майбутніх випусків програмного забезпечення з відповідними тестами.

Орієнтир повинен бути повторюваний. Наприклад, з кожною ітерацією навантажувального тесту, якщо час відгуку надто різниться, продуктивність системи повинна бути порівняна. Час відгуку має бути стабільним у різних умовах навантаження.

Орієнтир повинен бути піддається кількісній оцінці. Наприклад, досвід користувача не можна оцінити в цифрах, але час, який користувач проводить на веб-сторінці завдяки хорошому інтерфейсу користувача, можна визначити кількісно.

Еталонне тестування — це термін, що стосується не тільки тестування програмного забезпечення, але й тестування обладнання і вважається одним із найважливіших завдань у світі бізнесу.

У цьому підручнику ми обговоримо тести для клієнт-серверної програми або, іншими словами, веб-програми. Еталонне тестування можна провести для таких послуг,

• Сумісність із браузером
• Непрацюючі посилання
• Відповідність HTML
• Час завантаження
• Доступність
• Популярність посилання

Чому бенчмарк тестування важливе?

На бізнес-рівні порівняльне тестування може бути корисним для визначення

• Наскільки добре працює веб-додаток порівняно з конкурентами
• Як різні типи клієнтів сприймають час відповіді та доступність сайту
• Це забезпечує відповідність веб-сайтів стандартам і найкращим практикам
• Це дає змогу оцінити сторонніх постачальників послуг до прийняття рішення про укладання контракту
• Дозволяє визначити помилки, яких слід уникати

Створення тестового плану тестування

План тестування є найважливішим елементом процесу порівняльного тестування. План порівняльного тестування складається з наступних кроків:

1. Масштабування та виклик робочого навантаження
2. Збирайте та зберігайте показники для еталонного тестування
3. Визначте необхідний проміжок часу та кінцеву точку процесу тестування
4. Підготуйте резервний план для подолання будь-якої нової помилки тесту
5. Визначте повноваження для виклику завершення процесу завершення

Як проводити порівняльне тестування

Тестування бенчмарку включає 4 етапи:

Крок 1) Фаза планування

• Визначення стандартів і вимог і встановлення пріоритетів
• Визначте критерії порівняння
• Визначте контрольний процес тестування

Крок 2) Фаза аналізу

• Визначте першопричину помилки, щоб покращити якість
• Постановка цілей для тестового процесу

Крок 3) Фаза інтеграції

• Поділіться результатами з зацікавленою особою та отримайте схвалення
• Встановіть функціональні цілі

Крок 4) Фаза дії

• Розробити план випробувань і документацію
• Виконайте дії, визначені на попередніх етапах, і відстежуйте прогрес
• Виконуйте процес безперервно

Компоненти еталонного тестування

Різні системи мають різний ступінь складності та вимагають різних методів тестування програм.

Існує 3 основні компоненти порівняльного тестування. Вони є

1. Специфікації робочого навантаження: Визначення типу та частоти запитів, що надсилаються до системи, що тестується.
2. Технічні характеристики метрик: Визначте, який елемент потрібно виміряти, наприклад; Швидкість завантаження
3. Специфікація вимірювання: Визначення способу вимірювання зазначених елементів для пошуку відповідних значень

Речі, які слід враховувати під час порівняльного тестування

Для успішного проведення порівняльного тестування необхідно враховувати такі факти.

• Послідовність і контроль є важливими заходами для виконання еталонного тестування.
• Зрозумійте архітектуру системи для розробки критеріїв тестування та тестових даних
• Вивчіть початкові статичні дані та оновіть відповідно до кількості користувачів
• Перевірте наявність функціональних можливостей «Скидання», де це необхідно, і визначте швидкість транзакцій за секунду (це стосується зокрема транзакцій користувачів із базою даних)
• Розділіть елементи системи відповідно до її функцій
• Кожна система має різну архітектуру та дизайн, які необхідно враховувати під час виконання порівняльного тестування
• Переконайтеся, що всі компоненти програмного забезпечення в робочому стані
• Операційна система та допоміжні драйвери повинні працювати правильно
• Видаліть попередні вибірки та тимчасові файли із системи перед запуском тесту
• Закрийте всі процеси та програми, що працюють у фоновому режимі
• Перевірте наявність оновлень операційної системи та реальних конфігурацій

Бази для порівняльного тестування

Benchmark Testing Frameworks допомагає виконувати деякі фундаментальні завдання для перевірки продуктивності. Ці фундаментальні завдання включають:

1. Доступ до бази даних
2. Композиція на стороні сервера
3. Серіалізація JSON
4. конфігурація

Benchmark Framework 2.0 & TechEmpower в основному використовуються фреймворки Benchmark Testing.

Давайте подивимося на TechEmpower. Ми коротко розглянемо його основні характеристики.

• Це платформа з відкритим вихідним кодом для виконання завдань тестування
• Для цього потрібна правильна конфігурація середовища порівняльного аналізу
• В основному є два режими, наприклад Режим тестування для порівняння результатів і Режим перевірки для тих, хто не експерт
• Необхідно декілька файлів, які є унікальними та можуть залежно від системи залежно від системи
• Він містить «файл конфігурації тесту», який визначає набір тестових інструкцій і метаданих для тестової програми
• Він заснований на кількох мовах, таких як Java, Python, Ruby, PHP, JavaСценарій, Perl, C, Groovy, Haskell, Scala тощо.
• Object – Relational Mapper (ORM) використовується для виконання тестів на базах даних, серіалізації JSON тощо.

Інструменти порівняльного тестування

Інструменти для порівняльного тестування класифікуються відповідно. Будемо залучати по одному.

Інструменти для тестування Windows ПК:

1. Prime95
2. Novabench
3. 3DMark
4. SiSoftware Sandra

Інструменти для тестування продуктивності ЦП:

1. Cinebприв’язати
2. Geekbench

Інструменти для тестування швидкості системи та акумуляторів мобільних пристроїв:

1. Phoronix (Linux)
2. центральний процесор UserBenchmark (тест CPU Benchmark)
3. Vellamo (продуктивність веб-перегляду)

Еталонне тестування також можна виконувати за допомогою Android телефони та планшети. Серед усіх, Паспорт є добре відомим і широко використовуваним інструментом для порівняльного тестування.

Підсумки

• У розробці програмного забезпечення порівняльне тестування дає повторюваний набір кількісно визначених результатів продуктивності системи.
• Корисно перевірити умови навантаження та визначити поведінку системи проти DDoS-атак.
• Специфікації робочого навантаження, показники та специфікації вимірювань є основними компонентами порівняльного тестування.
• Кілька інструментів і фреймворків використовуються для швидкого та ефективного тестування.
• Порівняльний тест також корисний для мобільних пристроїв.