Що таке тестування паралелізму в тестуванні програмного забезпечення?

⚡ Розумний підсумок

Паралельне тестування виявляє дефекти, які з'являються лише тоді, коли кілька користувачів одночасно працюють з однією програмою, виявляючи взаємні блокування, втрачені оновлення та проблеми з блокуванням, які послідовні функціональні перевірки ніколи не виявляють.

  • 👥 Також називається: Багатокористувацьке тестування, оскільки тригером є одночасний доступ, а не лише великий обсяг даних.
  • 🎯 На що він спрямований: Спільні записи бази даних, спільні модулі та спільний код програми, до яких було досягнуто більше ніж одним сеансом.
  • 🔒 Що він вимірює: Рівні взаємоблокування, блокування, однопотокового коду та обмеженого доступу до спільних ресурсів.
  • 🧭 Як це працює: Визначте потоки, схильні до паралельності, встановіть цільову групу паралельності, напишіть сценарій реальних дій, а потім поступово збільшуйте кількість користувачів.
  • 🐞 Класи дефектів: Умови гонки, глухі блокування, втрачені оновлення, пошкодження даних та голодування потоків.
  • ⚠️ Чесні обмеження: Недетермінізм, асинхронні зворотні виклики та неінформативний стек викликів ускладнюють відтворення збоїв.

Що таке паралельне тестування в тестуванні програмного забезпечення з кількома одночасними користувачами

Що таке тестування паралелізму?

Тестування паралельності – це метод тестування, який використовується для виявлення дефектів у застосунку, коли в систему ввійшли кілька користувачів. Іншими словами, він відстежує ефект, коли кілька користувачів виконують одну й ту саму дію одночасно.

Тестування паралельності також називають багатокористувацьке тестуванняТестування паралельної програми є складнішим, ніж тестування послідовної програми, через недетермінізм та проблеми синхронізації: один і той самий тест може пройти успішно під час одного запуску та не пройти наступного без зміни жодного рядка коду.

Діаграма нижче ілюструє ідею — кілька користувачів звертаються до одного й того ж ресурсу програми одночасно, і тест спостерігає, що програма робить з перекриттям.

Діаграма тестування паралельності, яка показує, як кілька користувачів одночасно отримують доступ до одного й того ж ресурсу програми

Навіщо використовувати тестування паралельності

Два питання виправдовують зусилля, і обидва є невидимими для однокористувацьких функціональних запусків.

  • Він визначає наслідки одночасного доступу до тих самих записів бази даних, модулів або коду програми.
  • Він визначає та вимірює рівень взаємоблокувань, блокувань, використання однопотокового коду та обмеженого доступу до спільних ресурсів.

Функція може бути повністю коректною для одного користувача та все одно втрачати дані для другого користувача, який прибуває на мілісекунду пізніше, тому цей метод є подібним до інших. тестування працездатності а не всередині функціонального тестування.

Як виконати тестування паралельності

Паралельне тестування виконується за повторюваною послідовністю. Наведені нижче кроки переходять від scoping до вирішення.

  • Крок 1) Визначте потоки, схильні до паралельності. Шукайте спільний стан: одночасні входи, резервування місця або акцій, оновлення балансу, пакетні завдання, що записують ту саму таблицю, та будь-який однопотоковий компонент у шляху.
  • Крок 2) Встановіть ціль паралельності. Визначте, скільки користувачів повинні діяти одночасно, виходячи з реальних піків використання, а не з круглого числа.
  • Крок 3) Розробіть тестові випадки. Кожен тестовий випадок поєднує спільний ресурс, конкуруючі дії та очікуваний кінцевий стан — наприклад, два сеанси виведення з одного облікового запису не повинні обидва бути успішними.
  • Крок 4) Напишіть скрипт та виберіть інструмент. Потрібен генератор навантаження, який породжує налаштовуваних віртуальних користувачів; JMeter є поширеним вибором з відкритим кодом, а його налаштування груп потоків безпосередньо пов'язані зі сценаріями паралельності.
  • Крок 5) Ramp поступово. Збільшуйте кількість одночасних користувачів поетапно, а не стрибкоподібноping до цілі, тому видно рівень, на якому починається суперечка.
  • Крок 6) Моніторинг та аналіз. Спостерігайте за очікуваннями блокувань, розкидом часу відгуку, коефіцієнтами помилок та блокуванням бази даних разом — дефект паралельності часто проявляється як аномалія синхронізації, перш ніж проявитися як помилка.
  • Крок 7) Вирішіть проблему та повторіть запуск. Виправте причину синхронізації, індексації або блокування, а потім повторіть той самий прогін, щоб підтвердити зміну поведінки, а не переміщення.

Поширені дефекти паралельності

Дефекти паралельності поділяються на невелику кількість розпізнаваних класів, і правильне найменування класу зазвичай вказує безпосередньо на виправлення.

Дефект Що відбувається Типовий симптом
Стан гонки Результат залежить від того, який сеанс завершився першим Правильні підсумки для деяких пробіжок, неправильні для інших
Deadlock Два сеанси утримують замок, який потрібен іншому Транзакції зависають замість того, щоб повертати помилку
Lost update Другий запис перезаписує перший без зчитування Збережена зміна непомітно зникає
Корупція даних Спільна структура записана лише частково Записи у стані, який не вдалося створити жодною дійсною транзакцією
Голодування Один сеанс ніколи не отримує ресурс, на який чекає Шлях одного користувача перевищує час очікування, хоча система виглядає справною

Оскільки ці збої трапляються періодично, для кожного запуску необхідно записувати журнали та позначки часу; інакше про дефект не можна буде достовірно повідомити через процес управління дефектами.

Приклад тестування паралельності

Уявіть собі інтернет-магазин, у якому є остання одиниця товару на складі. Двоє покупців відкривають товар одночасно та обидва натискають кнопку купити.

  • Сценарій: Два сеанси зчитують stock = 1, обидва проходять перевірку наявності та обидва записують stock = 0.
  • Очікуваний результат: Одне замовлення підтверджено, інше отримує повідомлення про відсутність на складі, і запаси ніколи не стають від'ємними.
  • Індикатор дефекту: Обидва замовлення підтверджуються, або запас досягає значення -1, що показує, що перевірка наявності та зменшення не виконуються як один атомарний крок.
  • Варто спробувати варіації: Ті самі два сеанси редагування одного запису профілю, два схвалення одного й того ж запиту та пакетне завдання оновлення таблиці під час збереження користувачем.

Та сама схема узагальнюється: знайти один ресурс, двох авторів і жодної гарантії замовлення. Запуск сценарію під час тестування системи, перед додаванням навантаження, підтримує чистоту діагностики.

Переваги паралельного тестування

  • Це відносно зменшує обсяг зусиль, необхідних для тестування програми, обмежуючи обсяг одночасних взаємодій кількома широко використовуваними, добре перевіреними компонентами.
  • Інкапсуляція дозволяє аналізувати поведінку частини програми без перегляду всієї кодової бази.
  • Це допомагає підвищити надійність та стійкість паралельних програм.
  • Це виявляє обмеження блокування та вимкнення на ранній стадії, тому рішення щодо пропускної здатності ґрунтуються на виміряній конкуренції, а не на оцінках.

Недоліки паралельного тестування

Наведені нижче недоліки зазвичай зустрічаються тестувальниками під час виконання паралельного тестування.

  • Додаток потрібно протестувати на кількох платформах.
  • Сценарії паралельного виконання вимагають інтенсивніших тестів, ніж послідовні.
  • Функції не повертають свій результат викликаючій платформі негайно; натомість результат може бути доставлений пізніше через сповіщення, блоки, функції зворотного виклику або подібні механізми, що ускладнює тестування.
  • Інформація або потік програми не відображається в стеку викликів.
  • Кількість шляхів виконання в системі може бути надзвичайно великою, оскільки процеси в паралельній системі взаємодіють один з одним під час виконання.
  • Паралельні програми мають вищий коефіцієнт невдач, ніж послідовні.
  • Налагодження паралельних програм є складним, оскільки підключення налагоджувача змінює час, який спричинив збій.

Поширені запитання

Ні. Тестування навантаженням вимірює поведінку за очікуваного обсягу з плином часу. Тестування паралельності спрямоване на один і той самий момент часу, тому дефект може виникнути лише у двох користувачів, якщо обидва торкаються одного спільного запису.

Багатопотокова половина тестування потоків перетинається з ним. Тестування потоків запитує, чи виживає один бізнес-шлях після інтеграції; тестування паралельності запитує, що робить одночасний доступ, коли цей шлях вже працює.

Отримайте число на основі спостережуваного пікового використання, а не на основі округленого числа. Почніть з двох сеансів, щоб довести, що логіка є атомарною, потім поступово збільшуйте його до виміряного піку та запасу вище нього.

Моделі машинного навчання ранжують модулі за історією минулих дефектів та складністю спільного стану, вказуючи тестувальникам на потоки, які найімовірніше зламаються під час перекриття. Кластеризація журналів під час повторних запуску потім ізолює чергування, яке передувало кожній помилці.

Копілот GitHub швидко створює скрипти віртуальних користувачів, бар'єри та помічники тверджень. Тестер все одно визначає, який ресурс є спільним і який правильний кінцевий стан, оскільки згенеровані тести рідко змушують до справжнього перекриття.

Рівень ізоляції, час очікування блокування, розмір пулу підключень та індексація – все це впливає на те, як відображається конфлікт. Записуйте їх під час кожного запуску, оскільки результат, отриманий на одному рівні ізоляції, нічого не говорить про інший.

Повторіть ідентичний сценарій багато разів із чистого стану даних, зберігайте журнали з мітками часу та звужуйте вікно між двома конкуруючими діями. Підключення налагоджувача часто приховує помилку, змінюючи час.

Так, для суперечок, залежних від обсягу. Невеликі таблиці дозволяють базі даних зберігати все в пам'яті та короткочасно блокуватися, тому блокування, яке виникає у робочому середовищі, залишається непомітним. Зіставте кількість рядків та розміри індексів якомога точніше, наскільки дозволяє середовище.

Підсумуйте цей пост за допомогою: