ソフトウェア テストにおける並行性テストとは?

⚡ スマートサマリー

並行性テストは、複数のユーザーが同時に同じアプリケーションを操作した場合にのみ発生する欠陥を検出し、逐次的な機能チェックでは決して明らかにならないデッドロック、更新の消失、ロックの問題などを明らかにします。

  • 👥 とも呼ばれている: マルチユーザーテストは、単にアクセス量が多いことではなく、同時アクセスがトリガーとなるため実施されます。
  • 🎯 対象: 複数のセッションからアクセスされる共有データベースレコード、共有モジュール、および共有アプリケーションコード。
  • 🔒 測定内容: デッドロックのレベル、ロック、シングルスレッドコード、および共有リソースへのアクセス制限。
  • 🧭 実行方法: 同時実行が発生しやすいフローを特定し、同時実行目標を設定し、実際の操作をスクリプト化してから、ユーザー数を段階的に増やしていく。
  • 🐞 欠陥クラス: 競合状態、デッドロック、更新情報の消失、データ破損、スレッド枯渇。
  • ⚠️ 正直な限界: 非決定性、非同期コールバック、そして情報量の少ないコールスタックのため、障害の再現が困難になる。

複数の同時ユーザーによるソフトウェアテストにおける並行性テストとは何か

同時実行テストとは何ですか?

並行性テスト これは、複数のユーザーがログインしている状態でアプリケーションの不具合を検出するために使用されるテスト手法です。言い換えれば、複数のユーザーが同時に同じ操作を行った際の影響を監視するものです。

並行性テストは、 マルチユーザーテスト並行プログラムのテストは、非決定性や同期の問題があるため、逐次プログラムのテストよりも困難です。同じテストでも、コードを一行も変更していないのに、ある実行では合格し、次の実行では失敗する可能性があります。

以下の図は、その考え方を示しています。複数のユーザーが同時に同じアプリケーションリソースにアクセスし、その重複に対してアプリケーションがどのように動作するかをテストで観察します。

複数のユーザーが同時に同じアプリケーションリソースにアクセスする様子を示す並行性テスト図

並行性テストの理由

この取り組みを正当化する2つの疑問点があり、どちらもシングルユーザーによる機能実行では見えない。

  • これは、同じデータベースレコード、モジュール、またはアプリケーションコードに同時にアクセスした場合の影響を特定します。
  • デッドロック、ロック、シングルスレッドコードの使用、共有リソースへのアクセス制限のレベルを特定し、測定します。

ある機能は1人のユーザーに対しては完全に正しくても、1ミリ秒後に到着した2人目のユーザーに対してはデータが失われる可能性がある。そのため、この技術は 性能試験 機能テストの内部ではなく。

並行性テストの実施方法

並行性テストは、再現可能な手順に従います。以下の手順は、sco から開始します。ping 解決に向けて。

  • ステップ1)並行処理が発生しやすいフローを特定する。 共有状態を探してください。同時ログイン、座席または在庫の予約、残高の更新、同じテーブルに書き込むバッチジョブ、およびパス内のシングルスレッドコンポーネントなどです。
  • ステップ2)同時実行目標を設定します。 同時に操作する必要のあるユーザー数を決定する際は、キリの良い数字ではなく、実際の利用ピークに基づいて判断してください。
  • ステップ3)テストケースを設計する。 各 テストケース 共有リソース、競合するアクション、および期待される最終状態をペアにします。たとえば、1つのアカウントから引き出す2つのセッションは、両方とも成功してはなりません。
  • ステップ4)スクリプトを作成し、ツールを選択します。 設定可能な仮想ユーザーを生成する負荷発生器が必要です。 JMeter は一般的なオープンソースの選択肢であり、そのスレッドグループ設定は並行処理のシナリオに直接対応しています。
  • ステップ5) Ramp 段階的に。 同時接続ユーザー数を急激に増やすのではなく、段階的に増やしていくping ターゲットに対して、競合が始まるレベルが可視化される。
  • ステップ6)監視と分析。 ロック待ち時間、応答時間のばらつき、エラー率、データベースのブロッキングをまとめて監視してください。並行処理の欠陥は、エラーとして現れる前に、タイミングの異常として現れることがよくあります。
  • ステップ7)解決して再実行します。 同期、インデックス作成、またはロックの原因を修正してから、同じ処理を再度実行し、動作が移動したのではなく変更されたことを確認してください。

一般的な並行処理の欠陥

並行処理における不具合は、少数の明確な種類に分類され、その種類を正しく特定することで、通常はすぐに修正箇所が見つかる。

欠陥 何が起こるのですか 典型的な症状
競合状態 結果はどちらのセッションが先に終了したかによって決まる 一部のランでは合計値が正しかったが、他のランでは間違っていた。
Deadlock 2 つのセッションはそれぞれロックを保持し、もう 1 つのセッションはロックを必要とします トランザクションはエラーを返す代わりにハングアップする。
アップデートが失われました 2回目の書き込みは、1回目の書き込みを読み取らずに上書きします。 保存された変更が静かに消える
データ破損 共有構造は部分的にしか書き込まれません 有効なトランザクションでは作成できない状態のレコード
飢餓 セッションが待機しているリソースを取得できない システムは正常に見えるが、単一のユーザーパスがタイムアウトする

これらの障害は断続的であるため、すべての実行でログとタイムスタンプを取得する必要があります。そうしないと、欠陥を信頼性をもって報告することができません。 欠陥管理プロセス.

並行性テストの例

在庫が最後の1個しかないオンラインストアを考えてみましょう。2人の買い物客が同時に商品ページを開き、両方ともボタンを押します。 購入.

  • シナリオ: 2つのセッションが在庫数を1と読み取り、両方とも在庫状況チェックを通過し、両方とも在庫数を0と書き込みます。
  • 期待される結果: 1件の注文は確定し、もう1件は在庫切れのメッセージを受け取ります。在庫数がマイナスになることはありません。
  • 欠陥表示: どちらの注文も確定するか、在庫が-1になるかのどちらかであり、これは在庫確認と減少が1つのアトミックなステップとして実行されていないことを示しています。
  • 試してみる価値のあるバリエーション: 同じ2つのセッションで1つのプロファイルレコードを編集し、同じリクエストを2回承認し、ユーザーが保存している間にバッチジョブでテーブルを更新する。

同じパターンが一般化されます。1 つのリソース、2 人のライター、順序の保証なしを見つけます。 システムテスト負荷がかかる前に診断を行うことで、診断結果をクリーンに保つことができます。

並行性テストの利点

  • これは、同時実行される相互作用の範囲を、広く使用され、十分にテストされた少数のコンポーネントに限定することで、アプリケーションのテストに必要な労力を相対的に削減します。
  • カプセル化によって、プログラム全体のコードベースをレビューすることなく、プログラムの一部動作を分析することが可能になる。
  • これは、並行プログラムの信頼性と堅牢性を向上させるのに役立ちます。
  • これにより、ロックやブロッキングの限界が早期に明らかになるため、容量に関する決定は推定値ではなく、測定された競合状況に基づいて行われる。

並行性テストの欠点

以下に挙げる欠点は、テスターが並行性テストを実施する際に一般的に遭遇するものです。

  • アプリケーションは複数のプラットフォームでテストする必要があります。
  • 並行処理シナリオは、逐次処理シナリオよりも集中的なテストを必要とする。
  • 関数は呼び出し元に結果を即座に返しません。代わりに、通知、ブロック、コールバック関数、または同様のメカニズムを通じて後から結果が渡される場合があり、そのためテストがより困難になります。
  • 情報やプログラム フローはコール スタックには反映されません。
  • 並行システムでは、プロセスが実行中に互いに相互作用するため、システム内の実行パスの数は非常に多くなる可能性があります。
  • 並行プログラムは、逐次プログラムよりも失敗率が高い。
  • 並行プログラムのデバッグは難しい。なぜなら、デバッガーを接続すると、障害の原因となったタイミングが変化してしまうからだ。

よくあるご質問

いいえ。 負荷テスト 想定される処理量における動作を時間経過とともに測定します。同時実行性テストは同一時点を対象とするため、2人のユーザーが同じ共有レコードにアクセスした場合、わずか2人のユーザーでも不具合が発生する可能性があります。

マルチスレッドの半分 スレッドテスト スレッドテストは、あるビジネスパスが統合後も存続するかどうかを検証し、並行性テストは、そのパスが既に機能している場合に同時アクセスがどのような影響を与えるかを検証します。

数値は概算値ではなく、観測されたピーク使用量から導き出してください。まず2セッションでロジックがアトミックであることを証明し、その後、測定されたピーク値とその少し上の値まで徐々に増やしてください。

機械学習モデルは、過去の欠陥履歴と共有状態の複雑さに基づいてモジュールをランク付けし、重複によって最も障害が発生しやすいフローをテスターに​​示します。その後、繰り返し実行におけるログクラスタリングによって、各障害に先行するインターリーブを特定します。

GitHubコパイロット 仮想ユーザースクリプト、バリア、アサーションヘルパーを迅速に作成します。生成されたテストでは実際の重複が発生することはほとんどないため、どのリソースが共有されるか、正しい最終状態は何かは、引き続きテスターが定義します。

分離レベル、ロックタイムアウト、接続プールサイズ、インデックス作成方法などによって、競合の発生状況は変化します。これらの要素は実行ごとに記録してください。なぜなら、ある分離レベルで得られた結果は、別の分離レベルでの結果とは全く異なるからです。

クリーンなデータ状態から同一のシナリオを何度も繰り返し、タイムスタンプ付きのログを保持し、競合する2つのアクションの間隔を狭めてください。デバッガーを接続すると、タイミングが変わって障害が隠蔽されることがよくあります。

ボリューム依存型の競合対策としては、はい。テーブルサイズを小さくすることで、データベースはすべてのデータをメモリに保持し、短時間だけロックできるため、本番環境で発生するブロッキングは目に見えません。行数とインデックスサイズは、環境が許す限り一致させてください。