什么是数据驱动测试？
托马斯·汉密尔顿
数据驱动测试
数据驱动测试 是一种软件测试方法，其中测试数据以表格或电子表格格式存储。数据驱动测试允许测试人员输入单个测试脚本，该脚本可以对来自表的所有测试数据执行测试，并期望测试输出在同一表中。它也被称为表驱动测试或参数化测试。
数据驱动框架
数据驱动框架 是一个自动化测试框架，它从数据文件中读取输入值并将其存储到测试脚本的变量中。它允许测试人员在单个测试中构建正向和反向测试用例。数据驱动框架中的输入数据可以存储在单个或多个数据源中，例如 .xls、.xml、.csv 文件和数据库。下图展示了输入值如何从数据文件流入测试脚本。
为什么要进行数据驱动测试？
数据驱动测试 这一点很重要，因为测试人员经常需要为单个测试创建多个数据集，而为每个数据集创建单独的测试用例会非常耗时。数据驱动测试有助于将数据与测试脚本分离，相同的测试脚本可以针对不同的输入测试数据组合执行，同时高效地生成测试结果。
计费示例：
假设我们要用 1000 个不同的数据集来测试具有多个输入字段的登录系统。
为了验证这一点，您可以采用以下不同的方法：
方法 1） 创建 1000 个脚本，每个数据集一个脚本，然后逐个运行每个测试。
方法 2） 手动更改测试脚本中的值并运行几次。
方法 3） 从Excel表格导入数据。逐行从Excel表格中提取测试数据并执行脚本。
在给出的三种方案中，前两种方案都比较费力费时。因此，第三种方案更为理想。
因此，第三种方法只不过是一个数据驱动框架。
数据驱动测试中的测试数据类型
数据驱动测试的价值直接取决于您输入到测试脚本中的数据集的质量。一个设计良好的数据文件会将多种类型的测试数据混合在一起，以便一个脚本能够在一次运行中验证正常行为、错误处理和功能限制：
- 正面（有效）数据： 正确的输入，例如有效的用户名和密码，用于确认应用程序接受它应该接受的内容。
- 负面（无效）数据： 错误或格式错误的输入将被拒绝，例如错误的密码或数字字段中包含特殊字符。
- 边界数据： 接近允许范围边缘的值，例如 1 个字符或 255 个字符的用户名，经常会暴露出隐藏的缺陷。
- 空白或空数据： 用于验证必填字段并显示错误消息的空字段。
- 大量数据： 使用批量或随机生成的记录来检查实际负载下的性能和稳定性。
准备好正确的数据后，下一步就是构建框架本身。
如何创建数据驱动的自动化框架
假设您要测试应用程序的登录功能。上面的流程图展示了完整的测试流程：确定测试用例、编写通用测试脚本、将数据移动到外部文件，并循环执行脚本以处理每一行数据。
步骤1） 确定测试用例
- 输入正确的用户名和密码 – 登录成功
- 输入错误的用户名和正确的密码 – 登录失败
- 输入正确的用户名和错误的密码 – 登录失败
步骤2） 为上述 3 个测试用例创建详细的测试步骤
| 测试用例＃ | 描述 | 测试步骤 | 测试数据 | 预期成绩 |
|---|---|---|---|---|
| 1 | 检查登录凭证是否有效 |
|
用户名：有效 密码：有效 | 登录成功 |
| 2 | 检查登录凭据是否无效 |
|
用户名： 无效 密码： 有效 | 登录失败 |
| 3 | 检查登录凭据是否无效 |
|
用户名：有效密码：无效 | 登录失败 |
步骤3） 创建测试脚本
仔细观察，你会发现所有三个测试用例的测试步骤都相同。你需要创建一个测试脚本来执行这些步骤：
// This is Pseudo Code
// Test Step 1: Launch Application
driver.get("URL of the Application");
// Test Step 2: Enter Username
txtbox_username.sendKeys("valid");
// Test Step 3: Enter Password
txtbox_password.sendKeys("invalid");
// Test Step 4: Check Results
If (Next Screen) print success else Fail
步骤4） 按照下方示例表格所示，创建包含输入测试数据的 Excel/CSV 文件。
步骤5） 修改脚本，使其循环遍历输入的测试数据。输入命令也应参数化。
// This is Pseudo Code
// Loop 3 Times
for (i = 0; i & lt; = 3; i++) {
// Read data from Excel and store into variables
int input_1 = ReadExcel(i, 0);
int input_2 = ReadExcel(i, 1);
// Test Step 1: Launch Application
driver.get("URL of the Application");
// Test Step 2: Enter Username
txtbox_username.sendKeys(input_1);
// Test Step 3: Enter Password
txtbox_password.sendKeys(input_2);
// Test Step 4: Check Results
If(Next Screen) print success
else Fail
}
以上只是 3 个测试用例。只需将测试数据值附加到以下位置，即可使用测试脚本循环执行以下测试用例 Excel
- 输入错误的用户名和密码 – 登录失败
- 输入正确的用户名和密码空白 – 登录失败
- 输入空白用户名和空白密码–登录失败
等
💡专业提示： 将每一行的预期结果存储在与输入数据相同的数据文件中。这样，您的脚本就可以自动比较实际结果和预期结果，从而将数据文件转换为一个完整的、可自验证的测试套件。
框架搭建完成后，合适的工具可以简化数据管理、执行和报告。
最佳数据驱动测试工具
1) 测试sigma
测试sigma 是一个基于云的数据驱动测试平台，我发现它通过将测试逻辑与测试数据解耦，极大地提高了测试覆盖率，对我来说非常宝贵。它专为需要针对各种数据集、极端情况和业务场景验证应用程序的团队而设计，无需创建冗余的测试脚本，从而简化了整个数据驱动测试工作流程。
在我的数据驱动测试项目中，我利用 Testsigma 的参数化功能，针对来自 Excel 和 CSV 文件等外部数据源的多种数据组合执行相同的测试场景。该平台能够自动遍历数据行，显著扩展了我的测试覆盖范围；而精细的数据级结果报告则帮助我快速识别哪些特定的输入组合导致了 Web、移动和 API 层面的故障。
特色：
- 外部数据源集成： 此功能支持直接连接到 Excel 电子表格、CSV 文件和数据库表，实现集中式测试数据管理。它消除了硬编码值，并允许您独立于测试逻辑维护测试数据。您无需修改测试脚本即可更新数据集，从而确保灵活性和可维护性。我使用此功能高效地管理数百种数据变体，同时保持……ping 测试场景清晰且可复用。
- 自动多行数据迭代： Testsigma 能够在一次测试运行中自动执行跨多行数据的测试场景，从而显著扩展测试覆盖范围。您可以验证大量的输入组合、边界条件和业务规则变体，而无需重复编写测试用例。此功能能够透明地处理数据排序和迭代逻辑。我发现它在进行全面的回归测试时尤为有效，且脚本维护成本极低。
- 动态测试步骤参数化： 它允许您用动态参数替换静态值，这些动态参数会在执行过程中从外部数据源提取数据。您可以配置测试步骤，使其能够根据数据集的值适应不同的输入、条件和预期结果。此功能支持复杂的数据转换和条件逻辑。我依靠它来构建灵活的测试场景，以满足各种业务需求和用户工作流程。
- 数据级执行报告： 该平台生成详细的报告，按各个数据组合细分测试结果，准确显示哪些输入通过或失败。您可以分析模式、识别问题数据范围，以及 trac针对特定数据集行的故障。此功能提供可视化仪表板和可导出的分析结果，方便与利益相关者沟通。我建议利用这些洞察结果来优先改进数据质量并优化测试数据策略。
- 跨平台数据驱动支持： Testsigma 将数据驱动功能扩展到 Web、移动和 API 测试领域，并整合到统一的工作流程中。您可以应用相同的数据集来验证不同应用层和技术之间的一致性。此功能通过参数化的数据流确保了全面的端到端验证。我曾使用它来验证后端数据处理是否能同时在多个平台上正确反映到前端界面中。
优点
缺点
定价：
- 价格： 包含数据驱动测试功能的定制化定价方案，是综合订阅计划的一部分。
- 免费试用： 14天免费试用
14天免费试用
2) Testiny
Testiny 是一个现代化的基于云的测试用例管理平台，我用它来高效地组织数据驱动的测试用例，同时保持……ping 它清晰地分离了测试逻辑和参数化数据集。它专为需要在多次测试运行中管理各种数据组合而不丢失数据的团队而设计。 trac能力。
在运行数据驱动型项目时 Testiny我非常欣赏它的批量编辑和模板功能，这使得跨数百行数据扩展测试变体变得轻而易举。该平台与 Jira、GitHub 和 GitLab 集成，因此失败的数据组合会链接回相应的 issue。 trackers 自动执行。
特色：
- 批量编辑测试用例： Testiny 它允许您一次性编辑、复制和参数化多个测试用例，从而加快创建数据驱动型变体的速度。您可以在几秒钟内跨文件夹应用更改，而无需单独修改每个用例。当需要将测试覆盖范围扩展到新的数据集而无需重写脚本时，我经常使用此功能。
- 数据输入自定义字段： 它允许您为每个项目定义自定义字段，以便可以设置数据集属性。 trac每次测试运行后，您都可以记录输入值、预期结果和条件。您可以将这些字段清晰地记录在一个地方。我使用这些字段来简化复杂的参数化场景，以便日后进行审核。
- 实时测试运行 Tracking: 该平台可实时显示团队成员的执行状态，从而确保数据驱动的测试运行透明化。您可以分配测试用例、监控通过/失败百分比，并及时识别被阻塞的数据组合。我发现这对于保持……非常有用。ping 质量保证负责人无需定期召开进度会议即可获得信息。
- PDF和可共享报告： Testiny 生成包含图表和执行摘要的简洁 PDF 报告，方便与非技术利益相关者分享。您可以按数据集、里程碑或版本进行筛选。我会在每个迭代周期结束时发送这些报告，以传达质量状况。
- 原生问题 Tracker 集成： 它可以连接到 Jira、GitHub 和 GitLab。 Azure DevOps、线性、 Asana使用 Confluence、Trello 和 monday.com 等工具，可以将失败的数据行快速转化为工单。这样可以确保测试执行和工程工作流程保持一致。我注意到，这显著减少了 QA 团队和开发团队之间的交接摩擦。
优点
缺点
定价：
- 价格： 免费方案最多支持 3 位用户；付费方案按席位数量增加，并提供高级支持。
- 免费试用： 21天免费试用
21天免费试用
3) Testpad
Testpad 是一款轻量级的、基于清单的测试管理工具，当需要快速捕获数据驱动场景而无需繁琐流程时，我经常使用它。它围绕层级清单构建，因此测试人员可以将数据变体分组到父用例下并快速执行。
在我与……的数据驱动会议期间 Testpad我利用其键盘优先的界面，一次性创建了数十种输入组合。访客测试支持功能让我可以邀请领域专家来验证特殊情况下的数据组合，而无需支付额外的席位费用。
特色：
- 分层测试清单： Testpad 它将参数化测试组织成嵌套清单，以便您可以将相关的数据变化归入同一个父案例下。您可以展开和折叠分支，以便专注于特定的数据集。我用它来保持复杂数据矩阵的视觉整洁。
- 键盘驱动编辑： 它支持使用键盘快捷键创建、缩进和重新排序测试项，从而快速构建大型数据驱动型计划。您可以保持流畅的操作流程，无需使用鼠标。我发现这显著缩短了捕获新数据集行所需的时间。
- 访客测试权限： Testpad 支持无限数量的访客测试人员，无需按席位付费，因此您可以邀请领域专家来测试特定的数据组合。您可以邀请利益相关者验证极端情况，而无需额外支付许可费用。我在用户验收测试中使用参数化场景时会依赖此功能。
- 即时可分享报告： 该平台生成轻量级报告，您可以通过链接分享，无需打开工具即可查看进度。您可以按测试人员、状态或测试分支进行筛选。每次数据驱动测试结束后，我都会将这些报告发送给产品经理。
- 问题 Tracker 链接： 它通过简单的链接将失败的测试与 Jira 或 GitHub 问题单关联起来，以便快速将数据行错误路由到工程团队。您可以直接从失败的检查清单项附加上下文。这样，测试人员就能专注于执行，而路由则由工具来处理。
优点
缺点
定价：
- 价格： 套餐起价为每月 59 美元，另有面向大型团队的定制企业套餐可供选择。
- 免费试用： 30-Day免费试用版
30天免费试用
数据驱动测试的最佳实践
以下是数据驱动测试的最佳实践：
- 在数据驱动测试过程中使用现实信息是理想的
- 测试流程导航应在测试脚本中编码
- 利用有意义的数据驱动虚拟 API
- 使用数据驱动动态断言
- 测试正面和负面结果
- 重新利用数据驱动的功能测试来提高安全性和性能
数据驱动测试的优势
数据驱动测试具有诸多优势，其中包括：
- 允许在测试期间使用多组数据值测试应用程序。 回归测试
- 测试数据和验证数据可以组织在一个文件中，并且与测试用例逻辑分开。
- 借助该工具，可以将测试脚本放在一个单独的代码仓库中。这使得测试更容易理解、维护和管理。
- 动作和函数可以在不同的测试中重复使用。
- 有些工具可以自动生成测试数据。当需要大量随机测试数据时，这非常有用，有助于节省时间。
- 数据驱动测试可以在开发的任何阶段进行。数据驱动测试用例通常会合并到一个流程中，但也可以用于多个测试用例。
- 允许开发人员和测试人员明确区分测试用例/脚本的逻辑和测试数据。
- 相同的测试用例可以执行多次，这有助于减少测试用例和脚本的数量。
- 测试脚本的任何更改都不会影响测试数据。
数据驱动测试的缺点
数据驱动自动化测试方法的一些缺点是：
- 测试质量取决于实施团队的自动化技能。
- 当测试大量数据时，数据验证是一项耗时的任务。
- 维护是一个大问题，因为数据驱动测试需要大量的编码工作。
- 需要高水平的技术技能。测试人员可能必须学习一门全新的脚本语言。
- 将会有更多文档，主要涉及脚本管理、测试基础设施和测试结果。
- 需要像记事本这样的文本编辑器来创建和维护数据文件。
数据驱动测试与关键词驱动测试
初学者常常将数据驱动测试与关键字驱动测试混淆，因为两者都将测试设计与测试脚本分开。区别在于外部化的内容：数据驱动测试外部化的是输入值，而关键字驱动测试外部化的是操作本身，即可重用的关键字。下表比较了这两种方法：
| 参数 | 数据驱动测试 | 关键字驱动测试 |
|---|---|---|
| 外在化 | 测试数据（输入和预期结果） | 测试操作（例如登录、点击、验证等关键词） |
| 数据源 | Excel、CSV、XML 或数据库表 | 关键字表以及可选数据表 |
| 所需技能 | 具备一定的脚本编写知识 | 前期设计工作量较大；创建新测试所需的编码量较少 |
| 最适合 | 重复一个场景，使用多种输入组合 | 利用可重用的动作块构建多种场景 |
| 维护 | 无需修改脚本即可更新数据文件 | 当应用程序行为发生变化时，更新关键字库。 |
许多团队将这两种方法结合起来，形成一个混合框架，其中关键字定义可重用的操作，外部数据文件为每次测试运行提供值。
