Métricas de teste de software: o que é, tipos e exemplo

⚡ Resumo Inteligente

As métricas de teste de software são medidas quantitativas do progresso, da qualidade e da produtividade de um processo de teste. Este guia aborda os três tipos de métricas, a distinção entre métricas básicas e calculadas, o ciclo de vida das métricas e um glossário de fórmulas que você pode aplicar diretamente.

  • 📐 Objetivo principal: As métricas transformam opiniões sobre a qualidade dos testes em números que apoiam uma decisão.
  • 🧱 Três tipos: As métricas de processo melhoram o ciclo de vida, as métricas de produto medem a qualidade do software e as métricas de projeto medem a eficiência da equipe.
  • 🔢 Base vs. Calculado: As métricas básicas são contagens brutas coletadas pelo analista; as métricas calculadas são as porcentagens derivadas delas.
  • 🔄 Quatro estágios do ciclo de vida: Análise, comunicação, avaliação e elaboração de relatórios, cada uma com suas próprias etapas definidas.
  • 🧮 Fórmula aplicada: A porcentagem de testes executados é igual ao número de testes executados dividido pelo número de testes escritos, multiplicado por 100.
  • ⚠️ Regra de seleção: Defina o público-alvo e o objetivo antes de escolher uma métrica; caso contrário, você coletará dados que ninguém utilizará.

Métricas de teste de software

O que são métricas de teste de software?

Métricas de teste de software são as medidas quantitativas usadas para estimar o progresso, qualidade, produtividade e saúde do processo de teste de software. O objetivo das métricas de teste de software é melhorar a eficiência e eficácia no processo de teste de software e ajudar a tomar melhores decisões para processos de teste adicionais, fornecendo dados confiáveis ​​sobre o processo de teste.

Uma métrica expressa, em termos quantitativos, o grau em que um sistema, um componente ou um processo possui um determinado atributo. Uma analogia simples é comparar o consumo real de combustível semanal de um carro com o valor divulgado pelo fabricante.

Testando Métricas em Teste de Software

Métricas de teste de software – Melhora a eficiência e eficácia de um processo de teste de software.

Métricas de teste de software ou medição de teste de software são a indicação quantitativa de extensão, capacidade, dimensão, quantidade ou tamanho de algum atributo de um processo ou produto.

Exemplo de medição de teste de software: Número total de defeitos

Por que as métricas de teste são importantes?

“Não podemos melhorar o que não podemos medir.” As métricas de teste existem para tornar o processo de teste mensurável.

  • Decida qual deve ser a próxima fase de atividades.
  • Apresente evidências para uma afirmação ou previsão sobre a qualidade.
  • Identifique qual tipo de melhoria é necessária.
  • Justificar uma mudança de processo ou de tecnologia

Leia mais sobre seu Importância das métricas de teste

Tipos de métricas de teste

Tipos de métricas de teste

  • Métricas de Processo: Pode ser usado para melhorar a eficiência do processo do SDLC (Ciclo de Vida de Desenvolvimento de Software)
  • Métricas do produto: Trata da qualidade do produto de software
  • Métricas do Projeto: Pode ser usado para medir a eficiência de uma equipe de projeto ou de qualquer ferramentas de teste sendo usado pelos membros da equipe

Escolher as métricas certas é mais importante do que coletar muitas delas. Considere o seguinte antes de definir um conjunto:

  • Fixe o público-alvo para a preparação da métrica
  • Defina o objetivo das métricas
  • Apresente todas as métricas relevantes com base nas necessidades do projeto
  • Pondere o custo-benefício de cada métrica e a fase do ciclo de vida do projeto em que ela agrega mais valor.

Métricas de teste manual

In Engenharia de Software, As métricas de teste manual são classificadas em duas classes

  • Métricas básicas
  • Métricas Calculadas

Métricas de teste manual

Métricas base são os dados brutos coletados pelo Test Analyst durante o desenvolvimento e execução do caso de teste (Nº de casos de teste executados, Nº de casos de teste). Embora as métricas calculadas sejam derivadas dos dados coletados nas métricas básicas. As métricas calculadas geralmente são seguidas pelo gerente de teste para fins de relatório de teste (% Concluído, % Cobertura de teste).

Dependendo do projeto ou modelo de negócio, as métricas mais importantes geralmente são:

  • Métricas de produtividade de execução de caso de teste
  • Métricas de produtividade na preparação de casos de teste
  • Métricas de defeito
  • Defeitos por prioridade
  • Defeitos por gravidade
  • Taxa de deslizamento de defeito

Métricas de teste manual versus automatizado

As métricas descritas acima pressupõem uma suíte executada manualmente. Uma suíte automatizada é medida de forma diferente, pois o esforço de execução deixa de ser a limitação.

Critérios Métricas de Teste Manual Métricas de Teste de Automação
Foco primário Progresso do esforço e da execução Cobertura, estabilidade e tempo de execução
Medida típica Casos de teste executados por dia Percentual de cobertura da automação
Sinal de qualidade Defeitos encontrados por hora de teste Taxa de testes inconsistentes, a proporção de testes instáveis
Medida de custo Horas de teste Horas de manutenção de scripts por versão
medida de velocidade Duração do ciclo em dias Tempo de execução do pacote em minutos
Automation Coverage = (Test cases automated / Total test cases) x 100

Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100

A taxa de testes inconsistentes merece atenção especial. Quando ultrapassa aproximadamente 5%, as equipes começam a ignorar as versões com falha (vermelhas), e nesse ponto o conjunto de testes para de fornecer informações, independentemente da sua cobertura.

Ciclo de vida de métricas de teste em engenharia de software

Ciclo de vida de métricas de teste em engenharia de software

Diferentes estágios do ciclo de vida das métricas Etapas durante cada etapa
Análise
  1. Identificação das Métricas
  2. Defina as métricas de controle de qualidade identificadas
Comunicar
  1. Explique a necessidade de métricas para as partes interessadas e a equipe de testes
  2. Explique à equipe de testes quais pontos de dados devem ser coletados para calcular a métrica.
Avaliação
  1. Capture e verifique os dados
  2. Calculando o valor das métricas usando os dados capturados
Relatório
  1. Desenvolva o relatório com uma conclusão eficaz
  2. Distribuir o relatório às partes interessadas e respetivo representante
  3. Receba feedback das partes interessadas

Como calcular uma métrica de teste

Sr# Etapas para testar métricas Exemplo
1 Identifique a chave teste de software processos a serem medidos Progresso dos testes tracprocesso rei
2 Nesta etapa, o testador usa os dados como linha de base para definir as métricas O número de casos de teste planejados para serem executados por dia
3 Determinação das informações a serem acompanhadas, uma frequência de tracrei e a pessoa responsável A execução real do teste por dia será capturada pelo gerente de teste no final do dia
4 Cálculo, gerenciamento e interpretação eficazes das métricas definidas Os casos de teste reais executados por dia
5 Identifique as áreas de melhoria dependendo da interpretação das métricas definidas If caso de teste Caso a execução fique aquém da meta acordada, investigue a causa e proponha medidas corretivas.

Exemplo de cálculo de métrica de teste

Considere a porcentagem de casos de teste executados como um exemplo prático. Para expressar o status de execução em porcentagem, utilize a fórmula:

Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100

Se 250 casos de teste foram escritos e 175 foram executados, o resultado é (175 / 250) x 100 = 70%.

O mesmo padrão se aplica a todos os outros parâmetros de execução: casos de teste não executados, aprovados, reprovados e bloqueados. Cada um é simplesmente um numerador diferente sobre o mesmo denominador.

Métricas de teste mais importantes para Track

O glossário no final deste tutorial lista todas as fórmulas de uso comum. Na prática, um pacote de relatórios raramente precisa de mais de oito. Estas são as fórmulas que consistentemente orientam a tomada de decisão.

métrico O que isso responde Tem cuidado com
Percentual de execução do caso de teste Em que ponto do percurso planejado nos encontramos? Não diz nada sobre qualidade, apenas sobre progresso.
Densidade de defeitos Defeitos por unidade de tamanho, então qual módulo é o mais frágil? Depende de uma medida de tamanho consistente.
eficiência na remoção de defeitos Que percentagem de defeitos detectámos antes do lançamento? Só poderá ser finalizado após a chegada dos dados de produção.
Vazamento de defeito Quantos defeitos chegaram ao cliente? O sinal de qualidade mais importante
Cobertura de teste Que percentagem dos requisitos definidos é exercida? Alta cobertura com afirmações fracas não prova nada.
Índice de gravidade do defeito Os defeitos visíveis são graves ou apenas estéticos? Contar defeitos sem ponderação leva a erros.
Tempo médio para reparo Com que rapidez a equipe consegue resolver o problema? Distorcido por alguns defeitos persistentes.
Produtividade na execução de testes Quantos casos um testador completa por dia? Incentiva testes superficiais se usado como alvo.

Duas fórmulas que valem a pena adicionar ao glossário porque são as que a gerência solicita:

Defect Removal Efficiency = (Defects found before release / Total defects found) x 100

Defect Leakage = (Defects found in production / Defects found before release) x 100

A armadilha da medição. Qualquer métrica usada como meta deixa de ser uma boa medida. Defina uma meta de produtividade de 30 casos de teste por dia e os testadores escreverão 30 casos triviais. Apresente as métricas em conjunto, nunca isoladamente, e associe cada indicador de produtividade a um indicador de qualidade.

Glossário de fórmulas de métricas de teste de software

  • Taxa de esforço de retrabalho = (Esforços reais de retrabalho gastos nessa fase/esforços reais totais gastos nessa fase) X 100
  • Aumento de requisitos = (Número total de requisitos adicionados/Nº de requisitos iniciais)X100
  • Variação de cronograma = (Data Real de Entrega – Data Planejada de Entrega)
  • Custo de encontrar um defeito no teste = (Esforço total gasto em testes/defeitos encontrados nos testes)
  • Desvio de cronograma = (Data de término real – Data de término estimada) / (Data de término planejada – Data de início planejada) X 100
  • Porcentagem de casos de teste aprovados = (Número de testes aprovados/Número total de testes executados) X 100
  • Porcentagem de casos de teste com falha = (Número de testes com falha/Número total de testes executados) X 100
  • Porcentagem de casos de teste bloqueados = (Número de testes bloqueados/Número total de testes executados) X 100
  • Porcentagem de defeitos fixos = (Defeitos corrigidos/Defeitos relatados) X 100
  • Porcentagem de defeitos aceitos = (Defeitos aceitos como válidos pela equipe de desenvolvimento/Total de defeitos relatados) X 100
  • Porcentagem de defeitos diferidos = (Defeitos adiados para versões futuras /Total de defeitos relatados) X 100
  • Porcentagem de defeitos críticos = (Defeitos Críticos / Total de Defeitos Reportados) X 100
  • Tempo médio para uma equipe de desenvolvimento reparar defeitos = (Tempo total necessário para correções de bugs/Número de bugs)
  • Número de testes executados por período = Número de testes executados/Tempo total
  • Eficiência do projeto de teste = Número de testes elaborados /Tempo total
  • Eficiência de revisão de teste = Número de testes revisados/Tempo total
  • Taxa de detecção de bugsou defeitos por hora de teste = Número total de defeitos / Número total de horas de teste

Perguntas Frequentes

As métricas básicas são contagens brutas coletadas durante a execução, como o número de casos de teste escritos ou executados. As métricas calculadas são derivadas delas, geralmente em porcentagem, e são o que aparece nos relatórios de gestão.

Entre cinco e oito para relatórios regulares. Além disso, o esforço se concentra na coleta em vez da ação. Cada métrica no relatório deve estar vinculada a uma decisão que alguém realmente toma.

Porque o comportamento se adapta à métrica. Uma meta de casos de teste executados por dia resulta em casos de teste superficiais. Sempre combine uma métrica de produtividade com uma métrica de qualidade, como a taxa de defeitos detectados.

Ferramentas baseadas em IA geram automaticamente pontuações de cobertura e risco, e preveem quais módulos são mais propensos a defeitos com base em dados históricos. Isso muda a forma como os relatórios são elaborados, passando de uma simples contagem de atividades passadas para uma previsão de onde os defeitos irão aparecer.

Sim. Os assistentes de IA podem calcular métricas a partir de dados brutos de testes, identificar tendências entre versões e redigir a narrativa de um relatório. Verifique cada número em relação aos dados originais antes de divulgá-lo.

Resuma esta postagem com: