Métricas de teste de software: o que é, tipos e exemplo
Equipe editorial
⚡ Resumo Inteligente
As métricas de teste de software são medidas quantitativas do progresso, da qualidade e da produtividade de um processo de teste. Este guia aborda os três tipos de métricas, a distinção entre métricas básicas e calculadas, o ciclo de vida das métricas e um glossário de fórmulas que você pode aplicar diretamente.
O que são métricas de teste de software?
Métricas de teste de software são as medidas quantitativas usadas para estimar o progresso, qualidade, produtividade e saúde do processo de teste de software. O objetivo das métricas de teste de software é melhorar a eficiência e eficácia no processo de teste de software e ajudar a tomar melhores decisões para processos de teste adicionais, fornecendo dados confiáveis sobre o processo de teste.
Uma métrica expressa, em termos quantitativos, o grau em que um sistema, um componente ou um processo possui um determinado atributo. Uma analogia simples é comparar o consumo real de combustível semanal de um carro com o valor divulgado pelo fabricante.
Métricas de teste de software – Melhora a eficiência e eficácia de um processo de teste de software.
Métricas de teste de software ou medição de teste de software são a indicação quantitativa de extensão, capacidade, dimensão, quantidade ou tamanho de algum atributo de um processo ou produto.
Exemplo de medição de teste de software: Número total de defeitos
Por que as métricas de teste são importantes?
“Não podemos melhorar o que não podemos medir.” As métricas de teste existem para tornar o processo de teste mensurável.
- Decida qual deve ser a próxima fase de atividades.
- Apresente evidências para uma afirmação ou previsão sobre a qualidade.
- Identifique qual tipo de melhoria é necessária.
- Justificar uma mudança de processo ou de tecnologia
Leia mais sobre seu Importância das métricas de teste
Tipos de métricas de teste
- Métricas de Processo: Pode ser usado para melhorar a eficiência do processo do SDLC (Ciclo de Vida de Desenvolvimento de Software)
- Métricas do produto: Trata da qualidade do produto de software
-
Métricas do Projeto: Pode ser usado para medir a eficiência de uma equipe de projeto ou de qualquer ferramentas de teste sendo usado pelos membros da equipe
Escolher as métricas certas é mais importante do que coletar muitas delas. Considere o seguinte antes de definir um conjunto:
- Fixe o público-alvo para a preparação da métrica
- Defina o objetivo das métricas
- Apresente todas as métricas relevantes com base nas necessidades do projeto
- Pondere o custo-benefício de cada métrica e a fase do ciclo de vida do projeto em que ela agrega mais valor.
Métricas de teste manual
In Engenharia de Software, As métricas de teste manual são classificadas em duas classes
- Métricas básicas
- Métricas Calculadas
Métricas base são os dados brutos coletados pelo Test Analyst durante o desenvolvimento e execução do caso de teste (Nº de casos de teste executados, Nº de casos de teste). Embora as métricas calculadas sejam derivadas dos dados coletados nas métricas básicas. As métricas calculadas geralmente são seguidas pelo gerente de teste para fins de relatório de teste (% Concluído, % Cobertura de teste).
Dependendo do projeto ou modelo de negócio, as métricas mais importantes geralmente são:
- Métricas de produtividade de execução de caso de teste
- Métricas de produtividade na preparação de casos de teste
- Métricas de defeito
- Defeitos por prioridade
- Defeitos por gravidade
- Taxa de deslizamento de defeito
Métricas de teste manual versus automatizado
As métricas descritas acima pressupõem uma suíte executada manualmente. Uma suíte automatizada é medida de forma diferente, pois o esforço de execução deixa de ser a limitação.
| Critérios | Métricas de Teste Manual | Métricas de Teste de Automação |
|---|---|---|
| Foco primário | Progresso do esforço e da execução | Cobertura, estabilidade e tempo de execução |
| Medida típica | Casos de teste executados por dia | Percentual de cobertura da automação |
| Sinal de qualidade | Defeitos encontrados por hora de teste | Taxa de testes inconsistentes, a proporção de testes instáveis |
| Medida de custo | Horas de teste | Horas de manutenção de scripts por versão |
| medida de velocidade | Duração do ciclo em dias | Tempo de execução do pacote em minutos |
Automation Coverage = (Test cases automated / Total test cases) x 100 Flaky Test Rate = (Tests with inconsistent results / Total automated tests) x 100
A taxa de testes inconsistentes merece atenção especial. Quando ultrapassa aproximadamente 5%, as equipes começam a ignorar as versões com falha (vermelhas), e nesse ponto o conjunto de testes para de fornecer informações, independentemente da sua cobertura.
Ciclo de vida de métricas de teste em engenharia de software
| Diferentes estágios do ciclo de vida das métricas | Etapas durante cada etapa |
|---|---|
| Análise |
|
| Comunicar |
|
| Avaliação |
|
| Relatório |
|
Como calcular uma métrica de teste
| Sr# | Etapas para testar métricas | Exemplo |
|---|---|---|
| 1 | Identifique a chave teste de software processos a serem medidos | Progresso dos testes tracprocesso rei |
| 2 | Nesta etapa, o testador usa os dados como linha de base para definir as métricas | O número de casos de teste planejados para serem executados por dia |
| 3 | Determinação das informações a serem acompanhadas, uma frequência de tracrei e a pessoa responsável | A execução real do teste por dia será capturada pelo gerente de teste no final do dia |
| 4 | Cálculo, gerenciamento e interpretação eficazes das métricas definidas | Os casos de teste reais executados por dia |
| 5 | Identifique as áreas de melhoria dependendo da interpretação das métricas definidas | If caso de teste Caso a execução fique aquém da meta acordada, investigue a causa e proponha medidas corretivas. |
Exemplo de cálculo de métrica de teste
Considere a porcentagem de casos de teste executados como um exemplo prático. Para expressar o status de execução em porcentagem, utilize a fórmula:
Percentage test cases executed= (No of test cases executed/ Total no of test cases written) X 100
Se 250 casos de teste foram escritos e 175 foram executados, o resultado é (175 / 250) x 100 = 70%.
O mesmo padrão se aplica a todos os outros parâmetros de execução: casos de teste não executados, aprovados, reprovados e bloqueados. Cada um é simplesmente um numerador diferente sobre o mesmo denominador.
Métricas de teste mais importantes para Track
O glossário no final deste tutorial lista todas as fórmulas de uso comum. Na prática, um pacote de relatórios raramente precisa de mais de oito. Estas são as fórmulas que consistentemente orientam a tomada de decisão.
| métrico | O que isso responde | Tem cuidado com |
|---|---|---|
| Percentual de execução do caso de teste | Em que ponto do percurso planejado nos encontramos? | Não diz nada sobre qualidade, apenas sobre progresso. |
| Densidade de defeitos | Defeitos por unidade de tamanho, então qual módulo é o mais frágil? | Depende de uma medida de tamanho consistente. |
| eficiência na remoção de defeitos | Que percentagem de defeitos detectámos antes do lançamento? | Só poderá ser finalizado após a chegada dos dados de produção. |
| Vazamento de defeito | Quantos defeitos chegaram ao cliente? | O sinal de qualidade mais importante |
| Cobertura de teste | Que percentagem dos requisitos definidos é exercida? | Alta cobertura com afirmações fracas não prova nada. |
| Índice de gravidade do defeito | Os defeitos visíveis são graves ou apenas estéticos? | Contar defeitos sem ponderação leva a erros. |
| Tempo médio para reparo | Com que rapidez a equipe consegue resolver o problema? | Distorcido por alguns defeitos persistentes. |
| Produtividade na execução de testes | Quantos casos um testador completa por dia? | Incentiva testes superficiais se usado como alvo. |
Duas fórmulas que valem a pena adicionar ao glossário porque são as que a gerência solicita:
Defect Removal Efficiency = (Defects found before release / Total defects found) x 100
Defect Leakage = (Defects found in production / Defects found before release) x 100
A armadilha da medição. Qualquer métrica usada como meta deixa de ser uma boa medida. Defina uma meta de produtividade de 30 casos de teste por dia e os testadores escreverão 30 casos triviais. Apresente as métricas em conjunto, nunca isoladamente, e associe cada indicador de produtividade a um indicador de qualidade.
Glossário de fórmulas de métricas de teste de software
- Taxa de esforço de retrabalho = (Esforços reais de retrabalho gastos nessa fase/esforços reais totais gastos nessa fase) X 100
- Aumento de requisitos = (Número total de requisitos adicionados/Nº de requisitos iniciais)X100
- Variação de cronograma = (Data Real de Entrega – Data Planejada de Entrega)
- Custo de encontrar um defeito no teste = (Esforço total gasto em testes/defeitos encontrados nos testes)
- Desvio de cronograma = (Data de término real – Data de término estimada) / (Data de término planejada – Data de início planejada) X 100
- Porcentagem de casos de teste aprovados = (Número de testes aprovados/Número total de testes executados) X 100
- Porcentagem de casos de teste com falha = (Número de testes com falha/Número total de testes executados) X 100
- Porcentagem de casos de teste bloqueados = (Número de testes bloqueados/Número total de testes executados) X 100
- Porcentagem de defeitos fixos = (Defeitos corrigidos/Defeitos relatados) X 100
- Porcentagem de defeitos aceitos = (Defeitos aceitos como válidos pela equipe de desenvolvimento/Total de defeitos relatados) X 100
- Porcentagem de defeitos diferidos = (Defeitos adiados para versões futuras /Total de defeitos relatados) X 100
- Porcentagem de defeitos críticos = (Defeitos Críticos / Total de Defeitos Reportados) X 100
- Tempo médio para uma equipe de desenvolvimento reparar defeitos = (Tempo total necessário para correções de bugs/Número de bugs)
- Número de testes executados por período = Número de testes executados/Tempo total
- Eficiência do projeto de teste = Número de testes elaborados /Tempo total
- Eficiência de revisão de teste = Número de testes revisados/Tempo total
- Taxa de detecção de bugsou defeitos por hora de teste = Número total de defeitos / Número total de horas de teste
