Como selecionar a melhor ferramenta de teste de automação?

No artigo Melhoria do processo de testeVocê aprendeu os pontos de melhoria com o projeto. Guru99 Bank. Está usando automação. Testes em vez de Teste Manual. Mas os membros da equipe podem perguntar a você –

A resposta a esta pergunta é desafiadora porque há muitos fatores a serem considerados

• Você deseja apoiar suas atividades de teste por meio de uma ferramenta de software, mas não conhece as ferramentas disponíveis atualmente no mercado
• Que tipo de ferramenta se adapta melhor aos requisitos e ao orçamento do projeto?
• Quem na equipe tem as habilidades necessárias para usar a ferramenta depois de adquirida

A importância da seleção da ferramenta de teste de software

O sucesso em qualquer automação de teste depende da identificação da ferramenta certa para automação. Selecionar a ferramenta de teste “correta” para o seu projeto é uma das melhores maneiras de atingir o objetivo do projeto. O exemplo a seguir mostrará o benefício da seleção da ferramenta de teste

No projeto GuruPara economizar tempo e esforço nos testes, a equipe do projeto do 99 Bank decidiu usar uma ferramenta de teste automatizada para a execução dos testes. Após várias reuniões, a equipe selecionou uma ferramenta adequada para o projeto.

Um mês depois, você recebeu o relatório da equipe do projeto sobre esta ferramenta

Os resultados são ótimos. A nova ferramenta automatizada dobrou a produtividade dos testes. Isso significa que salvamos 50% custo de execução do teste. Se você estiver interessado em explorar mais opções para seus projetos, confira esta lista de ferramentas de teste automatizadas.

Este é um exemplo do benefício de usar uma ferramenta de teste em um projeto. Selecionar a ferramenta de teste correta ajuda a melhorar a produtividade do projeto e a economizar custos.

Tipo de ferramentas de teste

Existem muitos tipos de ferramentas de teste que um Gerente de Testes pode considerar ao selecionar as ferramentas de teste.

Ferramentas de código aberto

Ferramentas de código aberto são o programa em que o código-fonte é abertamente publicado para uso e/ou modificação de seu design original, grátis.

Ferramentas de código aberto estão disponíveis para quase todas as fases do processo de teste, desde Caso de teste gestão para Defeito tracrei. Comparadas às ferramentas comerciais, as ferramentas de código aberto podem ter menos recursos.

Ferramentas Comerciais

Ferramentas comerciais são softwares produzidos para venda ou para fins comerciais.

As ferramentas comerciais têm mais suporte e mais recursos de um fornecedor do que as ferramentas de código aberto.

Ferramentas Personalizadas

Em alguns projetos de teste, o ambiente e o processo de teste possuem características especiais. Nenhuma ferramenta comercial ou de código aberto consegue atender a todos os requisitos. Portanto, o gerente de testes precisa considerar o desenvolvimento de uma ferramenta personalizada.

Exemplo: Você quer encontrar uma ferramenta de teste para o projeto. Guru99 Bank. Você quer essa ferramenta para atender a algum requisito específico do projeto.

Independentemente da categoria que você prefira, a próxima questão é se seus testes são adequados para automação.

Análise de viabilidade de automação

Voltando ao exemplo acima, a equipe do projeto decidiu desenvolver uma ferramenta personalizada que pudesse atender aos requisitos do projeto. Suponha que eles tenham recebido 100 casos de teste para automatizar e estimaram 5 dias para desenvolver uma ferramenta que possa automatizar todos os desses casos de teste.

Aqui está o resultado do trabalho deles

Como no cenário acima, o problema é que a ferramenta de teste não pode automatizar todos os casos de teste da especificação de teste. Significa que não tudo recursos do aplicativo podem ser completamente testado usando a ferramenta de teste.

Se a funcionalidade do aplicativo em teste muda com frequência ou é muito complicado, é difícil criar automação de testes para todos os os recursos do aplicativo, pois cada ferramenta tem seu próprio limitações.

Se você não quiser estar nessa situação, antes de selecionar a ferramenta de teste, você deve analisar os casos de teste e decidir quais casos de teste devem ser automatizados e quais não devem. Isto é o Análise de viabilidade de automação atividade.

A análise de viabilidade de automação é um contribuidor muito significativo nos testes. Nesta análise, é necessário verificar se a aplicação em teste é qualificado para teste automatizado.

Alguns fatores que você precisa considerar:

Para saber mais sobre esses fatores, você pode usar um lista que está incluído neste artigo

Como selecionar a melhor ferramenta de teste de automação

Para selecionar a ferramenta de teste mais adequada para o projeto, o Test Manager deve seguir o processo de seleção de ferramentas abaixo

Etapa 1) Identifique os requisitos de ferramentas

Como você pode selecionar uma ferramenta de teste se não sabe o que está procurando?

Você precisa identificar com precisão os requisitos da sua ferramenta de teste. Todos os requisitos devem ser documentado e Comentários pelas equipes do projeto e pelo conselho de administração.

Considere o seguinte exemplo:

Etapa 2) Avalie as ferramentas e os fornecedores

Após definir a linha de base dos requisitos da ferramenta, o Gerente de Teste deve

• Analise as ferramentas comerciais e de código aberto disponíveis no mercado, com base na necessidade do projeto.
• Crie uma lista de ferramentas que melhor atende aos seus critérios
• Um fator que você deve considerar é fornecedores. Você deve considerar a reputação do fornecedor, o suporte pós-venda, a frequência de atualização da ferramenta, etc. ao tomar sua decisão.
• Avalie a qualidade da ferramenta tomando o uso experimental e lançamento de um piloto. Muitos fornecedores costumam disponibilizar versões de teste de seus softwares para download

Etapa 3) Estimar custo e benefício

Para garantir que a ferramenta de teste seja benéfica para os negócios, o Gerente de Testes precisa equilíbrio os seguintes fatores:

A análise de custo-benefício deve ser realizada antes de adquirir ou construir uma ferramenta

Exemplo: Depois de dedicar um tempo considerável à pesquisa de ferramentas de teste, a equipe do projeto encontrou a ferramenta perfeita para o projeto. GuruSite do 99 Bank. Os resultados da avaliação concluíram que esta ferramenta poderia

• Double a produtividade atual da execução de testes
• Reduzir o o esforço de gestão em 30%

No entanto, depois de discutir com o fornecedor do software, você descobriu que o custo O custo dessa ferramenta é muito alto em comparação com a valor e beneficiar que isso pode trazer para o trabalho em equipe.

Nesse caso, o equilíbrio A relação entre custo e benefício da ferramenta pode influenciar a decisão final.

Etapa 4) Tome a decisão final

Para tomar a decisão final, o Test Manager deve ter:

• Tenha um consciência forte da ferramenta. Isso significa que você deve entender qual é o mais forte, pontos e o fraco pontos da ferramenta
• Saldo custo e benefício.

Mesmo gastando horas lendo o manual do software e as informações do fornecedor, talvez você ainda precise experimentar a ferramenta em seu ambiente de trabalho real antes de comprar a licença.

Você deverá fazer uma reunião com a equipe do projeto, consultores para aprofundar o conhecimento da ferramenta.

Sua decisão pode impactar negativamente o projeto, o processo de teste e as metas de negócios; você deve passar um bom tempo pensando muito sobre isso.

A etapa 3 pede que você pondere os custos em relação aos benefícios. O cálculo abaixo transforma essa avaliação em um número que você pode apresentar.

Como calcular o ROI dos testes de automação

Uma discussão sobre custo-benefício tende a estagnar porque cada lado argumenta com base em sua opinião. Um simples cálculo do retorno sobre o investimento leva a conversa para o âmbito das evidências, e a maioria dos conselhos de administração espera ver esse dado antes de aprovar a compra de uma ferramenta.

A comparação básica é entre o custo de executar os testes manualmente e o custo total de automatizá-los.

// Cost of one manual test cycle
Manual cost per cycle = Hours per cycle x Hourly rate

// One-off and recurring cost of automating
Automation cost = Tool licence + Script development + (Maintenance x Cycles)

// Return on investment across N cycles
ROI = ((Manual cost per cycle x N) - Automation cost) / Automation cost

Quatro variáveis ​​determinam se o número será positivo.

• Frequência de execução: A automação só se paga com a repetição. Um conjunto de tarefas executado todas as noites atinge o ponto de equilíbrio muito mais rapidamente do que uma única execução por versão.
• Manutenção de scripts: Este é o custo que a maioria das equipes esquece. Uma interface instável pode consumir mais horas de manutenção do que a execução manual que substituiu, que é exatamente a situação que a análise de viabilidade acima visa detectar.
• Modelo de licenciamento: Licenças por usuário simultâneo, por usuário nomeado e licenças perpétuas únicas geram totais muito diferentes ao longo de três anos. Modele o período pelo qual você realmente pretende manter a ferramenta.
• Benefícios que não se traduzem em horas de trabalho: Feedback mais rápido, defeitos detectados precocemente e testadores liberados para trabalho exploratório trazem valor real. Mencione-os junto com os dados, em vez de tentar forçá-los a aparecer.

💡 Dica: Calcule o ponto de equilíbrio, que é o número de ciclos em que o custo da automação se iguala ao custo manual. Se o ponto de equilíbrio for atingido após o término da versão, automatizar esse conjunto de testes não compensa.traca ferramenta parece.

Coisas a considerar ao escolher uma ferramenta de gerenciamento de testes

Com a grande variedade de opções disponíveis, é fácil ficar confuso na hora das compras.ping para uma ferramenta de gerenciamento de testes. Este é um guia imparcial para ajudá-lo a encontrar a melhor ferramenta de acordo com suas necessidades. suas necessidades.

Neste guia, fornecerei cinco parâmetros mais importantes, mas frequentemente ignorados, ao selecionar sua ferramenta de gerenciamento de testes. Mas antes de começar, deixe-me repetir-

Não compare maçã e laranja

Não faz sentido comparar uma ferramenta SaaS de US$ 30 por mês com uma ferramenta comercial completa de US$ 6000 quando seu orçamento não permite isso. É importante que você filtre sua ferramenta com uma lista baseada em ORÇAMENTO primeiro. Se estiver em um orçamento, de código aberto É uma boa opção. Embora as ferramentas comerciais sejam caras, elas oferecem excelente suporte e são fáceis de usar, com bastante material de treinamento disponível.

A próxima coisa que você deve calcular é o custo de sua licença. Para isso você precisa estimar a duração da conclusão do teste e qual método você escolhe para o teste, isso o ajudará a descobrir qual modelo caberia no seu orçamento, como se você deseja pagar conforme por usuário registrado, usuário simultâneo ou usuário persistenteGeralmente, os custos persistentes ou únicos são mais altos devido ao investimento inicial. Para certos softwares, você precisa de uma licença de tempo de execução. Nem todos os fornecedores oferecem licenças de tempo de execução, portanto, você precisa considerar também o custo dessa licença se estiver pensando em instalar o software em diferentes máquinas.

Depois de definir suas escolhas com base no orçamento, aqui estão 5 parâmetros muito importantes para comparar suas ferramentas de gerenciamento de testes-

Dica nº 1: a ferramenta de gerenciamento de testes deve melhorar a produtividade

As equipes de teste enfrentam grandes desafios para acompanhar as rápidas mudanças tecnológicas e a necessidade de testes em múltiplas plataformas (tanto navegadores quanto dispositivos). Como os testes manuais consomem a maior parte do tempo, uma maneira de lidar com esse desafio é aumentar a automação. Mas existem outras áreas para melhorar a eficiência de uma ferramenta, incluindo gerenciamento eficaz de laboratório/dados de teste, gerenciamento de versões e relatórios detalhados, entre outros. Escolher a ferramenta de gerenciamento de testes correta pode contribuir significativamente para a melhoria desses parâmetros.

Vejamos o que é necessário de uma ferramenta de gerenciamento de testes do ponto de vista da produtividade-

Granularidade das informações de teste

A ferramenta de gerenciamento de testes deve incluir relatórios detalhados com informações sobre o processo de teste. Por exemplo, em caso de falha de um caso de teste, é sempre útil saber em qual etapa o teste falhou, em vez de saber que o caso de teste falhou como um todo. Quaisquer pequenas alterações aplicadas durante o teste devem ser comunicadas pela ferramenta aos membros da equipe responsáveis. Para facilitar o acompanhamento e agilizar a ação, ela também deve manter um registro de auditoria das alterações, incluindo o controle completo de versões dos casos de teste. Além disso, a ferramenta deve salvar os resultados dos testes como uma sessão e permitir a comparação dos resultados entre as execuções. Outras funcionalidades esperadas de uma ferramenta padrão de gerenciamento de testes são: documentar estratégia de teste, planejar execução de teste, criação de defeitos, vincular histórias, etc. Um recurso de upload de vídeo e suporte de API seriam a cereja do bolo.

Gerenciamento de Liberação Tracking (DevOps)

Os lançamentos de software são complexos e envolvem múltiplas atividades (como tracO controle de versões de build, a coordenação da equipe e a transparência dos lançamentos acontecem simultaneamente. Uma boa ferramenta de gerenciamento de testes deve ter um gerenciamento de lançamentos robusto. tracA funcionalidade principal deve manter o registro da lista de softwares que estão sendo testados e lançados, evitando conflitos com outros artefatos de teste. Além disso, deve ser capaz de gerenciar todos os artefatos do projeto em um único ambiente.

A ferramenta de gestão de testes deve fornecer uma visão única dos requisitos para todas as partes interessadas. A colaboração com as partes interessadas garante que os requisitos corretos sejam capturados. A ferramenta deve ser capaz de trace as ligações entre outros ativos e requisitos de desenvolvimento.

Para equipes distribuídas, deve fornecer um único repositório compartilhado para colaborar e compartilhar requisitos, avaliar defeitos vinculados e compreender sua relação com os testes.

Para qualidade e consistência, sua ferramenta de gerenciamento de testes deve impor a padronização.

Relatórios

É um caos se sua equipe de testes sabe quantos defeitos estão abertos na versão, mas não sabe quanto tempo levará para resolvê-los. Para monitorar as atividades de teste, os engenheiros de teste dependem muito dos relatórios gerados pela ferramenta de gerenciamento de testes. Uma ferramenta de gerenciamento de testes confiável deve fornecer as seguintes informações em seus relatórios: progresso do plano de teste, status de criação do caso de teste, caso de teste reprovado e aprovado, status de teste por suítes, status de teste por área, caso de teste a ser automatizado, etc.

Sua ferramenta de gerenciamento de testes deve permitir visibilidade total da atividade do desenvolvedor e dos processos do ciclo de vida, desde o gerenciamento de requisitos até testes e correção de defeitos.

Uma boa ferramenta de gerenciamento de testes deve incluir os seguintes atributos

• O gráfico e o painel devem fornecer informações sobre quantos de seus testes automatizados foram executados ou aguardam execução
• Deve destacar atributos de teste comuns, como o número de casos de teste aprovados/reprovados/ignorados, carga de trabalho do usuário, etc.
• Tomar decisões sobre a prontidão de cada lançamento
• Visualize suas execuções de testes automatizados junto com os resultados dos testes manuais

Dica nº 2: suporte ágil

A demanda por metodologias ágeis no mercado atual está crescendo e se intensificando a cada dia. É fundamental que sua ferramenta de gerenciamento de testes seja compatível com a metodologia ágil. Em metodologias ágeis, os requisitos são mutáveis ​​e concluídos incrementalmente, e sua ferramenta de gerenciamento de testes deve ser capaz de se adaptar a esses requisitos. A ferramenta de gerenciamento de testes ágil escolhida deve promover uma parceria sólida entre desenvolvedores, testadores e outras partes interessadas (princípio básico da metodologia ágil).

A ferramenta de gerenciamento de testes Agile deve suportar

• Criando histórias
• Estimativa
• Sprint planejamento de pendências
• Gráficos de velocidade e outros relatórios, etc.
• Scrum e Kanban

Em um ambiente ágil, a comparação de execuções de testes por meio de uma ferramenta de gerenciamento de testes é produtiva para analisar as mudanças nas taxas de defeitos por iteração. Além disso, em metodologias ágeis, a ferramenta de gerenciamento de testes precisa manter o registro do lançamento do produto para cada iteração e backlog.

Dica nº 3: Integração Externa

A execução automatizada de casos de teste pode reduzir muita carga dos engenheiros de teste. Você deve selecionar uma ferramenta de gerenciamento de testes que se integre facilmente com ferramentas de automaçãoProcure por ferramentas que permitam gerenciar scripts de teste, bem como agendar e executar testes localmente e em hosts remotos. Além disso, a capacidade de armazenar resultados de testes automatizados na ferramenta de gerenciamento de testes é desejável. Sua ferramenta de gerenciamento de testes deve oferecer suporte a esses recursos. integração contínua. A principal vantagem da ferramenta de gerenciamento de testes com CI é que os testes são iniciados automaticamente. O lançamento pode ser acionado por qualquer coisa como um commit de código-fonte de um desenvolvedor ou um caso de teste com automação de teste subjacente ou uma tarefa agendada para um horário específico. A Integração contínua difere em tempo, detalhe, direção e granularidade.

Para qualquer equipe de controle de qualidade, a integração de erro tracferramenta rei Facilita muito o processo de teste. Uma ferramenta padrão de gerenciamento de testes que se integra perfeitamente ao aplicativo SDLC ou a outros sistemas de depuração. tracFerramentas como JIRA, BugZilla e Mantis agregam ainda mais valor à ferramenta. Elas devem permitir que os usuários vinculem bugs, executem instâncias de casos de teste e gerenciem centralmente o processo de teste de software. Também devem permitir que toda a equipe do projeto trabalhe em conjunto em um mesmo problema simultaneamente.

A integração do seu sistema de suporte É uma funcionalidade importante que qualquer ferramenta de gestão de testes deve oferecer. Um software de suporte técnico, também conhecido como sistema de tickets, ajuda os usuários a obterem soluções instantâneas para seus problemas. Ele permite que os clientes tenham uma visão geral de todos os problemas, tanto os que estão abertos quanto os que já foram resolvidos.

API O suporte para integrações personalizadas é desejável.

Dica nº 4: celular

Sua ferramenta de gerenciamento de testes deve oferecer suporte a dispositivos móveis e tablets.

O suporte móvel é extremamente útil para equipes que estão no local do cliente, e não no balcão, ou para gerentes que trabalham com equipes em diferentes localizações geográficas.

A ferramenta de gerenciamento de testes deve ter um conjunto completo (não reduzido) de recursos disponíveis no celular.

O suporte para vários dispositivos e sistemas operacionais móveis é importante, pois com o aumento do número de dispositivos há mais complexidades como localização, gestos, acelerômetros e problemas de orientação. Afinal, você nunca compra um telefone pensando que ele é compatível com sua ferramenta de gerenciamento de testes!

Dica nº 5: Suporte

A equipe de suporte do fornecedor da ferramenta de gerenciamento de testes deve estar comprometida em ajudar seus clientes de todas as maneiras possíveis. Muitas ferramentas de gerenciamento de testes estão mais focadas na criação de sites e anúncios atraentes para...tracPara conquistar mais clientes, eles precisam se concentrar em oferecer o melhor suporte técnico possível.

A melhor ferramenta de gerenciamento de testes deve ter recursos como chat ao vivo, chamada telefônica, perguntas frequentes e guias do usuário on-line, informações de documentação do produto, base de conhecimento, geração de tíquetes de suporte técnico, etc. para ajudar seus clientes.

Muitas ferramentas de gerenciamento de testes também facilitam videoconferência ao vivo Com especialistas em ferramentas para solucionar dúvidas dos clientes. Caso a conferência ao vivo não seja viável, demonstrações ou vídeos gravados relacionados à ferramenta de gerenciamento de testes devem estar sempre disponíveis no local e acessíveis a qualquer momento. Já para os desenvolvedores, se a ferramenta oferecer suporte a API ou integração personalizada, um script de demonstração e documentação detalhada devem ser fornecidos.

Embora todos os canais de suporte acima possam não estar disponíveis para todas as ferramentas, você deve selecionar uma ferramenta que forneça o seu “preferido”canal de suporte.

Outro parâmetro importante e muitas vezes esquecido é se o fornecedor da ferramenta está Focado no cliente? Aqui estão algumas coisas a serem consideradas ao selecionar sua ferramenta de gerenciamento de testes-

• A interface da ferramenta deve ser amigável e incluir recurso de integração do cliente
• Deve acomodar vários idiomas e vários fusos horários
• Deve ter uma capacidade de pesquisa avançada

Espero que este guia ajude na seleção da ferramenta que melhor atenda às suas necessidades de teste! Para um gerenciamento mais abrangente do ciclo de vida do seu aplicativo, você pode querer explorar estes Ferramentas de ALM.

Perguntas Frequentes