Como selecionar a melhor ferramenta de teste de automação?

No artigo Melhoria do processo de teste, você aprendeu os pontos de melhoria do projeto Banco Guru99. Está usando automação Ensaios em vez de Teste Manual. Mas os membros da equipe podem perguntar a você –

A resposta a esta pergunta é desafiadora porque há muitos fatores a serem considerados

• Você deseja apoiar suas atividades de teste por meio de uma ferramenta de software, mas não conhece as ferramentas disponíveis atualmente no mercado
• Que tipo de ferramenta se adapta melhor aos requisitos e ao orçamento do projeto?
• Quem na equipe tem as habilidades necessárias para usar a ferramenta depois de adquirida

A importância da seleção da ferramenta de teste de software

O sucesso em qualquer automação de teste depende da identificação da ferramenta certa para automação. Selecionar a ferramenta de teste “correta” para o seu projeto é uma das melhores maneiras de atingir o objetivo do projeto. O exemplo a seguir mostrará o benefício da seleção da ferramenta de teste

No projeto Banco Guru99, para economizar o esforço de testes, a equipe do projeto decidiu utilizar uma ferramenta de teste automatizada para a execução do teste. Após muitas reuniões, sua equipe selecionou uma ferramenta adequada para o projeto.

Um mês depois, você recebeu o relatório da equipe do projeto sobre esta ferramenta

Os resultados são ótimos. A nova ferramenta automatizada dobrou a produtividade dos testes. Isso significa que salvamos 50% custo de execução do teste. Se você estiver interessado em explorar mais opções para seus projetos, confira esta lista de ferramentas de teste automatizadas.

Este é um exemplo do benefício de usar a ferramenta de teste no projeto. Selecionar a ferramenta de teste certa ajuda você a melhorar a produtividade do projeto e economizar custos do projeto.

Tipo de ferramentas de teste

Existem muitos tipos de ferramentas de teste que o Test Manager pode considerar ao selecionar as ferramentas de teste.

Ferramentas de código aberto

Ferramentas de código aberto são o programa em que o código-fonte é abertamente publicado para uso e/ou modificação de seu design original, grátis.

Ferramentas de código aberto estão disponíveis para quase todas as fases do processo de teste, desde Caso de teste gestão para Defeito monitorando. Em comparação com ferramentas comerciais, as ferramentas de código aberto podem ter menos recursos.

Ferramentas Comerciais

Ferramentas comerciais são softwares produzidos para venda ou para fins comerciais.

As ferramentas comerciais têm mais suporte e mais recursos de um fornecedor do que as ferramentas de código aberto.

Ferramentas Personalizadas

Em alguns projetos de teste, o ambiente de teste e o processo de teste possuem características especiais. Nenhuma ferramenta comercial ou de código aberto pode atender a esse requisito. Portanto, o Test Manager deve considerar o desenvolvimento da ferramenta customizada.

Exemplo: Você deseja encontrar uma ferramenta de teste para o projeto Guru99 Bank. Você deseja que esta ferramenta atenda a algum requisito específico do projeto.

Análise de viabilidade de automação

Voltando ao exemplo acima, a equipe do projeto decidiu desenvolver uma ferramenta personalizada que pudesse atender aos requisitos do projeto. Suponha que eles tenham recebido 100 casos de teste para automatizar e estimaram 5 dias para desenvolver uma ferramenta que possa automatizar todos os desses casos de teste.

Aqui está o resultado do trabalho deles

Como no cenário acima, o problema é que a ferramenta de teste não pode automatizar todos os casos de teste da especificação de teste. Significa que não tudo recursos do aplicativo podem ser completamente testado usando a ferramenta de teste.

Se a funcionalidade do aplicativo em teste muda com frequência ou é muito complicado, é difícil criar automação de testes para todos os os recursos do aplicativo, pois cada ferramenta tem seu próprio limitações.

Se você não quiser estar nessa situação, antes de selecionar a ferramenta de teste, você deve analisar os casos de teste e decidir quais casos de teste devem ser automatizados e quais não devem. Isto é o Análise de viabilidade de automação atividade.

A análise de viabilidade de automação é um contribuidor muito significativo nos testes. Nesta análise, é necessário verificar se a aplicação em teste é qualificado para teste automatizado.

Alguns fatores que você precisa considerar:

Para saber mais sobre esses fatores, você pode usar um lista que está incluído neste artigo

Como selecionar a melhor ferramenta de teste de automação

Para selecionar a ferramenta de teste mais adequada para o projeto, o Test Manager deve seguir o processo de seleção de ferramentas abaixo

Etapa 1) Identifique os requisitos de ferramentas

Como você pode selecionar uma ferramenta de teste se não sabe o que está procurando?

Você deve identificar com precisão os requisitos da sua ferramenta de teste. Todos os requisitos devem ser documentado e Comentários pelas equipes do projeto e pelo conselho de administração.

Considere o seguinte exemplo:

Etapa 2) Avalie as ferramentas e os fornecedores

Após definir a linha de base dos requisitos da ferramenta, o Gerente de Teste deve

• Analise as ferramentas comerciais e de código aberto disponíveis no mercado, com base na necessidade do projeto.
• Crie uma lista de ferramentas que melhor atende aos seus critérios
• Um fator que você deve considerar é fornecedores. Você deve considerar a reputação do fornecedor, o suporte pós-venda, a frequência de atualização da ferramenta, etc. ao tomar sua decisão.
• Avalie a qualidade da ferramenta tomando o uso experimental e lançamento de um piloto. Muitos fornecedores costumam disponibilizar versões de teste de seus softwares para download

Etapa 3) Estimar custo e benefício

Para garantir que a ferramenta de teste seja benéfica para os negócios, o Gerente de Teste deve equilibrar os seguintes fatores:

A análise de custo-benefício deve ser realizada antes de adquirir ou construir uma ferramenta

Exemplo: Depois de gastar um tempo considerável investigando ferramentas de teste, a equipe do projeto encontrou a ferramenta de teste perfeita para o site do projeto Guru99 Bank. Os resultados da avaliação concluíram que esta ferramenta poderia

• Double a produtividade atual da execução de testes
• Reduzir o esforço de gestão em 30%

No entanto, depois de discutir com o fornecedor do software, você descobriu que o custo desta ferramenta é muito alto em comparação com o valor e beneficiar que isso pode trazer para o trabalho em equipe.

Nesse caso, o equilibrar entre custo e benefício da ferramenta pode afetar a decisão final.

Etapa 4) Tome a decisão final

Para tomar a decisão final, o Test Manager deve ter:

• Tenha um consciência forte da ferramenta. Isso significa que você deve entender qual é o mais forte, pontos e o fraco pontos da ferramenta
• Trabalho / Vida custo e benefício.

Mesmo gastando horas lendo o manual do software e as informações do fornecedor, talvez você ainda precise experimentar a ferramenta em seu ambiente de trabalho real antes de comprar a licença.

Você deverá fazer uma reunião com a equipe do projeto, consultores para aprofundar o conhecimento da ferramenta.

Sua decisão pode impactar negativamente o projeto, o processo de teste e as metas de negócios; você deve passar um bom tempo pensando muito sobre isso.

Coisas a considerar ao escolher uma ferramenta de gerenciamento de testes

Com a grande variedade de opções disponíveis, é fácil ficar confuso ao comprar uma ferramenta de gerenciamento de testes. Este é um guia imparcial para ajudá-lo a obter a melhor ferramenta de acordo com suas necessidades.

Neste guia, fornecerei cinco parâmetros mais importantes, mas frequentemente ignorados, ao selecionar sua ferramenta de gerenciamento de testes. Mas antes de começar, deixe-me repetir-

Não compare maçã e laranja

Não faz sentido comparar uma ferramenta SaaS de US$ 30 por mês com uma ferramenta comercial completa de US$ 6000 quando seu orçamento não permite isso. É importante que você filtre sua ferramenta com uma lista baseada em ORÇAMENTO primeiro. Se estiver em um orçamento, de código aberto é uma boa opção. Embora as ferramentas comerciais sejam caras, elas oferecem excelente suporte e são fáceis de usar, com muito material de treinamento fornecido.

A próxima coisa que você deve calcular é o custo de sua licença. Para isso você precisa estimar a duração da conclusão do teste e qual método você escolhe para o teste, isso o ajudará a descobrir qual modelo caberia no seu orçamento, como se você deseja pagar conforme por usuário registrado, usuário simultâneo ou usuário persistente. Normalmente, os custos persistentes ou únicos são mais elevados devido ao seu gasto de capital. Para determinados softwares, você precisa de licença de tempo de execução. Nem todos os fornecedores oferecem suporte a licenças de tempo de execução, portanto, você também precisa considerar as despesas com licenças de tempo de execução se estiver pensando em instalar em máquinas diferentes.

Depois de definir suas escolhas com base no orçamento, aqui estão 5 parâmetros muito importantes para comparar suas ferramentas de gerenciamento de testes-

Dica nº 1: a ferramenta de gerenciamento de testes deve melhorar a produtividade

As equipes de teste estão enfrentando grandes desafios para acompanhar as rápidas mudanças tecnológicas e a necessidade de testes em múltiplas plataformas (navegadores e dispositivos). Como o teste manual ocupa a maior parte do tempo de teste, uma forma de lidar com esse desafio é intensificar a automação. Mas existem outras áreas para melhorar a eficiência de uma ferramenta que inclui laboratório de teste/gerenciamento de dados eficaz, gerenciamento de liberação, relatórios criteriosos, entre outros. Escolher a ferramenta de gerenciamento de teste correta pode ajudar enormemente na melhoria desses parâmetros.

Vejamos o que é necessário de uma ferramenta de gerenciamento de testes do ponto de vista da produtividade-

Granularidade das informações de teste

A ferramenta de gerenciamento de testes deve incluir relatórios detalhados de informações relacionadas ao processo de teste. Por exemplo, na falha do caso de teste, é sempre útil saber em qual etapa o teste falhou, em vez de saber que o caso de teste falhou como um todo. Quaisquer que sejam as pequenas alterações aplicadas durante os testes, a ferramenta de gerenciamento de testes deve informar sobre as alterações aos membros da equipe correspondentes. Para facilitar o acompanhamento e agir rapidamente, ele também deve manter uma trilha de auditoria das alterações, incluindo o controle de versão completo dos casos de teste. Além disso, a ferramenta de gerenciamento de teste deve salvar os resultados do teste como uma sessão e deve ter a capacidade de comparar os resultados da execução do teste. Os outros recursos esperados de ferramentas de gerenciamento de teste padrão são documentar estratégia de teste, planejar execução de teste, criação de defeitos, vincular histórias, etc. Um recurso de upload de vídeo e suporte de API seriam a cereja do bolo.

Acompanhamento de gerenciamento de liberação (DevOps)

Os lançamentos de software são complexos, com múltiplas atividades (como rastreamento da versão de construção, coordenação da equipe e transparência dos lançamentos), todas acontecendo ao mesmo tempo. Uma boa ferramenta de gerenciamento de testes deve ter capacidade robusta de rastreamento de gerenciamento de lançamentos que mantenha o registro da lista do software que está sendo testado e lançado, para que não entre em conflito com outros artefatos de teste. Além disso, deve ser capaz de gerenciar todos os artefatos do projeto em um único ambiente.

A ferramenta de gerenciamento de testes deve fornecer uma visão única dos requisitos para todas as partes interessadas. A colaboração com as partes interessadas garante que os requisitos corretos sejam capturados. A ferramenta deve ser capaz de rastrear as ligações entre outros ativos e requisitos de desenvolvimento.

Para equipes distribuídas, deve fornecer um único repositório compartilhado para colaborar e compartilhar requisitos, avaliar defeitos vinculados e compreender sua relação com os testes.

Para qualidade e consistência, sua ferramenta de gerenciamento de testes deve impor a padronização.

Relatórios

Será um caos se sua equipe de testes souber quantos defeitos estão abertos no lançamento, mas não souber quanto tempo levará para resolvê-los. Para monitorar as atividades de teste, os engenheiros de teste dependem muito dos relatórios gerados pela ferramenta de gerenciamento de testes. Uma ferramenta confiável de gerenciamento de testes deve fornecer as seguintes informações em seus relatórios, como progresso do plano de teste, status de criação do caso de teste, caso de teste reprovado e aprovado, status de teste por suítes, status de teste por área, caso de teste a ser automatizado, etc.

Sua ferramenta de gerenciamento de testes deve permitir visibilidade total da atividade do desenvolvedor e dos processos do ciclo de vida, desde o gerenciamento de requisitos até testes e correção de defeitos.

Uma boa ferramenta de gerenciamento de testes deve incluir os seguintes atributos

• O gráfico e o painel devem fornecer informações sobre quantos de seus testes automatizados foram executados ou aguardam execução
• Deve destacar atributos de teste comuns, como o número de casos de teste aprovados/reprovados/ignorados, carga de trabalho do usuário, etc.
• Tomar decisões sobre a prontidão de cada lançamento
• Visualize suas execuções de testes automatizados junto com os resultados dos testes manuais

Dica nº 2: suporte ágil

A demanda por agilidade no mercado atual está aumentando e aumentando a cada dia. É importante que sua ferramenta de gerenciamento de testes suporte a metodologia ágil. No Agile, os requisitos são mutáveis ​​e concluídos de forma incremental, sua ferramenta de gerenciamento de testes deve ser capaz de acomodar tais requisitos. A ferramenta ágil de gerenciamento de testes de sua escolha deve promover parceria profunda entre desenvolvedores, testadores e outras partes interessadas (princípio básico do ágil).

A ferramenta de gerenciamento de testes Agile deve suportar

• Criando histórias
• Estimativa
• Sprint planejamento de pendências
• Gráficos de velocidade e outros relatórios, etc.
• Scrum e Kanban

Enquanto estiver em um ambiente Agile, a comparação de execuções de teste por ferramenta de gerenciamento de teste seria produtiva se você estiver observando mudanças nas taxas de defeitos por iteração. Também para Agile, a ferramenta de gerenciamento de teste precisará manter o registro do lançamento do produto para cada iteração e backlog

Dica nº 3: Integração Externa

A execução automatizada de casos de teste pode reduzir muita carga dos engenheiros de teste. Você deve selecionar uma ferramenta de gerenciamento de testes que se integre facilmente com ferramentas de automação. Procure a capacidade de gerenciar scripts de teste, bem como agendar e iniciar testes localmente e no host remoto. Além disso, é desejável a capacidade de armazenar resultados de testes de automação na ferramenta de gerenciamento de testes. Sua ferramenta de gerenciamento de testes deve oferecer suporte integração contínua. A principal vantagem da ferramenta de gerenciamento de testes com CI é que os testes são iniciados automaticamente. O lançamento pode ser acionado por qualquer coisa como um commit de código-fonte de um desenvolvedor ou um caso de teste com automação de teste subjacente ou uma tarefa agendada para um horário específico. A Integração contínua difere em tempo, detalhe, direção e granularidade.

Para qualquer equipe de controle de qualidade, a integração de ferramenta de rastreamento de bugs torna o processo de teste muito fácil. Uma ferramenta de gerenciamento de teste padrão que se integra perfeitamente ao aplicativo SDLC ou outras ferramentas de rastreamento de bugs como JIRA, BugZilla, Mantis agrega mais valor à ferramenta. Deve permitir que os usuários vinculem bugs, testem instâncias de execução de casos, para gerenciamento centralizado de seu processo de teste de software. Deve também permitir que toda a equipe do projeto trabalhe junta em um único problema ao mesmo tempo.

A integração do seu sistema de suporte é um recurso importante que qualquer ferramenta de gerenciamento de testes deve fornecer. Um software de suporte técnico ou também conhecido como sistema de tickets ajuda os usuários a obter uma solução instantânea para seus problemas. Ajuda os clientes a obter uma visão geral de todos os problemas abertos e fechados.

API O suporte para integrações personalizadas é desejável.

Dica nº 4: celular

Sua ferramenta de gerenciamento de testes deve oferecer suporte a dispositivos móveis e tablets.

O suporte móvel é extremamente útil para equipes que estão no local do cliente, e não no balcão, ou para gerentes que trabalham com equipes em diferentes localizações geográficas.

A ferramenta de gerenciamento de testes deve ter um conjunto completo (não reduzido) de recursos disponíveis no celular.

O suporte para vários dispositivos e sistemas operacionais móveis é importante, pois com o aumento do número de dispositivos há mais complexidades como localização, gestos, acelerômetros e problemas de orientação. Afinal, você nunca compra um telefone pensando que ele é compatível com sua ferramenta de gerenciamento de testes!

Dica nº 5: Suporte

A equipe de suporte do fornecedor da ferramenta de gerenciamento de testes deve estar comprometida em ajudar seus clientes de todas as maneiras possíveis. Muitas ferramentas de gerenciamento de testes estão mais focadas na criação de sites e anúncios brilhantes para atrair mais clientes. Mas para negócios contínuos e repetidos, eles precisam se concentrar em fornecer o melhor suporte de suporte técnico.

A melhor ferramenta de gerenciamento de testes deve ter recursos como chat ao vivo, chamada telefônica, perguntas frequentes e guias do usuário on-line, informações de documentação do produto, base de conhecimento, geração de tíquetes de suporte técnico, etc. para ajudar seus clientes.

Muitas ferramentas de gerenciamento de testes também facilitam videoconferência ao vivo com especialistas em ferramentas para resolver dúvidas dos clientes. Se a conferência ao vivo não for viável, demonstrações ou vídeos gravados relacionados à ferramenta de gerenciamento de testes deverão estar sempre disponíveis no local e podem ser acessados ​​a qualquer momento. Já para desenvolvedores, se a ferramenta fornecer API ou suporte de integração personalizada, um script de demonstração e documentação detalhada deverão ser fornecidos.

Embora todos os canais de suporte acima possam não estar disponíveis para todas as ferramentas, você deve selecionar uma ferramenta que forneça o seu “preferido”canal de suporte.

Outro parâmetro importante e muitas vezes esquecido é se o fornecedor da ferramenta está Focado no cliente? Aqui estão algumas coisas a serem consideradas ao selecionar sua ferramenta de gerenciamento de testes-

• A interface da ferramenta deve ser amigável e incluir recurso de integração do cliente
• Deve acomodar vários idiomas e vários fusos horários
• Deve ter uma capacidade de pesquisa avançada

Espero que este guia ajude na seleção da ferramenta que melhor atenda às suas necessidades de teste! Para um gerenciamento mais abrangente do ciclo de vida do seu aplicativo, você pode querer explorar estes Ferramentas de ALM.