Tutorial PyTest: O que é, como instalar, Framework, Asserções

O que é PyTest?

PyTestName é uma estrutura de teste que permite aos usuários escrever códigos de teste usando a linguagem de programação Python. Ele ajuda você a escrever casos de teste simples e escalonáveis ​​para bancos de dados, APIs ou UI. PyTest é usado principalmente para escrever testes para APIs. Ajuda escrever testes desde testes de unidade simples até complex testes funcionais.

Por que usar PyTest?

Algumas das vantagens do pytest são

  • Muito fácil de começar devido à sua sintaxe simples e fácil.
  • Pode executar testes em paralelo.
  • Pode executar um teste específico ou um subconjunto de testes
  • Detectar testes automaticamente
  • Pular testes
  • Código aberto

Como instalar o PyTest

Following é um processo de como instalar o PyTest:

Passo 1) Você pode instalar o pytest por

pip install pytest==2.9.1

Assim que a instalação estiver concluída, você pode confirmá-la com

py.test -h

Isso exibirá a ajuda

instalar PyTest

Primeiro PyTest básico

Agora, aprenderemos como usar o Pytest com um exemplo básico do PyTest.

Crie uma pasta study_pytest. Vamos criar nossos arquivos de teste dentro desta pasta.

Navegue até essa pasta em sua linha de comando.

Crie um arquivo chamado test_sample1.py dentro da pasta

Primeiro PyTest básico

Adicione o código abaixo nele e salve

import pytest
def test_file1_method1():
	x=5
	y=6
	assert x+1 == y,"test failed"
	assert x == y,"test failed"
def test_file1_method2():
	x=5
	y=6
	assert x+1 == y,"test failed" 

Execute o teste usando o comando

py.test

Você obterá saída como

test_sample1.py F.
============================================== FAILURES ========================================
____________________________________________ test_sample1 ______________________________________
    def test_file1_method1():
    	x=5
    	y=6
       	assert x+1 == y,"test failed"
>      	assert x == y,"test failed"
E       AssertionError: test failed
E       assert 5 == 6
test_sample1.py:6: AssertionError

Primeiro PyTest básico

Aqui em test_sample1.py F.

F diz fracasso

Ponto(.) diz sucesso.

Na seção de falhas, você pode ver os métodos com falha e a linha de falha. Aqui x==y significa 5==6 que é falso.

A seguir neste tutorial do PyTest, aprenderemos sobre asserção no PyTest.

Asserções em PyTest

Asserções Pytest são verificações que retornam o status True ou False. No Python Pytest, se uma asserção falhar em um método de teste, a execução desse método será interrompida aí. O código restante nesse método de teste não é executado e as asserções Pytest continuarão com o próximo método de teste.

Exemplos de declarações do Pytest:

assert "hello" == "Hai" is an assertion failure.
assert 4==4 is a successful assertion
assert True is a successful assertion
assert False is an assertion failure.

Considerar

assert x == y,"test failed because x=" + str(x) + " y=" + str(y)

Coloque este código em test_file1_method1() em vez da afirmação

assert x == y,"test failed"

Executar o teste dará a falha como AssertionError: teste falhou x=5 y=6

Como o PyTest identifica os arquivos e métodos de teste

Por padrão, o pytest identifica apenas os nomes de arquivos que começam com teste_ ou terminando com _teste como os arquivos de teste. Podemos mencionar explicitamente outros nomes de arquivos (explicado later). Pytest requer que os nomes dos métodos de teste comecem "teste.” Todos os outros nomes de métodos serão ignorados mesmo se solicitarmos explicitamente para executar esses métodos.

Veja alguns exemplos de nomes de arquivos pytest válidos e inválidos

test_login.py - valid
login_test.py - valid
testlogin.py -invalid
logintest.py -invalid

Nota: Sim, podemos pedir explicitamente ao pytest para escolher testlogin.py e logintest.py

Veja alguns exemplos de métodos de teste pytest válidos e inválidos

def test_file1_method1(): - valid
def testfile1_method1(): - valid
def file1_method1(): - invalid	

Nota: Mesmo se mencionarmos explicitamente file1_method1() pytest não executará este método.

Execute vários testes de um arquivo específico e de vários arquivos

Atualmente, dentro da pasta study_pytest, temos um arquivo test_sample1.py. Suponha que temos vários arquivos, digamos test_sample2.py, test_sample3.py. Para executar todos os testes de todos os arquivos da pasta e subpastas, precisamos apenas executar o comando pytest.

py.test

Isso executará todos os nomes de arquivos começando com test_ e os nomes de arquivos terminando com _test nessa pasta e subpastas nessa pasta.

Para executar testes apenas de um arquivo específico, podemos usar py.test

py.test test_sample1.py

Execute um subconjunto de teste inteiro com PyTest

Às vezes não queremos executar todo o conjunto de testes. Pytest nos permite executar testes específicos. Podemos fazer isso de 2 maneiras

  • Agrupamento de nomes de teste por correspondência de substring
  • Agrupamento de testes por marcadores

Já temos test_sample1.py. Crie um arquivo test_sample2.py e adicione o código abaixo nele

def test_file2_method1():
	x=5
	y=6
	assert x+1 == y,"test failed"
	assert x == y,"test failed because x=" + str(x) + " y=" + str(y)
def test_file2_method2():
	x=5
	y=6
	assert x+1 == y,"test failed"

Então temos atualmente

• test_sample1.py
• test_file1_method1()
• test_file1_method2()
• test_sample2.py
• test_file2_method1()
• test_file2_method2()

Opção 1) Executar testes por correspondência de substring

Aqui para executar todos os testes tendo o método1 em seu nome, temos que executar

py.test -k method1 -v
-k <expression> is used to represent the substring to match
-v increases the verbosity

Portanto, executar py.test -k method1 -v fornecerá o seguintewing resultar

test_sample2.py::test_file2_method1 FAILED
test_sample1.py::test_file1_method1 FAILED

============================================== FAILURES ==============================================
_________________________________________ test_file2_method1 _________________________________________
    def test_file2_method1():
    	x=5
    	y=6
       	assert x+1 == y,"test failed"
>      	assert x == y,"test failed because x=" + str(x) + " y=" + str(y)
E       AssertionError: test failed because x=5 y=6
E       assert 5 == 6
test_sample2.py:5: AssertionError

_________________________________________ test_file1_method1 _________________________________________
    @pytest.mark.only
    def test_file1_method1():
    	x=5
    	y=6
       	assert x+1 == y,"test failed"
>      	assert x == y,"test failed because x=" + str(x) + " y=" + str(y)
E       AssertionError: test failed because x=5 y=6
E       assert 5 == 6
test_sample1.py:8: AssertionError

================================= 2 tests deselected by '-kmethod1' ==================================
=============================== 2 failed, 2 deselected in 0.02 seconds ===============================

Aqui você pode ver no final 2 testes desmarcados por '-kmethod1' que são test_file1_method2 e test_file2_method2

Tente correr com várias combinações como: –

py.test -k method -v - will run all the four methods
py.test -k methods -v – will not run any test as there is no test name matches the substring 'methods'

Opção 2) Executar testes por marcadores

Pytest nos permite definir vários atributos para os métodos de teste usando marcadores pytest, @pytest.mark . Para usar marcadores no arquivo de teste, precisamos importar o pytest nos arquivos de teste.

Aqui aplicaremos diferentes nomes de marcadores aos métodos de teste e executaremos testes específicos com base nos nomes dos marcadores. Podemos definir os marcadores em cada nome de teste usando

@pytest.mark.<name>.			

Estamos definindo os marcadores set1 e set2 nos métodos de teste e executaremos o teste usando os nomes dos marcadores. Atualize os arquivos de teste com o seguintewing código

teste_amostra1.py

import pytest
@pytest.mark.set1
def test_file1_method1():
	x=5
	y=6
	assert x+1 == y,"test failed"
	assert x == y,"test failed because x=" + str(x) + " y=" + str(y)

@pytest.mark.set2
def test_file1_method2():
	x=5
	y=6
	assert x+1 == y,"test failed"

teste_amostra2.py

import pytest
@pytest.mark.set1
def test_file2_method1():
	x=5
	y=6
	assert x+1 == y,"test failed"
	assert x == y,"test failed because x=" + str(x) + " y=" + str(y)

@pytest.mark.set1
def test_file2_method2():
	x=5
	y=6
	assert x+1 == y,"test failed"

Podemos executar o teste marcado por

py.test -m <name>
-m <name> mentions the marker name

Execute py.test -m set1.Isso executará os métodos test_file1_method1, test_file2_method1, test_file2_method2.

Executar py.test -m set2 executará test_file1_method2.

Execute testes em paralelo com Pytest

Normalmente, um conjunto de testes terá vários arquivos de teste e centenas de métodos de teste que levarão um tempo considerável para serem executados. Pytest nos permite executar testes em paralelo.

Para isso, precisamos primeiro instalar o pytest-xdist executando

pip install pytest-xdist

Execute testes em paralelo com Pytest

Você pode executar testes agora

py.test -n 4

-n executa os testes usando vários trabalhadores. No comando acima, haverá 4 trabalhadores para executar o teste.

Pytest Jogos

Fixtures são usados ​​quando queremos executar algum código antes de cada método de teste. Então, em vez de repetir o mesmo código em todos os testes, definimos fixtures. Normalmente, fixtures são usados ​​para inicializar conexões de banco de dados, passar base, etc.

Um método é marcado como um acessório Pytest marcando com

@pytest.fixture

Um método de teste pode usar um acessório Pytest mencionando o acessório como um parâmetro de entrada.

Crie um novo arquivo test_basic_fixture.py com o seguintewing código

import pytest
@pytest.fixture
def supply_AA_BB_CC():
	aa=25
	bb =35
	cc=45
	return [aa,bb,cc]

def test_comparewithAA(supply_AA_BB_CC):
	zz=35
	assert supply_AA_BB_CC[0]==zz,"aa and zz comparison failed"

def test_comparewithBB(supply_AA_BB_CC):
	zz=35
	assert supply_AA_BB_CC[1]==zz,"bb and zz comparison failed"

def test_comparewithCC(supply_AA_BB_CC):
	zz=35
	assert supply_AA_BB_CC[2]==zz,"cc and zz comparison failed"

Aqui

  • Temos um fixture chamado supply_AA_BB_CC. Este método retornará uma lista de 3 valores.
  • Temos 3 métodos de teste comparando cada um dos valores.

Cada função de teste possui um argumento de entrada cujo nome corresponde a um acessório disponível. Pytest então invoca o método fixture correspondente e os valores retornados serão armazenados no argumento de entrada, aqui a lista [25,35,45]. Agora os itens da lista estão sendo usados ​​em métodos de teste para comparação.

Agora faça o teste e veja o resultado

 py.test test_basic_fixture
test_basic_fixture.py::test_comparewithAA FAILED                                                                                                                                                                                       
test_basic_fixture.py::test_comparewithBB PASSED                                                                                                                                                                                       
test_basic_fixture.py::test_comparewithCC FAILED
                                                                                                                                                                                       
============================================== FAILURES ==============================================
_________________________________________ test_comparewithAA _________________________________________
supply_AA_BB_CC = [25, 35, 45]
    def test_comparewithAA(supply_AA_BB_CC):
    	zz=35
>   	assert supply_AA_BB_CC[0]==zz,"aa and zz comparison failed"
E    AssertionError: aa and zz comparison failed
E    assert 25 == 35
test_basic_fixture.py:10: AssertionError

_________________________________________ test_comparewithCC _________________________________________
supply_AA_BB_CC = [25, 35, 45]
    def test_comparewithCC(supply_AA_BB_CC):
    	zz=35
>   	assert supply_AA_BB_CC[2]==zz,"cc and zz comparison failed"
E    AssertionError: cc and zz comparison failed
E    assert 45 == 35
test_basic_fixture.py:16: AssertionError
================================= 2 failed, 1 passed in 0.05 seconds =================================

O teste test_comparewithBB foi aprovado desde zz=BB=35 e os 2 testes restantes falharam.

O método fixture tem um escopo apenas dentro do arquivo de teste em que está definido. Se tentarmos acessar o fixture em algum outro arquivo de teste, receberemos um erro dizendo fixture 'supply_AA_BB_CC' não encontrado para os métodos de teste em outros arquivos.

Para usar o mesmo fixture em vários arquivos de teste, criaremos métodos de fixture em um arquivo chamado conftest.py.

Vamos ver isso pelo exemplo do PyTest abaixo. Crie 3 arquivos conftest.py, test_basic_fixture.py, test_basic_fixture2.py com o seguintewing código

conftest.py

import pytest
@pytest.fixture
def supply_AA_BB_CC():
	aa=25
	bb =35
	cc=45
	return [aa,bb,cc]

test_basic_fixture.py

import pytest
def test_comparewithAA(supply_AA_BB_CC):
	zz=35
	assert supply_AA_BB_CC[0]==zz,"aa and zz comparison failed"

def test_comparewithBB(supply_AA_BB_CC):
	zz=35
	assert supply_AA_BB_CC[1]==zz,"bb and zz comparison failed"

def test_comparewithCC(supply_AA_BB_CC):
	zz=35
	assert supply_AA_BB_CC[2]==zz,"cc and zz comparison failed"

test_basic_fixture2.py

import pytest
def test_comparewithAA_file2(supply_AA_BB_CC):
	zz=25
	assert supply_AA_BB_CC[0]==zz,"aa and zz comparison failed"

def test_comparewithBB_file2(supply_AA_BB_CC):
	zz=25
	assert supply_AA_BB_CC[1]==zz,"bb and zz comparison failed"

def test_comparewithCC_file2(supply_AA_BB_CC):
	zz=25
	assert supply_AA_BB_CC[2]==zz,"cc and zz comparison failed"

O pytest procurará primeiro o fixture no arquivo de teste e, se não for encontrado, procurará no conftest.py

Execute o teste por py.test -k test_comparewith -v para obter o resultado abaixo

test_basic_fixture.py::test_comparewithAA FAILED  
test_basic_fixture.py::test_comparewithBB PASSED 
test_basic_fixture.py::test_comparewithCC FAILED 
test_basic_fixture2.py::test_comparewithAA_file2 PASSED 
test_basic_fixture2.py::test_comparewithBB_file2 FAILED 
test_basic_fixture2.py::test_comparewithCC_file2 FAILED

Teste parametrizado Pytest

O objetivo de parametrizar um teste é executá-lo em vários conjuntos de argumentos. Podemos fazer isso por @pytest.mark.parametrize.

Veremos isso com o exemplo PyTest abaixo. Aqui passaremos 3 argumentos para um método de teste. Este método de teste adicionará os 2 primeiros argumentos e os comparará com o terceiro argumento.

Crie o arquivo de teste test_addition.py com o código abaixo

import pytest
@pytest.mark.parametrize("input1, input2, output",[(5,5,10),(3,5,12)])
def test_add(input1, input2, output):
	assert input1+input2 == output,"failed"

Aqui, o método de teste aceita 3 argumentos – entrada1, entrada2, saída. Ele adiciona input1 e input2 e compares contra a saída.

Vamos executar o teste py.test -k test_add -v e ver o resultado

test_addition.py::test_add[5-5-10] PASSED                                                                                                                                                                                              
test_addition.py::test_add[3-5-12] FAILED                                                                                                                                                                                              
============================================== FAILURES ==============================================
__________________________________________ test_add[3-5-12] __________________________________________
input1 = 3, input2 = 5, output = 12
    @pytest.mark.parametrize("input1, input2, output",[(5,5,10),(3,5,12)])
    def test_add(input1, input2, output):
>   	assert input1+input2 == output,"failed"
E    AssertionError: failed
E    assert (3 + 5) == 12
test_addition.py:5: AssertionError

Você pode ver os testes executados 2 vezes – um verificando 5+5 ==10 e outro verificando 3+5 ==12

test_addition.py::test_add[5-5-10] APROVADO

test_addition.py::test_add[3-5-12] FALHA

Pytest Xfail / Pular testes

Haverá algumas situações em que não queremos executar um teste, ou um caso de teste não é relevante para um determinado momento. Nessas situações, temos a opção de falhar no teste ou pular os testes

O teste xfailed será executado, mas não será contado como parte dos testes com falha ou aprovação. Não haverá nenhum rastreamento exibido se o teste falhar. Podemos falhar nos testes usando

@pytest.mark.xfail.

Ignorar um teste significa que o teste não será executado. Podemos pular testes usando

@pytest.mark.skip.

Edite test_addition.py com o código abaixo

import pytest
@pytest.mark.skip
def test_add_1():
	assert 100+200 == 400,"failed"

@pytest.mark.skip
def test_add_2():
	assert 100+200 == 300,"failed"

@pytest.mark.xfail
def test_add_3():
	assert 15+13 == 28,"failed"

@pytest.mark.xfail
def test_add_4():
	assert 15+13 == 100,"failed"

def test_add_5():
	assert 3+2 == 5,"failed"

def test_add_6():
	assert 3+2 == 6,"failed"

Aqui

  • test_add_1 e test_add_2 são ignorados e não serão executados.
  • test_add_3 e test_add_4 falharam. Esses testes serão executados e farão parte dos testes xfailed(on test failed) ou xpassed(on test pass). Não haverá nenhum rastreamento de falhas.
  • test_add_5 e test_add_6 serão executados e test_add_6 reportará falha com traceback enquanto test_add_5 passa

Execute o teste por py.test test_addition.py -v e veja o resultado

test_addition.py::test_add_1 SKIPPED
test_addition.py::test_add_2 SKIPPED
test_addition.py::test_add_3 XPASS
test_addition.py::test_add_4 xfail
test_addition.py::test_add_5 PASSED
test_addition.py::test_add_6 FAILED

============================================== FAILURES ==============================================
_____________________________________________ test_add_6 _____________________________________________
    def test_add_6():
>   	assert 3+2 == 6,"failed"
E    AssertionError: failed
E    assert (3 + 2) == 6
test_addition.py:24: AssertionError

================ 1 failed, 1 passed, 2 skipped, 1 xfailed, 1 xpassed in 0.07 seconds =================

XML de resultados

Podemos criar resultados de testes em formato XML que podemos alimentar nos servidores de integração contínua para processamento posterior e assim por diante. Isto pode ser feito por

py.test test_sample1.py -v –junitxml=”resultado.xml”

O result.xml registrará o resultado da execução do teste. Encontre um exemplo de result.xml abaixo

<?xml version="1.0" encoding="UTF-8"?>
<testsuite errors="0" failures="1" name="pytest" skips="0" tests="2" time="0.046">
   <testcase classname="test_sample1" file="test_sample1.py" line="3" name="test_file1_method1" time="0.001384973526">
     <failure message="AssertionError:test failed because x=5 y=6 assert 5 ==6">
    @pytest.mark.set1
    def test_file1_method1():
    	x=5
    	y=6
       	assert x+1 == y,"test failed"
>      	assert x == y,"test failed because x=" + str(x) + " y=" + str(y)
E       AssertionError: test failed because x=5 y=6
E       assert 5 == 6
         test_sample1.py:9: AssertionError
    </failure>
   </testcase>
   <testcase classname="test_sample1" file="test_sample1.py" line="10" name="test_file1_method2" time="0.000830173492432" />
</testsuite>

Em podemos ver um total de dois testes, dos quais um falhou. Abaixo disso você pode ver o details em relação a cada teste executado na tag .

Estrutura Pytest testando uma API

Agora criaremos uma pequena estrutura pytest para testar uma API. A API aqui usada é gratuita de https://reqres.in/. Este site serve apenas para fornecer API testável. Este site não armazena nossos dados.

Aqui vamos escrever alguns testes para

  • listando alguns usuários
  • faça login com usuários

Crie os arquivos abaixo com o código fornecido

conftest.py – possui um acessório que fornecerá o URL base para todos os métodos de teste

import pytest
@pytest.fixture
def supply_url():
	return "https://reqres.in/api"

test_list_user.py – contém os métodos de teste para listar usuários válidos e inválidos

  • test_list_valid_user testa a busca de usuário válida e verifica a resposta
  • test_list_invaliduser testa busca de usuário inválido e verifica a resposta
import pytest
import requests
import json
@pytest.mark.parametrize("userid, firstname",[(1,"George"),(2,"Janet")])
def test_list_valid_user(supply_url,userid,firstname):
	url = supply_url + "/users/" + str(userid)
	resp = requests.get(url)
	j = json.loads(resp.text)
	assert resp.status_code == 200, resp.text
	assert j['data']['id'] == userid, resp.text
	assert j['data']['first_name'] == firstname, resp.text

def test_list_invaliduser(supply_url):
	url = supply_url + "/users/50"
	resp = requests.get(url)
	assert resp.status_code == 404, resp.text

test_login_user.py – contém métodos de teste para testar a funcionalidade de login.

  • test_login_valid testa a tentativa de login válida com email e senha
  • test_login_no_password testa a tentativa de login inválida sem passar a senha
  • test_login_no_email testa a tentativa de login inválida sem passar email.
import pytest
import requests
import json
def test_login_valid(supply_url):
	url = supply_url + "/login/" 
	data = {'email':'test@test.com','password':'something'}
	resp = requests.post(url, data=data)
	j = json.loads(resp.text)
	assert resp.status_code == 200, resp.text
	assert j['token'] == "QpwL5tke4Pnpja7X", resp.text

def test_login_no_password(supply_url):
	url = supply_url + "/login/" 
	data = {'email':'test@test.com'}
	resp = requests.post(url, data=data)
	j = json.loads(resp.text)
	assert resp.status_code == 400, resp.text
	assert j['error'] == "Missing password", resp.text

def test_login_no_email(supply_url):
	url = supply_url + "/login/" 
	data = {}
	resp = requests.post(url, data=data)
	j = json.loads(resp.text)
	assert resp.status_code == 400, resp.text
	assert j['error'] == "Missing email or username", resp.text

Execute o teste usando py.test -v

Veja o resultado como

test_list_user.py::test_list_valid_user[1-George] PASSED                                                                                                                                                                               
test_list_user.py::test_list_valid_user[2-Janet] PASSED                                                                                                                                                                                
test_list_user.py::test_list_invaliduser PASSED                                                                                                                                                                                        
test_login_user.py::test_login_valid PASSED                                                                                                                                                                                            
test_login_user.py::test_login_no_password PASSED                                                                                                                                                                                      
test_login_user.py::test_login_no_email PASSED

Atualize os testes e experimente vários resultados

Resumo

Neste tutorial do PyTest, abordamos

  • Instale o pytest usando instalação de pip pytest=2.9.1
  • Programa pytest simples e execute-o com o comando py.test.
  • Declarações de asserção, assert x==y, retornarão True ou False.
  • Como o pytest identifica arquivos e métodos de teste.
  • Testar arquivos começando com teste_ ou terminando com _teste
  • Métodos de teste começando com teste
  • O comando py.test executará todos os arquivos de teste nessa pasta e subpastas. Para executar um arquivo específico, podemos usar o comando py.test
  • Execute um subconjunto de métodos de teste
  • Agrupamento de nomes de teste por substring match.py.test -k -v executará todos os testes tendo em seu nome.
  • Execute o teste por marcadores. Marque os testes usando @pytest.mark. e execute os testes usando pytest -m para executar testes marcados como .
  • Execute testes em paralelo
  • Instale pytest-xdist usando pip install pytest-xdist
  • Execute testes usando py.test -n NUM onde NUM é o número de trabalhadores
  • Criação de métodos de fixture para executar código antes de cada teste marcando o método com @pytest.fixture
  • O escopo de um método de fixture está dentro do arquivo que ele está definido.
  • Um método de fixture pode ser acessado em vários arquivos de teste, definindo-o no arquivo conftest.py.
  • Um método de teste pode acessar um acessório Pytest usando-o como argumento de entrada.
  • Parametrização de testes para executá-los em vários conjuntos de entradas.
    @pytest.mark.parametrize(“entrada1, entrada2, saída”,[(5,5,10),(3,5,12)])
    def test_add(entrada1, entrada2, saída):
    afirmar entrada1 + entrada2 == saída,”falhou”
    irá executar o teste com entradas (5,5,10) e (3,5,12)
  • Ignorar/xfail testes usando @pytets.mark.skip e @pytest.mark.xfail
  • Crie resultados de testes em formato XML que abrangem testes executadostails usando py.test test_sample1.py -v –junitxml=”result.xml”
  • Um exemplo de estrutura pytest para testar uma API