Come eseguire lo script come test pytest

Supponiamo che io abbia un test espresso come un semplice script con assert-statements (vedi sfondo per il motivo), ad es

import foo
assert foo(3) == 4

Come includerei questo script nella mia suite di test più pytest - in un modo carino?

Ho provato due approcci funzionanti ma tutt'altro che piacevoli:

Un approccio consiste nel nominare lo script come un test, ma questo fa sì che l'intera scoperta pytest fallisca quando il test fallisce.

Il mio approccio attuale è importare lo script da una funzione di test:

def test_notebooks():
    notebook_folder = Path(__file__).parent / 'notebooks'
    for notebook in notebook_folder.glob('*.py'):
        import_module(f'{notebook_folder.name}.{notebook.stem}')

Funziona, ma gli script non vengono riportati individualmente e gli errori dei test hanno una traccia dello stack lunga e tortuosa:

__________________________________________________ test_notebooks ___________________________________________________

    def test_notebooks():
        notebook_folder = Path(__file__).parent / 'notebooks'
        for notebook in notebook_folder.glob('*.py'):
>           import_module(f'{notebook_folder.name}.{notebook.stem}')

test_notebooks.py:7:
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _
envs\anaconda\lib\importlib\__init__.py:127: in import_module
    return _bootstrap._gcd_import(name[level:], package, level)
<frozen importlib._bootstrap>:1006: in _gcd_import
... (9 lines removed)...
<frozen importlib._bootstrap>:219: in _call_with_frames_removed
    ???
_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _

>   assert False
E   AssertionError

notebooks\notebook_2.py:1: AssertionError

sfondo

Il motivo per cui ho dei test nei file di script è che sono davvero notebook Jupyter salvati come file .pycon markup dall'eccellente plugin jupytext .

Questi notebook vengono convertiti in html per la documentazione, possono essere utilizzati in modo interattivo per l'apprendimento del sistema e servono come test funzionali economici.

Esecuzione di script in una funzione di test

Non c'è niente di sbagliato nel chiamare gli script da una funzione di test, quindi il tuo approccio va benissimo. Tuttavia, userei la parametrizzazione invece di eseguire gli script in un ciclo for; in questo modo il test viene eseguito correttamente una volta per script. Se non ti piacciono i lunghi traceback, puoi tagliarli in un pytest_exception_interacthookimpl personalizzato . Esempio:

# conftest.py

def pytest_exception_interact(node, call, report):
    excinfo = call.excinfo
    if 'script' in node.funcargs:
        excinfo.traceback = excinfo.traceback.cut(path=node.funcargs['script'])
    report.longrepr = node.repr_failure(excinfo)

Test parametrizzati:

# test_spam.py

import pathlib
import runpy
import pytest

scripts = pathlib.Path(__file__, '..', 'scripts').resolve().glob('*.py')


@pytest.mark.parametrize('script', scripts)
def test_script_execution(script):
    runpy.run_path(script)

L'esecuzione del test produce (per il test, ho creato semplici script con singole righe come assert Falseo 1 / 0:

$ pytest -v
======================================= test session starts ========================================
platform linux -- Python 3.6.8, pytest-4.6.3, py-1.8.0, pluggy-0.12.0 -- /home/hoefling/projects/.venvs/stackoverflow/bin/python3.6
cachedir: .pytest_cache
rootdir: /home/hoefling/projects/private/stackoverflow/so-56807698
plugins: mock-1.10.4, cov-2.7.1, forked-1.0.2, xdist-1.28.0, django-3.4.8
collected 3 items                                                                                  

test_spam.py::test_script_execution[script0] PASSED
test_spam.py::test_script_execution[script1] FAILED
test_spam.py::test_script_execution[script2] FAILED

============================================= FAILURES =============================================
____________________________________ test_script_runpy[script1] ____________________________________

>   assert False
E   AssertionError

scripts/script_3.py:1: AssertionError
____________________________________ test_script_runpy[script2] ____________________________________

>   1 / 0
E   ZeroDivisionError: division by zero

scripts/script_2.py:1: ZeroDivisionError
================================ 2 failed, 1 passed in 0.07 seconds ================================

Protocollo di prova personalizzato

Se non ti piace la soluzione di cui sopra, un'altra cosa a cui posso pensare è implementare la tua raccolta di test e il protocollo di esecuzione. Esempio:

# conftest.py

import pathlib
import runpy
import pytest


def pytest_collect_file(parent, path):
    p = pathlib.Path(str(path))
    if p.suffix == '.py' and p.parent.name == 'scripts':
        return Script(path, parent)


class Script(pytest.File):
    def collect(self):
        yield ScriptItem(self.name, self)


class ScriptItem(pytest.Item):
    def runtest(self):
        runpy.run_path(self.fspath)

    def repr_failure(self, excinfo):
        excinfo.traceback = excinfo.traceback.cut(path=self.fspath)
        return super().repr_failure(excinfo)

Questo raccoglierà ogni .pyfile nella scriptsdirectory, avvolgerà ogni script in un test case e invocerà runpyl'esecuzione del test. Il registro di esecuzione avrà più o meno lo stesso aspetto, solo i test denominati in modo diverso.