пятница, 7 марта 2014 г.

Ещё о тестах

bq. Концепция запуска автотестов подразумевает, что они будут запущены на чистых настройках.

Вот совсем нет.

Тесты это не только инструмент проверки и валидации. Это ещё и инструмент разработки.

Если тест от запуска к запуску показывает разные результаты - это как минимум странно.

А как максимум - неудобно. Для разработчика.

Вот разработчик правит ошибку. Запустил тест. Он как-то прошёл. Разработчик что-то поправил у себя в коде. Запускает тест по  новой. Он опять как-то прошёл. С другими результатами.

У разработчика возникает вопрос - эти результаты другие потому, что код поменялся или потому, что тест нестабильный.

если тест требует ДЕТЕРМИНИРОВАННЫХ условий, то это - ИНВАРИАНТ - ПРЕДУСЛОВИЕ  
и тест ПЕРВЫМ делом должен ПОСТУЛИРОВАТЬ этот ИНВАРИАНТ 

а потом только делать всё остальное 

Комментариев нет:

Отправить комментарий