Сценарии Тестов

Сценарии Тестов (здесь и далее по тексту -- Лектио) -- это часть урока Документы Тестов. В Брацкой Школе, уроки делятся на так называемые лектио, каждое из которых состоит из микролекции и одного или нескольких заключительных вопросов. Урок, в свою очередь, относится к практическому семинару Выбор Профессии.

Материалы

Предшественник этого Лектио -- Поиски и Сценарии.

Текст

Сценарии Тестов

Сценарий теста (test case; в русском сленге, "тест кейс") -- это документация теста, включающая набор требований для его проведения. В системной инженерии задание на функциональный тест, например, определяет входные данные, внешние факторы, доступные активы, процедуры и ожидаемые выходные данные, которые должна производить тестируемая система. Имея эту спецификацию, тестировщик, который проводит функциональное тестирование работы продукта, может оценить, достигает ли тестируемая система целей, для достижения которых она была разработана.

Для того чтоб подготовить Тестовый Пример необходимо знать следующую информацию: описание Требования, которое мы должны проверить; объяснение, как проверить систему; версия приложения, файлы данных, операционная система, аппаратное обеспечение, безопасный доступ, физическая или логическая дата, время суток и т.д.

Не все случаи производительности должны быть очень подробными. Например, один пример теста производительности для этого самого lectio может быть: Оцените, отражает ли заключительный вопрос lectio краткую лекцию, которую включает эта lectio.

Тестовые примеры для Юзабилити-Тестирования редко детализируются; они имеют тенденцию быть более общими, чем для тестирования производительности. Простейший пример теста на удобство использования:

При использовании протестированной системы сообщайте, если вы чувствуете себя некомфортно, запутались или даже начинаете думать, что делать дальше. Регрессионное Тестирование для улучшения пользовательского опыта невозможно; все Юзабилити-Тестирование относится к категории «прогрессивное тестирование».

Тест-кейс — это профессиональная документация тестировщика, последовательность действий направленная на проверку какого-либо функционала, описывающая как придти к фактическому результату.

Набор тест-кейсов называют тест-комплектом. Иногда тест-набор путают с тест-планом. Тест-план описывает какие работы, как и когда должны быть проведены в рамках тестирования продукта, а так же что необходимо для их выполнения.

Зачем нужны тест-кейсы?

Тест-кейсы должен помочь нам провести проверку продукта без ознакомления с всей документацией. Написанный один раз, удобный в поддержке тест-кейс сэкономит много времени и сил тестировщикам.

Не обязательно, но желательно добавить в тест-кейс атрибут история редактирования — это сильно облегчит вам жизнь. Лаконичный журнал изменений, где отраженно: кем, как, и когда был изменен тест-кейс.

Что еще необходимо знать, перед созданием тест-кейса?

Во-первых, каждый выполненный тест-кейс, дает нам один из трех результатов:

1.Положительный результат, если фактический результат равен ожидаемому результату, 2.Отрицательный результат, если фактический результат не равен ожидаемому результату. В этом случае, найдена ошибка. 3.Выполнение теста блокировано, если после одного из шагов продолжение теста невозможно. В этом случае так же, найдена ошибка.

Во-вторых, одним тест-кейсом проверяется одна конкретная вещь, и для этой вещи должен быть только один ожидаемый результат.

Чего не должно быть в тест-кейсе

1. Зависимостей от других тест-кейсов; 2. Нечеткой формулировки шагов или ожидаемого результата; 3. Отсутствия необходимой для прохождения тест-кейса информации; 4. Излишней детализации.

Первого следует избегать, потому что: связанный тест-кейс всегда может быть удален из-за ненадобности или он может быть изменен, в этом случае, станет непонятно как исполнить тест-кейс в которому, есть ссылки.

Так же из-за зависимости тест-кейсов, может возникнуть ощущение, что тестируемый продукт уже приведет к нужному состоянию благодаря выполнению связанных тест-кейсов.

Со вторым думаю все ясно. Если описание шагов или ожидаемое результата будет не четким, то это блокирует прохождение тест-кейса.

В тест-кейса должно быть вся информация, которая необходима для его прохождения. Например, если мы проверяем окно логина на сайте, значит нам понадобится логин и пароль, иначе прохождение этого сценария будет невозможно.

Так же не следует слишком детализировать кейс. Например, если мы проверяем возможность создания комментария, то не стоит писать в каком угле экрана должно быть окно логина. Избыточная информация только затрудняет прохождение тест-кейса.

Сценарное тестирование занимают свою нишу. Я могу себе представить ситуации в тестировании, когда эффективность и воспроизводимость настолько важны, что мы должны написать сценарии для них или их автоматизировать. Например, в случае, когда тестовая платформа регулярно бывает недоступна, как в случае клиент-серверных приложений, в которых есть только несколько настроенных серверов и они должны быть разделены между командами разработки и тестирования. Здравый смысл подсказывает нам, что мы должны заранее тщательно проработать сценарий тестов, чтобы получить максимальную отдачу во время выполнения тестов в выделенное нам время. Исследовательское тестирование особенно полезно в сложных ситуациях тестирования, когда мало что известно о продукте, или как часть подготовки набора сценариев тестов. Основное правило заключается в следующем: исследовательское тестирование используется в тех случаях, когда выполнение следующего теста неочевидно, или когда вы хотите выйти за рамки очевидного. По моему опыту, это происходит в большинстве случаев.

Если одним сценарием тестируется один объект, то ожидаемый результат должен быть одним.

Термины

Требования, Тестовый Пример, Юзабилити-тестирование, Регрессионное Тестирование, Прогрессивное Тестирование

Вопрос(ы)

Судя по прочитанному тексту выше: Регрессионное тестирование вполне возможно для Юзабилити-Тестирования. -- Ложь\Правда

Следующее лектио -- Атрибуты Сценариев