Данные для Тестов

Наблюдать и Мерить (здесь и далее по тексту -- Лектио) -- это часть урока Суть Тестировки. В Брацкой Школе, уроки делятся на так называемые лектио, каждое из которых состоит из микролекции и одного или нескольких заключительных вопросов. Урок, в свою очередь, относится к практическому семинару Выбор Профессии.

Материалы

Предшественник этого Лектио -- Что Есть Тест.

Текст

Наблюдать и Мерить

Практически любое тестирование включает наблюдение; некоторые тесты включают измерения. Наблюдение не заменяет измерения и измерение не заменяет наблюдения. Они дополняют друг друга.

4.3.2 Начните с того места, где вы находитесь

Ключевое сообщение

В процессе устранения старых, неудачных методов или услуг и создания чего-то лучшего может возникнуть большой соблазн удалить то, что было сделано в прошлом, и построить что-то совершенно новое. Это редко бывает необходимо, или это мудрое решение. Такой подход может быть чрезвычайно расточительным не только с точки зрения времени, но и с точки зрения потери существующих услуг, процессов, людей и инструментов, которые могут иметь существенное значение в усилиях по улучшению. Не начинайте сначала, не подумав о том, что уже доступно для использования.

История ITIL: приложение для бронирования Axle

Марко: Приложение для бронирования осей было впервые разработано два года назад. Приложение больше не соответствует бизнес-требованиям. Он не может удовлетворить те достижения в технологиях, которые мы используем сейчас, такие как биометрическая система и система помощи водителю.

Например, нам нужно, чтобы в нашем приложении была возможность сканировать и проверять отпечатки пальцев и изображения лиц наших клиентов. Текущая кодировка просто не может этого поддержать. Нам нужно новое приложение!

4.3.2.1 Оцените, где вы находитесь

Уже существующие услуги и методы следует измерять и / или непосредственно наблюдать, чтобы правильно понять их текущее состояние и то, что можно использовать повторно.

Решения о дальнейших действиях должны основываться на максимально точной информации. Внутри организаций часто бывает несоответствие между отчетами и реальностью. Это происходит из-за сложности точного измерения определенных данных или непреднамеренного смещения или искажения данных, получаемых с помощью отчетов. Получение данных из источника помогает избежать предположений, которые, если они окажутся необоснованными, могут иметь катастрофические последствия для сроков, бюджета и качества результатов.

Тем, кто наблюдает за деятельностью, не следует бояться задавать вопросы, которые могут показаться глупыми. Иногда для человека, мало или совсем не знающего об услуге, может быть полезно участвовать в наблюдении, поскольку у него нет предубеждений об услуге и он может заметить вещи, которые могут упустить те, кто более тесно связан с ней.

История ITIL: оценка текущего состояния

Анри: Всем нравится идея нового приложения, и ИТ-специалисты стремятся начать сбор требований пользователей, чтобы мы могли начать разработку. Однако, прежде чем мы будем разрабатывать совершенно новое приложение, давайте оценим его текущее состояние и выясним, есть ли какие-либо функции, которые мы можем использовать повторно.

Текущий процесс бронирования автомобиля соответствует основным требованиям, и его не нужно менять. Нам просто нужен дополнительный функционал. Например, не изменится процесс регистрации, хранения и начисления баллов для нашей программы лояльности.

Мы также должны учитывать ограничения технологии, которую используют наши клиенты. Если мы хотим внедрить распознавание биометрических данных, пользователям потребуются современные устройства. Я не уверен, что все они делают, поэтому нам следует изучить ограничения и возможности здесь.

Марко: Наше текущее приложение для бронирования работает хорошо. Данные об инцидентах показывают, что клиенты очень мало обращаются в службу поддержки. Это указывает на то, что текущая функциональность пригодна для использования и соответствует требованиям заказчика.

Анри: Однако наши фокус-группы показывают, что клиенты избегают использования приложения, потому что оно медленное и сложное в использовании. Раньше при обновлении основное внимание уделялось технологиям, а не требованиям наших клиентов. У нас не было гибкости, чтобы легко настроить функциональность в соответствии с новыми и изменяющимися предложениями услуг. Таким образом, надежность и удобство использования приложения для бронирования невозможно оценить только на основе данных зарегистрированных инцидентов.

Нам необходимо подтвердить эти выводы другими исследованиями.

4.3.2.2 Роль измерения

Использование измерения важно для этого принципа. Однако он должен поддерживать, но не заменять то, что наблюдается, поскольку чрезмерная зависимость от анализа данных и отчетности может непреднамеренно внести предвзятость и риски в процессе принятия решений. Организациям следует рассмотреть различные методы развития знаний об окружающей среде, в которой они работают. Хотя верно, что некоторые вещи можно понять только путем измерения их воздействия (например, таких природных явлений, как ветер), прямое наблюдение всегда должно быть предпочтительным вариантом. Слишком часто существующие данные используются без учета прямого личного расследования.

Следует отметить, что процесс измерения иногда может повлиять на результаты, делая их неточными. Например, если служба поддержки знает, что за ней следят по длительности разговора по телефону, она может слишком сосредоточиться на минимизации взаимодействия с клиентами (что приводит к получению хороших отчетов), вместо того, чтобы фактически помогать пользователям решать проблемы к их удовлетворению. Люди очень изобретательны в поиске способов достижения показателей, по которым они измеряются. Следовательно, показатели должны быть значимыми и напрямую связаны с желаемым результатом.

«Когда мера становится целью, она перестает быть хорошей мерой - закон Гудхарта»

Термины

Тестирование, Субъект Тестирования, Брацко Облако, Тестируемый объект

Вопрос(ы)

Тестирование _______ это кто-то или что-то, кто проводит тест.

Следующее лектио -- Методы Тестировки