Разработка и сопровождение программ

а) они  являются средством связи между  всеми участниками проекта и  описывают подробности решений, принятых относительно требований к  ПО, проекту, программированию и тестированию;

б) они  описывают обязанности группы разработки и определяют, кто, что и когда делает, учитывая роль программного обеспечения, предмета работ, документации, персонала, обеспечивающего качество, и каждого вовлеченного в процесс разработки;

в) они  выступают, как контрольные пункты, которые позволяют руководителям оценивать ход разработки (если документы разработки отсутствуют, неполны или устарели, то руководители проекта теряют важное средство для отслеживания и контроля проекта);

г) они  образуют основу документации сопровождения  ПО, требуемой лицам, сопровождающим ПО, как часть документации продукции;

д) они  описывают историю разработки ПО. 

3.6 Системное тестирование 

Тестирование  (testing), как мы уже выяснили-процесс

выполнения программы (или части программы) с намерением (или целью) найти ошибки.

Тестирование  является неотъемлемой частью разработки любого компонента программного изделия (ПИ), а системное тестирование –  это завершающая фаза жизненного цикла разработки ПИ. Процесс тестирования в коллективах, занимающихся разработкой  ПИ, может быть организован разными способами. Однако любой процесс тестирования должен быть направлен на выполнение главной цели, которая состоит в обнаружении дефектов в тестируемом объекте, выявлении расхождений между спецификациями проектирования и требованиями к ПИ и его реальным поведением. (Разделение обязанностей по осуществлению тестирования между разработчиками и тестировщиками описано на с. 30-33 наст. ном. журн). Авторы предлагают вниманию читателей описание процесса системного тестирования, принятое в ИДУ.

Работы  по тестированию ПИ разделены между  разработчиками ПИ и группой системного тестирования. Разработчики ПИ выполняют  модульное тестирование, интеграционное и тестирование работоспособности  ПИ. Системное тестирование выполняется  в отдельной группе, которая названа группой системного тестирования (ГСТ).

ГСТ не участвует в разработке кода ПИ и  пользовательской документации, а занимается только системным тестированием  готовой версии ПИ. Главной целью  системного тестирования является обнаружение  дефектов в готовой версии ПИ и выявление расхождений между требованиями заказчика к ПИ и реальным поведением ПИ при его работе (подтверждение соответствия реального поведения ПИ требованиям заказчика).

Для этого  в ГСТ разрабатывается комплекс системных тестов (тестовый комплект), который должен представлять собой совокупность программ и документов, необходимых и достаточных для обеспечения выявления дефектов в программных кодах ПИ и пользовательской документации, для обнаружения и документирования расхождений между требованиями заказчика к ПИ и его реальным поведением.

В ИДУ  для каждого проекта по разработке ПИ из состава ГСТ выделяется  ответственный системный тестировщик, который начинает работы по системному тестированию непосредственно после утверждения "Положения о работе" для данного проекта ПИ. Он получает доступ к любой информации по проекту тестируемого ПИ, в том числе к исходным кодам ПИ в дальнейшем. Это обусловливает более эффективную и целенаправленную работу системного тестирования. По результатам ознакомления с требованиями заказчика к ПИ системный тестировщик проверяет каждое требование на возможность его тестируемости.

ГСТ начинает свою работу по созданию тестового  комплекта для ПИ с составления  плана системного тестирования сразу  после утверждения требований заказчика к нему. Приведем  перечень основных материалов, создаваемых в ходе  разработки тестового комплекта и выполнения циклов системного тестирования,  который приняты ИДУ в качестве обязательного. В перечень входят:

·     план системного тестирования, основой которого являются утвержденные требования заказчика к ПИ и проектный план разработки ПИ;

·     процедуры системного тестирования – документы, описывающие порядок выполнения тестов, обеспечивающие требуемую последовательность запуска системных тестов и критерии их успешного завершения (в процедурах системного тестирования необходимо также приводить подробные описания запуска неавтоматизированных тестов);

·     матрица покрытия требований, в которой каждому требованию заказчика поставлены в соответствие один или несколько тестов из тестового комплекта;

·     автоматизированный тестовый комплект – совокупность текстовых (на принятом языке программирования), загрузочных и других файлов, обеспечивающих выполнение операций автоматизированного системного тестирования ПИ (в тестовом комплекте могут быть тесты, выполняемые вручную);

·     отчет о результатах системного тестирования, выполненного на основе использования автоматизированного тестового комплекта в соответствии с процедурами системного тестирования (включая тесты, выполняемые вручную).

Разработка  тестового комплекта. ГСТ занимается разработкой автоматизированного  тестового комплекта для ПИ в  соответствии с составленным для  этого ПИ планом системного тестирования. Тестовый комплект должен покрывать все требования заказчика к ПИ. Для этого ответственный системный тестировщик должен работать совместно с разработчиками, чтобы удалить все не тестируемые требования и обеспечить возможность покрытия на 100 % всех требований заказчика к ПИ (пример не тестируемого требования: интерфейс должен быть дружественным).

Большинство тестов, входящих в состав тестового  комплекта, должно выполняться в  автоматическом режиме, за исключением  тестов для проверки тех требований, проверка которых в автоматическом режиме невозможна или нецелесообразна.

План  системного тестирования и проектный  план разработки ПИ должны быть согласованными. Это означает, что основные вехи разработки тестового комплекта  согласуются по срокам с вехами разработки ПИ. При этом целесообразно, чтобы завершение разработки тестового комплекта планировалось в те же сроки, что и завершение отладки текущей версии ПИ.

Покрытие  кода тестируемого ПИ. Одной из косвенных  характеристик полноты тестового  комплекта является коэффициент  покрытия кода тестируемого ПИ, который представляет собой отношение числа строк кода ПИ, достигаемых в ходе выполнения тестового комплекта, к общему числу строк кода ПИ. Для полноценного тестового комплекта величина коэффициента покрытия кода должна быть не менее заданного значения в требованиях заказчика к ПИ. В ИДУ принято, что этот коэффициент должен быть не менее 0.75.

Вехи  системного тестирования. Ответственный  системный тестировщик должен определить вехи системного тестирования ПИ, которые  утверждаются руководителями проектной группы и ГСТ. Утвержденные вехи должны быть включены в соответствующий план системного тестирования. Обязательными вехами являются: окончание работ по разработке плана системного тестирования, разработке набора тестов для каждой функциональной компоненты, определенной в требованиях заказчика к ПИ; окончание составления тестовых процедур; завершение каждого из запланированных циклов системного тестирования.

Циклы системного тестирования – это деятельность системных тестировщиков по проверке ПИ между моментом, когда разработчики предоставляют версию ПИ для системного тестирования и моментом представления ГСТ разработчикам отчета о выполненном системном тестировании. Продолжительность цикла системного тестирования, принятого в ИДУ, не должна превышать одного месяца. Циклы тестирования обязательно должны планироваться в соответствии с вехами программной разработки, указанными в проектном плане ПИ. Последний цикл системного тестирования часто называют выходным тестированием.

Входными  данными для каждого цикла системного тестирования в соответствии с порядком, принятым в ИДУ, являются: комплект инсталляционных файлов ПИ (дискет); отчеты о модульном и интеграционном тестировании, о тестировании работоспособности; отчет руководителя проекта о сборке версии ПИ; журнал тестирования.

В перечень выходных данных цикла системного тестирования входят:

отчет о системном тестировании, включающий в себя описание тестового комплекта, сам тестовый комплект и результаты тестирования; журнал тестирования, содержащий записи осуществленных в хронологическом порядке действий при выполнении циклов тестирования; отчет об инцидентах системного тестирования. Под инцидентом системного тестирования понимается зафиксированное в базе данных дефектов системным тестировщиком отклонение хода выполнения системного теста от ожидаемого. Истинной причиной такого отклонения может быть как дефект в ПИ, так и дефект в самом тесте.

Для выполнения цикла системного тестирования предварительно необходимо определить требуемые ресурсы  для его проведения (например количество тестировочных машин, их конфигурация). В ходе выполнения цикла системного тестирования выполняются автоматизированные и неавтоматизированные инсталляционные и функциональные тесты; проверяется устранение дефектов, обнаруженных на предыдущем цикле системного тестирования; составляется и передается разработчикам ПИ отчет об инцидентах системного тестирования; регистрируются дефекты, обнаруженные в самом тестовом комплекте. Непосредственно после выполнения этих действий начинается подготовка к следующему циклу тестирования. При этом исправляются обнаруженные дефекты в тестовом комплекте, составляются новые тесты, требуемые для выполнения последующего цикла тестирования.

Разновидности системного тестирования. Тестовый комплект для системного тестирования должен включать в свой состав столько видов тестов, сколько необходимо для выполнения главной задачи тестирования: инсталляционные тесты, функциональные, сценарные, тесты производительности, граничные, тесты проверки взаимодействия ПИ со средой и проверка документации. Кроме того, могут выполняться специальная проверка на соответствие ПИ принятым стандартам и другие проверки для подтверждения полного соответствия ПИ требованиям заказчика. В соответствии с набором видов тестов в тестовом комплекте различают и виды системного тестирования.