Методы оценки систем

Введение 

      Методы  оценивания систем разделяются на качественные и количественные.

      Качественные  методы используются на начальных этапах моделирования, если реальная система не может быть выражена в количественных характеристиках, отсутствуют описания закономерностей систем в виде аналитических зависимостей. В результате такого моделирования разрабатывается концептуальная модель системы.

      Количественные  методы используются на последующих  этапах моделирования для количественного анализа вариантов системы.

      Между этими крайними методами имеются и такие, с помощью которых стремятся охватить все этапы моделирования от постановки задачи до оценки вариантов, но для представления задачи оценивания привлекают разные исходные концепции и терминологию с разной степенью формализации. К ним относят:

• кибернетический подход к разработке адаптивных систем управления, проектирования и принятия решений (который исходит из теории автоматического управления применительно корганизационным системам);
• информационно-гносеологический подход к моделированию систем (основанный на общности процессов отражения, по знания в системах различной физической природы);
• структурный и объектно-ориентированные подходы системного анализа;
• метод ситуационного моделирования;
• метод имитационного динамического моделирования.

      Такие методы позволяют разрабатывать  как концептуальные, так и строго формализованные модели, обеспечивающие требуемое качество оценки систем.

      Во  всех методах смысл задачи оценивания состоит в сопоставлении рассматриваемой системе (альтернативе) вектора из критериального пространства К_т, координаты точек которого рассматриваются как оценки по соответствующим критериям.

      Например, пусть множество Q разбито на / подмножеств Q1, Q2, ..., qi- Для элемента х е Q необходимо указать, к какому из подмножеств Q_i он относится. В этом случае элементу х сопоставляется одно из чисел 1, 2, ...,l, в зависимости от номера содержащего его подмножества.

      Простейшей  формой задачи оценивания является обычная  задача измерения, когда оценивание есть сравнение с эталоном, а решение задачи находится подсчетом числа эталонных единиц в измеряемом объекте. Например, пусть х - отрезок, длину которого надо измерить. В этом случае отрезку сопоставляется действительное число ф (х) - его длина.

      Более сложные задачи оценивания разделяются на задачи: парного сравнения, ранжирования, классификации, численной оценки.

      Задача  парного сравнения заключается  в выявлении лучшего из двух имеющихся  объектов. Задача ранжирования - в упорядочении объектов, образующих систему, по убыванию (возрастанию) значения некоторого признака. Задача классификации - в отнесении заданного элемента к одному из подмножеств. Задача численной оценки - в сопоставлении системе одного или нескольких чисел.

      Перечисленные задачи могут быть решены непосредственно лицом, принимающим решение, или с помощью экспертов - специалистов в исследуемой области. Во втором случае решение задачи оценивания называется экспертизой. 

МЕТОДЫ  КАЧЕСТВЕННОГО ОЦЕНИВАНИЯ СИСТЕМ

      Качественные  методы измерения и оценивания характеристик систем, используемые в системном анализе, достаточно многочисленны и разнообразны.

      К основным методам качественного  оценивания систем относят:

• методы типа мозговой атаки или коллективной генерации идей;

• типа сценариев;

• экспертных оценок;
• типа Дельфи;
• типа дерева целей;
• морфологические методы.

1. МЕТОДЫ  ТИПА «МОЗГОВАЯ АТАКА»

ИЛИ «КОЛЛЕКТИВНАЯ ГЕНЕРАЦИЯ  ИДЕЙ»

      Концепция «мозговая атака» получила широкое  распространение с начала 50-х гг. как метод тренировки мышления, нацеленный на открытие новых идей и достижение согласия группы людей на основе интуитивного мышления. Методы этого типа известны также под названиями «мозговой штурм», «конференция идей», «коллективная генерация идей» (КГИ).

      Обычно  при проведении сессий КГИ стараются  выполнять определенные правила, суть которых:

• обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей;
• приветствовать любые идеи, даже если вначале они кажутся сомнительными или абсурдными (обсуждение и оценка идей производятся позднее);
• не допускать критики любой идеи, не объявлять ее ложной и не прекращать обсуждение;
• желательно высказывать как можно больше идей, особенно нетривиальных.

      В зависимости от принятых правил и  жесткости их выполнения различают прямую «мозговую атаку», метод обмена мнениями и другие виды коллективного обсуждения идей и вариантов принятия решений. В последнее время стараются ввести правила, помогающие сформировать некоторую систему идей, т.е. предлагается, например, считать наиболее ценными те из них, которые связаны с ранее высказанными и представляют собой их развитие и обобщение. Участникам не разрешается зачитывать списки предложений, которые они подготовили заранее. В то же время, чтобы предварительно нацелить участника на обсуждаемый вопрос, при организации сессий КГИ заранее или перед на чалом сессии участникам представляется некоторая предварительная информация об обсуждаемой проблеме в письменной или устной форме. Подобием сессий КГИ можно считать разного рода совещания - конструктораты, заседания научных советов по проблемам, заседания специально создаваемых временных комиссий и другие собрания компетентных специалистов.

      Так как на практике трудно собрать специалистов ввиду их занятости по основной работе, желательно привлекать компетентных специалистов, не требуя обязательного их присутствия на общих собраниях КГИ и устного высказывания своих соображений хотя бы на первом этапе системного анализа при формировании предварительных вариантов. 

2. МЕТОДЫ ТИПА СЦЕНАРИЕВ

      Методы  подготовки и согласования представлений о проблеме или анализируемом объекте, изложенные в письменном виде, получили название сценария. Первоначально этот метод предполагал подготовку текста, содержащего логическую последовательность событий или возможные варианты решения проблемы, упорядоченные по времени. Однако требование временных координат позднее было снято, и сценарием стали называть любой документ, содержащий анализ рассматриваемой проблемы или предложения по ее решению независимо от того, в какой форме он представлен.

      Сценарий  не только предусматривает содержательные рассуждения, которые помогают не упустить детали, обычно не учитываемые при формальном представлении системы (в этом и заключалась первоначально основная роль сценария), но и содержит результаты количественного технико-экономического или статистического анализа с предварительными выводами, которые можно получить на их основе. Группа экспертов, подготавливающих сценарии, пользуется правом получения необходимых справок от организаций, консультаций специалистов. Понятие сценариев расширяется в направлении как областей применения, так и форм представления и методов их разработки: в сценарий не только вводятся количественные параметры и устанавливаются их взаимосвязи, но и предлагаются методики составления сценариев с использованием ЭВМ.

        На практике по типу сценариев  разрабатывались прогнозы в некоторых  отраслях промышленности. В настоящее  время разновидностью сценариев можно считать предложения к комплексным программам развития отраслей народного хозяйства, подготавливаемыеt организациями или специальными комиссиями. Существенную помощь в подготовке сценариев оказывают специалисты по системному анализу. Весьма перспективной представляется разработка специализированных информационно-поисковых систем, накапливающих прогнозную информацию по данной отрасли и по смежным отраслям.

      Сценарий  является предварительной информацией, на основе которой проводится дальнейшая работа по прогнозированию или разработке вариантов проекта. Таким образом, сценарий помогает составить представление о проблеме, а затем приступить к более формализованному представлению системы в виде графиков, таблиц для проведения других методов системного анализа. 

3. МЕТОДЫ ЭКСПЕРТНЫХ ОЦЕНОК

      Группа  методов экспертных оценок наиболее часто используется в практике оценивания сложных систем на качественном уровне. Термин «эксперт» происходит от латинского слова expert - «опытный».

      При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. В некоторых теоретических исследованиях отмечается, что это предположение не является очевидным, но одновременно утверждается, что при соблюдении определенных требований в большинстве случаев групповые оценки надежнее индивидуальных. К числу таких требований относятся: распределение оценок, полученных от экспертов, должно быть «гладким»; две групповые оценки, данные двумя одинаковыми подгруппами, выбранными случайным образом, должны быть близки.

      Все множество проблем, решаемых методами экспертных оценок, делится на два класса. К первому классу относятся такие, в отношении которых имеется достаточное обеспечение информацией. При этом методы опроса и обработки основываются на использовании принципа «хорошего измерителя», т.е. эксперт источник достоверной информации; групповое мнение экспертов близко к истинному решению. Ко второму классу относятся проблемы, в отношении которых знаний для уверенности и справедливости указанных гипотез недостаточно. В этом случае экспертов нельзя рассматривать как «хороших измерителей» и необходимо осторожно подходить к обработке результатов экспертизы.

      Экспертные  оценки несут в себе как узкосубъективные черты, присущие каждому эксперту, так и коллективно-субъективые, присущие коллегии экспертов. И если первые устраняются в процессе обработки индивидуальных экспертных оценок, то вторые не исчезают, какие бы способы обработки не применялись.

      Этапы экспертизы формирование цели, разработка процедуры экспертизы, формирование группы экспертов, опрос, анализ и обработка информации.

      При формулировке цели экспертизы разработчик  должен выработать четкое представление о том, кем и для каких целей будут использованы результаты.

      При обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации W, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 < W < I, где W = 0 означает полную противоположность, a W = 1 - полное совпадение ранжировок. Практически достоверность считается хорошей, если W = 0,7-0,8.

      Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.

      Для наглядности представления о  степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции р, он принимает значения -1 < р < +1. Значение р = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а значение р = -1 -двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

      Тип используемых процедур экспертизы зависит от задачи оценивания.

      К наиболее употребительным процедурам экспертных измерений относятся:

• ранжирование;
• парное сравнивание;
• множественные сравнения;
• непосредственная оценка;
• Черчмена-Акоффа;
• метод Терстоуна;
• метод фон Неймана-Моргенштерна.