Методы оценки систем

      Если  сравнение пар объектов производится отдельно по различным показателям или сравнение осуществляет группа экспертов, то по каждому показателю или эксперту составляется своя таблица результатов парных сравнений. Сравнение во всех возможных парах не дает полного упорядочения объектов, поэтому возникает задача ранжирования объектов по результатам их парного сравнения.

      Однако, как показывает опыт, эксперт далеко не всегда последователен в своих предпочтениях. В результате использования метода парных сравнений эксперт может указать, что объект а, предпочтительнее объекта а₂, а₂ предпочтительнее объекта а₃ и в то же время а₃ предпочтительнее объекта а,.

      В случае разбиения объекта на классы эксперт может к одному классу отнести пары a_l и а₂, а₂ и а₃, но в то же время объекты а, и а₃ отнести к различным классам. Такая непоследовательность эксперта может объясняться различными причинами: сложностью задачи, неочевидностью предпочтительности объектов или разбиения их на классы (в противном случае, когда все очевидно, проведение экспертизы необязательно), недостаточной компетентностью эксперта, недостаточно четкой постановкой задачи, многокритериальностью рассматриваемых объектов и т.д.

      Непоследовательность  эксперта приводит к тому, что в  результате парных сравнений при определении сравнительной предпочтительности объектов мы не получаем ранжирования и даже отношений частичного порядка не выполнено свойство транзитивности.

      Если  целью экспертизы при определении  сравнительной предпочтительности объектов является получение ранжирования или частичного упорядочения, необходима их дополнительная идентификация. В этих случаях имеет смысл в качестве результирующего отношения выбирать отношение заданного типа, ближайшее к полученному в эксперименте.

      Множественные сравнения. Они отличаются от парных тем, что экспертам последовательно предъявляются не пары, а тройки, четверки,..., n-ки («<ЛО объектов. Эксперт их упорядочивает по важности или разбивает на классы в зависимости от целей экспертизы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях, объем информации для определения экспертного суждения в результате одновременного соотнесения объекта не с одним, а с большим числом объектов. С другой стороны, при ранжировании объектов их может оказаться слишком мно го, что затрудняет работу эксперта и сказывается на качестве результатов экспертизы. В этом случае множественные сравнения позволяют уменьшить до разумных пределов объем поступающей к эксперту информации.

      Непосредственная  оценка. Метод заключается в присваивании объектам числовых значений в шкале интервалов. Эксперту необходимо поставить в соответствие каждому объекту точку на определенном отрезке числовой оси. При этом необходимо, чтобы эквивалентным объектам приписывались одинаковые числа. На рис. 2.6 в качестве примера приведено такое представление для пяти объектов на отрезок числовой оси [0,1].

      Поскольку за начало отсчета выбрана нулевая  точка, то в данном примере измерение производится в шкале отношений. Эксперт соединяет каждый объект линией с точкой числовой оси и получает следующие числовые представления объектов (см. рис. 2.6):

      Ф (а,) = 0,28; <р (а₂) = <р (а₅) = 0,75; ф (а₃) = 0,2; ф (aj = 0,5.

      

      Шкала отношений

            

      

      Измерения в шкале интервалов могут быть достаточно точными при полной информированности экспертов о свойствах объектов.

      

      Оцениваемые объекты

      Рис. 2.6. Пример сравнения пяти объектов по шкале

      На практике встречаются редко, поэтому для измерения применяют балльную оценку. При этом вместо непрерывного отрезка числовой оси рассматривают участки, которым приписываются баллы.

      Эксперт, приписывая объекту балл, тем самым  измеряет его с точностью до определенного  отрезка числовой оси. Применяются 5-, 10- и 100-балльные шкалы.

      Метод Черчмена Акоффа (последовательное сравнение). Этот метод относится к числу наиболее популярных при оценке альтернатив. В нем предполагается последовательная корректировка оценок, указанных экспертами. Основные предположения, на которых основан метод, состоят в следующем:

• каждой альтернативе a_t(i = N) ставится в соответствие 
  действительное неотрицательное число ф (а_г );
• если альтернатива a_i предпочтительнее альтернативы а, 
  то ф (а,.) > ф (а.), если же альтернативы я_г и я   равноценны, 
  тоф(о₍.) = ф(а_/);
• если ф (я,.) и ф (а .)  оценки альтернатив а/ и а •, то ф (а₍.) + ф (а) 
  соответствует совместному осуществлению альтернатив а/ и а.. 
  Наиболее сильным является последнее предположение об адди 
  тивности оценок альтернатив.

      Согласно  методу Черчмена-Акоффа альтернативы a_t, a₂, ... , a_N ранжируются по предпочтительности. Пусть для удобства изложения альтернатива a_l наиболее предпочтительна, за ней следует а₂ и т.д. Эксперт указывает предварительные численные оценки ф (flj) для каждой из альтернатив. Иногда наиболее предпочтительной альтернативе приписывается оценка 1, остальные оценки располагаются между 0 и 1 в соответствии с их предпочтительностью. Затем эксперт производит сравнение альтернативы a_l и суммы альтернатив а₂, ••• > ^ан- Если а\ предпочтительнее, то эксперт корректирует оценки так, чтобы N

      Если  альтернатива а_; оказывается менее предпочтительной, то для уточнения оценок она сравнивается по предпочтению с суммой альтернатив а₂,а₃, ... , a_N_, и т.д. После того как альтернатива a_l оказывается предпочтительнее суммы альтернатив а₂,..., a_k (к > 2), она исключается из рассмотрения, а вместо оценки альтернативы а, рассматривается и корректируется оценка альтернативы я₂- Процесс продолжается до тех пор, пока откорректированными не окажутся оценки всех альтернатив.

      При достаточно большом N применение метода Черчмена-Акоффа становится слишком трудоемким. В этом случае целесообразно разбить альтернативы на группы, а одну из альтернатив, например максимальную, включить во все группы. Это позволяет получить численные оценки всех альтернатив с помощью оценивания внутри каждой группы.

      Метод Черчмена-Акоффа является одним самых  эффективных. Его можно успешно использовать при измерениях в шкале отношений. В этом случае определяется наиболее предпочтительная альтернатива я₍₁. Ей присваивается максимальная оценка. Для всех остальных альтернатив эксперт указывает, во сколько раз они менее предпочтительны, чем а₍₁. Для корректировки численных оценок альтернатив можно использовать как стандартную процедуру метода Черчмена-Акоффа, так и попарное сравнение предпочтительности альтернатив. Если численные оценки альтернатив не совпадают с представлением эксперта об их предпочтительности, производится корректировка.

      Метод фон Неймана—Моргенштерна. Он заключается  в получении численных оценок альтернатив с помощью так называемых вероятностных смесей. В основе метода лежит предположение, согласно которому эксперт для любой альтернативы а-, менее предпочтительной, чем а₍, но более предпочтительной, чем a_t, может указать число а (0 <р < \) такое, что альтернатива а, эквивалентна смешанной альтернативе (вероятностной смеси) [pa_t, (l-р) а/]. Смешанная альтернатива состоит в том, что альтернатива a_f выбирается с вероятностью Р, а альтернатива а_{ с вероятностью \-Р. Очевидно, что если Р достаточно близко к 1, то альтернатива Oj менее предпочтительна, чем смешанная альтернатива [pa_t, (\-p)a_t]. В литературе помимо упомянутого выше предположения рассматривается система предположений (аксиом) о свойствах смешанных и несмешанных альтернатив. К числу таких предположений относятся предположение о связности и транзитивности отношения предпочтительности альтернатив, предположение о том, что смешанная альтернатива\pa_{t ;}, (1-р)а/] предпочтительнее, чем \р'а_{, (1-р') в/], если/»/?' и др.

      Если  указанная система предпочтений выполнена, то для каждой из набора основных альтернатив a_l , а₂, ... , a_N определяются числа jf], х₂, ... , x_n, характеризующие численную оценку смешанных альтернатив.

      Численная оценка смешанной альтернативы \p_l a_lt р₂а₂, ... , P_N a_N] равна х, />, + х₂р₂ + . . . + x_Np_N.

      Смешанная альтернатива \р^а^ р₂а₂, ... , p_Na_N] предпочтительнее смешанной альтернативы \р\ а,, р "₂ а_г , ... , p'_N a_N], если

      х₂р₂ + ... + x_Np_N > Xj/j + х₂р'₂ + ... +x_n p'_N .

     Таким образом, устанавливается существование функции полезности x_lPl+...+x_Np_N, значение которой характеризует степень предпочтительности любой смешанной альтернативы, в частности и несмешанной. Более предпочтительна та смешанная альтернатива, для которой значение функции полезности больше.

      Рассмотренные выше методы экспертных оценок обладают различными качествами, но приводят в общем случае к близким результатам. Практика применения этих методов показала, что наиболее эффективно комплексное применение различных методов для решения одной и той же задачи. Сравнительный анализ результатов повышает обоснованность делаемых выводов. При этом следует учитывать, что методом, требующим минимальных затрат, является ранжирование, а наиболее трудоемким   метод последовательного сравнения (Черчмена   Акоффа). Метод парного сравнения без дополнительной обработки не дает полного упорядочения объектов. 

4. МЕТОДЫ ТИПА ДЕЛЬФИ

      Название  методов экспертной оценки типа Дельфи связано с древнегреческим городом Дельфи, где при храме Аполлона с IX в. до н.э. до IV в. н.э. по преданиям находился Дельфийский оракул.

      3 отличие от традиционных методов  экспертной оценки метод Дельфи предполагает полный отказ от коллективных обсуждений. Это делается для того, чтобы уменьшить влияние таких психологических факторов, как присоединение к мнению наиболее авторитетного специалиста, нежелание отказаться от публично выраженного мнения, следование за мнением большинства. В методе Дельфи прямые дебаты заменены программой последовательных индивидуальных опросов, проводимых в форме анкетирования. Ответы обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют свои первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой сходимости совокупности высказанных мнений. Результаты эксперимента показали приемлемую сходимость оценок экспертов после пяти туров опроса.

      Метод Дельфи первоначально был предложен  О. Хелмером как итеративная процедура «мозговой атаки», которая должна помочь снизить влияние психологических факторов и повысить объективность результатов. Однако почти одновременно Дель-фи-процедуры стали основным средством повышения объективности экспертных опросов с использованием количественных оценок при оценке деревьев цели и при разработке сценариев за счет использования обратной связи, ознакомления экспертов с результатами предшествующего тура опроса и учета этих результатов при оценке значимости мнений экспертов.

      Процедура Дельфи-метода заключается в следующем:

   1) организуется последовательность циклов «мозговой атаки»;

2. разрабатывается программа последовательных индивидуальных опросов с помощью вопросников, исключающая контакты между экспертами, но предусматривающая ознакомление их с мнениями друг друга между турами; вопросники от тура к туру могут уточняться;
3. в наиболее развитых методиках экспертам присваиваются 
   весовые коэффициенты значимости их мнений, вычисляемые на 
   основе предшествующих опросов, уточняемые от тура к туру и 
   учитываемые при получении обобщенных результатов оценок.

      Первое практическое применение метода Дельфи к решению некоторых задач министерства обороны США, осуществленное RAND Corporation во второй половине 40-х гг., показало его эффективность и целесообразность распространения на широкий класс задач, связанный с оценкой будущих событий.

      Недостатки   метода Дельфи:

• значительный расход времени на проведение экспертизы, 
  связанный с большим количеством последовательных повторе 
  ний оценок;
• необходимость неоднократного пересмотра экспертом сво 
  их ответов, вызывающая у него отрицательную реакцию, что ска 
  зывается на результатах экспертизы.

      В 60-е гг. область практического  применения метода Дельфи значительно расширилась, однако присущие ему ограничения привели к возникновению других методов, использующих экспертные оценки. Среди них особого внимания заслуживают методы QUEST, SEER, PATTERN.

      Метод QUEST (Qualitative Utility Estimates for Science and Technology - количественные оценки полезности науки и техники) был разработан для целей повышения эффективности решений по распределению ресурсов, выделяемых на исследования и разработки. В основу метода положена идея распределения ресурсов на основе учета возможного вклада (определяемого метода экспертной оценки) различных отраслей и научных направлений в решение какого-либо круга задач.