Метод экспертных оценок

  3.3. Оценка согласованности мнений экспертов 

    Так же очень важно согласованность  во мнениях экспертов Чередниченко  В.В.¹⁶ и Шнейдерман М.В.¹⁷: при ранжировании объектов эксперты обычно расходятся во мнениях по решаемой проблеме. В связи с этим возникает необходимость количественной оценки степени согласия экспертов. Получение количественной меры согласованности мнений экспертов позволяет более обоснованно интерпретировать причины в расхождении мнений.

  В настоящее время известны две  меры согласованности мнений группы экспертов: дисперсионный и энтропийный коэффициенты конкордации.

  Дисперсионный коэффициент конкордации. Рассмотрим матрицу результатов ранжировки n объектов группой из m экспертов (j=1,…,m; i=1,…,n), где - ранг, присваиваемый j-м экспертом i-му объекту. Составим суммы рангов по каждому столбцу. В результате получим вектор с компонентами [12]

      (i=1,2,…,n).                                                                                                     (5.14)           

  Величины  рассмотрим как реализации случайной величины и найдем оценку дисперсии. Как известно, оптимальная по критерию минимума среднего квадрата ошибки оценка дисперсии определяется формулой [12]:

   ,                                                                                                        (5.15)

где - оценка математического ожидания, равная

                                                                                                                            (5.16)

  Дисперсионный коэффициент конкордации определяется как отношение оценки дисперсии (5.15) к максимальному значению этой оценки [12]

   .                                                                                                                          (5.17)

Коэффициент конкордации изменяется от нуля до единицы, поскольку .

  Вычислим  максимальное значение оценки дисперсии  для случая отсутствия связанных  рангов (все объекты различны). Предварительно покажем, что оценка математического ожидания зависит только от числа объектов и количества экспертов. Подставляя в (5.16) значение  из (5.14), получаем [12]

                                                                                                                       (5.18)

Рассмотрим  вначале суммированные по i при фиксированном  j. Это есть сумма рангов для j-го эксперта. Поскольку эксперт использует для ранжировки натуральные числа от 1 до n, то, как известно, сумма натуральных чисел от 1 до n  равна [12]

                                                                                                                    (5.19)

Подставляя (5.19) в (5.18), получаем [12]

                                                                                                  (5.20)

  Таким образом, среднее значение зависит  только от числа экспертов m и числа объектов n.

  Для вычисления максимального значения оценки дисперсии подставим в (5.15) значение из (5.14) и возведем в квадрат двучлен в круглой скобке. В результате получаем [12]

                                                                          (5.21)

  Учитывая, что из (5.18) следует

  

  получаем [12]

                                                                                              (5.22)

  Максимальное  значение дисперсии достигается  при наибольшем значении первого  члена в квадратных скобках. Величина этого члена существенно зависит от расположения рангов - натуральных чисел в каждой строке i. Пусть, например, все m экспертов дали одинаковую ранжировку для всех n объектов. Тогда в каждой строке матрицы будут расположены одинаковые числа. Следовательно, суммирование рангов в каждой i-u строке дает m-кратное повторение i-ro числа [12]:

  

Возводя в квадрат и суммируя по i, получаем значение первого члена в (5.22) [12]:

                                                                                (5.23)

Теперь  предположим, что эксперты дают несовпадающие  ранжировки, например, для случая n=m все эксперты присваивают разные ранги одному объекту. Тогда [12]

        

Сравнивая это выражение с  при m=n, убеждаемся, что первый член в квадратных скобках формулы (9) равен второму члену и, следовательно, оценка дисперсии равна нулю.

  Таким образом, случай полного совпадения ранжировок экспертов соответствует максимальному значению оценки дисперсии. Подставляя (5.23) в (5.22) и выполняя преобразования, получаем [12]

                                                                                                               (5.24)

Введем  обозначение [12]

                                                                                                               (5.25) 

  Используя (5.25), запишем оценку дисперсии (5.15) в виде [12]

                                                                                                                           (5.26)

  Подставляя (5.24), (5.25), (5.26) в (5.17) и сокращая на множитель (n—1), запишем окончательное выражение для коэффициента конкордации [12]

                                                                                                                   (5.27)

  Данная  формула определяет коэффициент  конкордации для случая отсутствия связанных рангов.

  Если  в ранжировках имеются связанные  ранги, то максимальное значение дисперсии  в знаменателе формулы (5.17) становится меньше, чем при отсутствии связанных рангов. Можно показать, что при наличии связанных рангов коэффициент конкордации вычисляется по формуле [12]:

                                                                                                    (5.28)

где

                                                                                                                    (5.29)

В формуле (5.28) - показатель связанных рангов в j-й ранжировке, - число групп равных рангов в j-й ранжировке, - число равных рангов в k-й группе связанных рангов при ранжировке j-м экспертом. Если совпадающих рангов нет, то =0, =0 и, следовательно, =0. В этом случае формула (5.28) совпадает с формулой (5.27).

  Коэффициент конкордации равен 1, если все ранжировки экспертов одинаковы. Коэффициент конкордации равен нулю, если все ранжировки различны, т. е. совершенно нет совпадения.

  Коэффициент конкордации, вычисляемый по формуле  (5.27) или (5.28), является оценкой истинного значения коэффициента и, следовательно, представляет собой случайную величину. Для определения значимости оценки коэффициента конкордации необходимо знать распределение частот для различных значений числа экспертов m и количества объектов n. Распределение частот для W при и вычислено в [52]. Для больших значений m и n можно использовать известные статистики. При числе объектов n>7 оценка значимости коэффициента конкордации может быть произведена по критерию . Величина Wm(n—1) имеет распределение с v=n –1 степенями свободы.

  При наличии связанных рангов распределение с v=n—1 степенями свободы имеет величина [12]:

                                                                                                 (5.30) 

  Энтропийный коэффициент конкордации определяется формулой (коэффициент согласия) [12]:

                                                                                                                       (5.31)

где Н – энтропия, вычисляемая по формуле

                                                                                                           (5.32) 

а - максимальное значение энтропии. В формуле для энтропии - оценки вероятностей j-го ранга, присваиваемого i-му объекту. Эти оценки вероятностей вычисляются в виде отношения количества экспертов , приписавших объекту ранг j к общему числу экспертов [12].

                                                                                                                              (5.33)

  Максимальное  значение энтропии достигается при  равновероятном распределении рангов, т. е. когда  . Тогда [12]

                                                                                                                        (5.34)

Подставляя  это соотношение в формулу (5.32), получаем [12]

                                                                                                 (5.35)

  Коэффициент согласия изменяется от нуля до единицы. При расположение объектов по рангам равновероятно, поскольку в этом случае . Данный случай может быть обусловлен либо невозможностью ранжировки объектов по сформулированной совокупности показателей, либо полной несогласованностью мнений экспертов. При , что достигается при нулевой энтропии (H=0), все эксперты дают одинаковую ранжировку. Действительно, в этом случае для каждого фиксированного объекта все эксперты присваивают ему один и тот же ранг j, следовательно, , a Поэтому и H=0.

  Сравнительная оценка дисперсионного и энтропийного коэффициентов конкордации показывает, что эти коэффициенты дают примерно одинаковую оценку согласованности экспертов при близких ранжировках. Однако если, например, вся группа экспертов разделилась в мнениях на две подгруппы, причем ранжировки в этих подгруппах противоположные (прямая и обратная), то дисперсионный коэффициент конкордации будет равен нулю, а энтропийный коэффициент конкордации будет равен 0,7. Таким образом, энтропийный коэффициент конкордации позволяет зафиксировать факт разделения мнений на две противоположные группы. Объем вычислений для энтропийного коэффициента конкордации несколько больше, чем для дисперсионного коэффициента конкордации. 
 
 
 
 

  3.4. Обработка парных сравнений объектов 

    Из работ Кемени Д., Снелл Д.¹⁸ и Толстова Ю.Н. ¹⁹²⁰:при решении задачи оценки большого числа объектов (ранжирование, определение относительных весов, балльная оценка) возникают трудности психологического характера, обусловленные восприятием экспертами множества свойств объектов. Эксперты сравнительно легко решают задачу парного сравнения объектов. Возникает вопрос, каким образом получить оценку всей совокупности объектов на основе результатов парного сравнения, не накладывая условия транзитивности? Рассмотрим алгоритм решения этой задачи. Пусть m экспертов производят оценку всех пар объектов, давая числовую оценку [12]

                                                                                                           (5.36)