Эконометрические методы проведения экспертных исследований и анализа оценок экспертов

 

Примечание. Эксперт № 4 считает, что  проекты М-К и Б равноценны, но уступают лишь одному проекту - проекту  Сол. Поэтому проекты М-К и Б  должны были бы стоять на втором и третьем  местах и получить баллы 2 и 3. Поскольку  они равноценны, то получают средний балл (2+3) / 2 = 5/ 2 = 2,5.

Наименьший средний ранг, равный 2,625, у проекта Б, - следовательно, в итоговой ранжировке он получает ранг 1. Следующая по величине сумма, равная 3,125, у проекта М-К. И он получает итоговый ранг 2. Проекты Л  и Сол имеют одинаковые суммы (равные 3,25), значит, с точки зрения экспертов они равноценны (при рассматриваемом способе сведения вместе мнений экспертов с целью получения итоговой ранжировки), а потому они должны бы стоять на 3 и 4 местах и получают средний балл (3+4) /2 = 3,5. Дальнейшие результаты приведены в табл.2 ниже.

Итак, ранжировка по суммам рангов (или, что то же самое, по средним арифметическим рангам) имеет вид:

Б < М-К < {Л, Сол} < Д < Стеф < Г-Б < К. (1)

Здесь запись типа "А<Б" означает, что проект А предшествует проекту Б (т.е. проект А лучше проекта Б). Поскольку проекты Л и Сол получили одинаковую сумму баллов, то по рассматриваемому методу они эквивалентны, а потому объединены в группу - класс эквивалентности (в фигурных скобках). В терминологии математической статистики ранжировка (1) имеет одну связь.

Метод медиан рангов. Значит, наука  сказала свое слово, итог расчетов - ранжировка (1), и на ее основе предстоит  принимать решение? Но тут наиболее знакомый с современной эконометрикой  член Совета директоров вспомнил то, о чем говорилось в главе 3, посвященной теории измерений. Он вспомнил, что ответы экспертов измерены в порядковой шкале, а потому для них неправомерно проводить усреднение методом средних арифметических. Надо использовать метод медиан.

Что это значит? Напомним, что надо взять ответы экспертов, соответствующие  одному из проектов, например, проекту  Д. Это ранги 5, 5, 1, 6, 8, 5, 6, 5, 6, 5, 7, 1. Затем  их надо расположить в порядке  неубывания (проще было бы сказать - "в порядке возрастания", но поскольку некоторые ответы совпадают, то приходится использовать непривычный термин "неубывание"). Получим последовательность: 1, 1, 5, 5, 5, 5, 5, 6, 6, 6, 7, 8. На центральных местах - шестом и седьмом - стоят 5 и 5. Следовательно, медиана равна 5.

Табл.2. Результаты расчетов по методу средних арифметических и методу медиан для данных, приведенных в  табл.1.

	Д	Л	М-К	Б	Г-Б	Сол	Стеф	К
Сумма рангов	60	39	37,5	31.5	76	39	64	85
Среднее арифметическое рангов	5	3,25	3,125	2,625	6,333	3,25	5,333	7,083
Итоговый ранг по среднему арифметическому	5	3,5	2	1	7	3,5	6	8
Медианы рангов	5	3	3	2,25	7,5	4	6	7
Итоговый ранг по медианам	5	2,5	2,5	1	8	4	6	7

 

Медианы совокупностей из 12 рангов, соответствующих определенным проектам, приведены в предпоследней строке табл.2. (При этом медианы вычислены по обычным правилам статистики - как среднее арифметическое центральных членов вариационного ряда) Итоговое упорядочение по методу медиан приведено в последней строке табл.2. Ранжировка (т.е. упорядочение - итоговое мнение комиссии экспертов) по медианам имеет вид:

Б < {М-К, Л} < Сол < Д < Стеф < К <Г-Б. (2)

Поскольку проекты Л и М-К  имеют одинаковые медианы баллов, то по рассматриваемому методу ранжирования они эквивалентны, а потому объединены в группу (кластер), т.е. с точки зрения математической статистики ранжировка (2) имеет одну связь.

Сравнение ранжировок по методу средних  арифметических и методу медиан. Сравнение  ранжировок (1) и (2) показывает их близость (похожесть). Можно принять, что проекты  М-К, Л, Сол упорядочены как М-К < Л < Сол, но из-за погрешностей экспертных оценок в одном методе признаны равноценными проекты Л и Сол (ранжировка (1)), а в другом - проекты М-К и Л (ранжировка (2)). Существенным является только расхождение, касающееся упорядочения проектов К и Г-Б: в ранжировке (1) Г-Б<К, а в ранжировке (2), наоборот, К<Г-Б. Однако эти проекты - наименее привлекательные из восьми рассматриваемых, и при выборе наиболее привлекательных проектов для дальнейшего обсуждения и использования на указанное расхождение можно не обращать внимания.

Рассмотренный пример демонстрирует  сходство и различие ранжировок, полученных по методу средних арифметических рангов и по методу медиан, а также пользу от их совместного применения. Однако нельзя не отметить, что только что проведенное сравнение ранжировок (1) и (2) осуществлено не вполне строго. Ясно, что в эконометрическом инструментарии специалиста по проведению экспертных исследований должен быть алгоритм согласования ранжировок, полученных различными методами.

Метод согласования кластеризованных ранжировок

Рассматриваемая здесь проблема состоит  в выделении общего нестрогого порядка  из набора кластеризованных ранжировок (на статистическом языке - ранжировок со связями). Этот набор может отражать мнения нескольких экспертов или быть получен при обработке мнений экспертов различными методами. Рассматривается метод согласования кластеризованных ранжировок, позволяющий "загнать" противоречия внутрь специальным образом построенных кластеров (групп), в то время как упорядочение кластеров соответствует всем исходным упорядочениям.

В различных прикладных областях возникает  необходимость анализа нескольких кластеризованных ранжировок объектов. К таким областям относятся прежде всего инженерный бизнес, менеджмент, экономика, социология, прогнозирование, экология, научные и технические исследования и т.д., особенно те их разделы, что связаны с экспертными оценками. В качестве объектов могут выступать образцы продукции, технологии, математические модели, проекты, кандидаты на должность и др. Кластеризованные ранжировки могут быть получены как с помощью экспертов, так и объективным путем, например, при сопоставлении математических моделей с экспериментальными данными с помощью того или иного критерия качества. Первоначально описанный ниже метод был разработан в связи с проблемами химической безопасности биосферы и экологического страхования.

Повторим более подробно постановку проблемы. В настоящем пункте учебного пособия рассматривается метод  построения кластеризованной ранжировки, согласованной (в раскрытом ниже смысле) со всеми рассматриваемыми кластеризованными ранжировками. При этом противоречия между отдельными исходными ранжировками оказываются заключенными внутри кластеров согласованной ранжировки. В результате упорядоченность кластеров отражает общее мнение экспертов, точнее, то общее, что содержится в исходных ранжировках. В кластеры заключены объекты, по поводу которых некоторые из исходных ранжировок противоречат друг другу. Для их упорядочения необходимо провести новые исследования. Эти исследования могут быть как формально-математическими (например, вычисление медианы Кемени, упорядочения по средним рангам или по медианам и т.п.), так и требовать привлечения новой информации из соответствующей прикладной области, возможно, проведения дополнительных научных или прикладных работ.

Введем необходимые понятия, затем  сформулируем алгоритм согласования кластеризованных ранжировок в общем виде и рассмотрим его свойства.

Пусть имеется конечное число объектов, которые мы для простоты изложения будем изображать натуральными числами 1,2,3,...,k и называть "носителем". Под кластеризованной ранжировкой, определенной на заданном носителе, понимаем следующую математическую конструкцию. Пусть объекты разбиты на группы, которые будем называть кластерами. В кластере может быть и один элемент. Входящие в один кластер объекты будем заключать в фигурные скобки. Например, объекты 1,2,3,...,10 могут быть разбиты на 7 кластеров: {1}, {2,3}, {4}, {5,6,7}, {8}, {9}, {10}. В этом разбиении один кластер {5,6,7} содержит три элемента, другой - {2,3} - два, остальные пять - по одному элементу. Кластеры не имеют общих элементов, а объединение их (как множеств) есть все рассматриваемое множество объектов.

Вторая составляющая кластеризованной ранжировки - это строгий линейный порядок между кластерами. Задано, какой из них первый, какой второй, и т.д. Будем изображать упорядоченность с помощью знака <. При этом кластеры, состоящие из одного элемента, будем для простоты изображать без фигурных скобок. Тогда кластеризованную ранжировку (одну из возможных) на основе введенных выше кластеров можно изобразить так:

А = [1 < {2,3} < 4 < {5,6,7} < 8 < 9 < 10].

Конкретные кластеризованные ранжировки будем заключать в квадратные скобки. Если для простоты речи термин "кластер" применять только к кластеру не менее чем из 2-х элементов, то можно сказать, что в кластеризованную ранжировку А входят два кластера {2,3} и {5,6,7} и 5 отдельных элементов.

Введенная описанным образом кластеризованная ранжировка является бинарным отношением на множестве {1,2,3,...,10}. Его структура такова. Задано отношение эквивалентности с 7-ю классами эквивалентности, а именно, {2,3}, {5,6,7}, а остальные состоят из оставшихся 5 отдельных элементов. Затем введен строгий линейный порядок между классами эквивалентности.

Введенный математический объект известен в литературе как "ранжировка со связями" (М. Холлендер, Д. Вулф), "упорядочение" (Дж. Кемени, Дж. Снелл), "квазисерия" (Б.Г. Миркин), "совершенный квазипорядок" (Ю.А. Шрейдер [2, с.127, 130]). Учитывая разнобой в терминологии, мы сочли полезным ввести собственный термин "кластеризованная ранжировка", поскольку в нем явным образом названы основные элементы изучаемого математического объекта - кластеры, рассматриваемые на этапе согласования ранжировок как классы эквивалентности, и ранжировка - строгий совершенный порядок между ними (в терминологии Ю.А. Шрейдера [2, гл. IV]).

Следующее важное понятие - противоречивость. Оно определяется для четверки - две кластеризованные ранжировки на одном и том же носителе и два различных объекта - элементы того же носителя. При этом два элемента из одного кластера будем связывать символом равенства =, как эквивалентные.

Определение 1. Пусть А и В - две  кластеризованные ранжировки. Пару объектов (a,b) назовем "противоречивой" относительно А и В, если эти два элемента по-разному упорядочены в А и В, т.е. a < b в А и a > b в В (первый вариант противоречивости) либо a >b в А и a < b в В (второй вариант противоречивости).

Отметим, что в соответствии с  этим определением пара объектов (a,b), эквивалентная хотя бы в одной кластеризованной ранжировке, не может быть противоречивой: эквивалентность a = b не образует "противоречия" ни с a < b, ни с a > b.

Определение 2. Совокупность противоречивых пар объектов для двух кластеризованных ранжировок А и В назовем "ядром противоречий" и обозначим S(A,B).

В качестве примера рассмотрим две  кластеризованные ранжировки

В = [{1,2} < { 3,4, 5} < 6 < 7 < 9 < {8, 10}],

C = [3 < {1, 4} < 2 < 6 < {5, 7, 8} < {9, 10}].

Для трех кластеризованных ранжировок А, В и С, определенных на одном и том же носителе {1, 2, 3,..., 10}, имеем

S(A,B) = [(8, 9)], S(A,C) = [(1, 3), (2,4)],

S(B,C) = [(1, 3), (2, 3), (2, 4), (5, 6), (8,9)].

Как при ручном, так и при программном  нахождении ядра можно в поисках противоречивых пар просматривать пары (1,2), (1,3), (1.,4),... ., (1, k), затем (2,3), (2,4),..., (2, k), потом (3,4),..., (3, k), и т.д., вплоть до (k-1, k).

Пользуясь понятиями дискретной математики, "ядро противоречий" можно изобразить графом с вершинами в точках носителя. При этом противоречивые пары задают ребра этого графа. Граф для S(A,B) имеет только одно ребро (следовательно, у него одна связная компонента более чем из одной точки), для S(A,C) - 2 ребра (у этого графа две связные компоненты более чем из одной точки), для S(B,C) - 5 ребер (здесь три связные компоненты более чем из одной точки, а именно, {1, 2, 3, 4}, {5, 6} и {8, 9}).

Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k. При этом x(a, b) = 1 тогда и только тогда, когда a < b либо a = b. В первом случае x(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) и x(b, a) равно

1. Из определения противоречивости  пары (a, b) вытекает, что для нахождения всех таких пар достаточно поэлементно перемножить две матрицы ||x(a,b) || и ||y(a, b) ||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b) y(a,b) =x(b,a) y(b,a) =0.

Кроме ядер противоречий, представляют интерес пары объектов, эквивалентных во всех исходных кластеризованных ранжировках.

Определение 3. Ядром всеобщей эквивалентности  называется совокупность пар объектов, в которых оба объекта эквивалентны во всех исходных кластеризованных ранжировках.

Рассматриваемый алгоритм согласования некоторого числа кластеризованных ранжировок состоят из трех этапов.

На первом выделяются противоречивые пары объектов во всех парах кластеризованных ранжировок и формируются (попарные) ядра противоречий.

На втором формируются кластеры итоговой кластеризованной ранжировки (т.е. классы эквивалентности - связные  компоненты графа, соответствующего объединению  попарных ядер противоречий и ядра всеобщей эквивалентности).

На третьем этапе эти кластеры (классы эквивалентности) упорядочиваются. Для установления порядка между кластерами произвольно выбирается один объект из первого кластера и второй - из второго, порядок между кластерами устанавливается такой же, какой имеет быть между выбранными объектами в любой из рассматриваемых кластеризованных ранжировок. Отметим, что в некоторых из исходных кластеризованных ранжировок выбранные объекты могут быть эквивалентны (т.е. находиться в одном кластере)). В таком случае надо рассмотреть упорядоченность этих объектов в какой-либо другой из исходных кластеризованных ранжировок. Если же они эквивалентны во всех исходных ранжировках, то входят в ядро всеобщей эквивалентности и будут эквивалентны и в итоговой кластеризованной ранжировке, что обеспечивается выполнением процедур второго этапа.

Корректность подобного упорядочивания, т.е. его независимость от выбора той или иной пары объектов, вытекает из соответствующих теорем, доказанных в статье [3].

Определение 4. Результат применения алгоритма согласования к совокупности исходных кластеризованных ранжировок называется кластеризованной ранжировкой, согласованной с исходными (в другой формулировке - согласующей исходные ранжировки).

Результат согласования кластеризованных ранжировок А, В, С,... обозначим f(А, В, С,. .). Ядра противоречий выписаны выше. Ядро всеобщей эквивалентности возникает лишь при рассмотрении ранжировок А и С. Оно состоит из пары (5,7), поскольку объекты 5 и 7 (и только они) эквивалентны и в А, и в С. Тогда

f(А, В) = [1<2<3<4<5<6<7<{8, 9}<10],

f(А, С) = [{1,3}<{2, 4}<6<{5,7}<8<9<10],