Эконометрические методы проведения экспертных исследований и анализа оценок экспертов

f(В, С) = [{1,2,3,4}<{5,6}<7<{8,9}<10],

f(А, В, С) = f(В, С) = [{1,2,3,4} <{5,6}<7<{8, 9}<10].

В случае f(А, В) дополнительного изучения с целью упорядочения требуют  только объекты 8 и 9. В случае f(В, С) объекты 1,2,3,4 объединились в один кластер, т.е. кластеризованные ранжировки оказались настолько противоречивыми, что процедура согласования не позволила провести достаточно полную декомпозицию задачи нахождения итогового мнения экспертов.

Рассмотрим некоторые свойства алгоритмов согласования.

1. Пусть D = f(А, В, C,. .). Если a<b в  согласующей кластеризованной ранжировке D, то a<b или a=b в каждой из исходных  ранжировок А, В, C,...

2. Построение согласующих кластеризованных  ранжировок может осуществляться  поэтапно. В частности, f(A, B, C) = f(f(A, B), f(A, C), f(B, C)). Ясно, что ядро противоречий для набора кластеризованных ранжировок является объединением таких ядер для всех пар рассматриваемых ранжировок, а ядро всеобщей эквивалентности - пересечением таких ядер для всех пар рассматриваемых ранжировок.

3. Построение согласующих кластеризованных  ранжировок нацелено на выделение  общего упорядочения в исходных  кластеризованных ранжировках. Однако  при этом некоторые общие свойства  исходных кластеризованных ранжировок могут теряться. Так, при согласовании ранжировок В и С, рассмотренных выше, противоречия в упорядочении элементов 1 и 2 не было - в ранжировке В эти объекты входили в один кластер, т.е.1 = 2, в то время как 1<2 в кластеризованной ранжировке С. Значит, при их отдельном рассмотрении можно принять упорядочение 1 < 2. Однако в f(В,C) они попали в один кластер, т.е. возможность их упорядочения исчезла. Это связано с поведением объекта 3, который "перескочил" в С на первое место и "увлек с собой в противоречие" пару (1, 2), образовав противоречивые пары и с 1, и с

2. Другими словами, связная компонента  графа, соответствующего ядру  противоречий, сама по себе не  всегда является полным графом. Недостающие ребра при этом  соответствуют парам типа (1, 2), которые сами по себе не являются противоречивыми, но "увлекаются в противоречие" другими парами.

4. Необходимость согласования кластеризованных  ранжировок возникает, в частности,  при разработке методики применения  экспертных оценок в задачах  экологического страхования и химической безопасности биосферы. Поясним, как возникает эта необходимость. Как уже говорилось, популярным является метод упорядочения по средним рангам, в котором итоговая ранжировка строится на основе средних арифметических рангов, выставленных отдельными экспертами. Однако из теории измерений известно (см. выше главу 3), что более обоснованным является использование не средних арифметических, а медиан. Вместе с тем метод средних рангов весьма известен и широко применяется, так что просто отбросить его нецелесообразно. Поэтому было принято решение об одновременном применении обеих методов. Реализация этого решения потребовала разработки методики согласования двух указанных кластеризованных ранжировок.

5. Область применения рассматриваемого  метода не ограничивается экспертными оценками. Он может быть использован, например, для построения банка знаний с целью использования в задачах экологического страхования требовалось разработать методику сравнения эконометрических, экономико-математических моделей и математических моделей в смежных областях. В частности, для расчета экономического ущерба от аварий использовались математические модели процесса испарения жидкости. Как сравнивать качество таких моделей? Имелись данные экспериментов и результаты расчетов по 8 математическим моделям. Сравнивать модели можно по различным критериям качества. Например, по сумме модулей относительных отклонений расчетных и экспериментальных значений. Можно и по другому - в каждой экспериментальной точке упорядочить модели по качеству, а потом получать единую оценку методами средних рангов и медиан. Использовались и иные методы. Затем применялись методы согласования полученных кластеризованных ранжировок. В результате оказалось возможным упорядочить модели по качеству и использовать это упорядочение при разработке банка математических моделей, используемого в задачах химической безопасности биосферы.

6. Рассматриваемый метод согласования  кластеризованных ранжировок построен  в соответствии с методологией  теории устойчивости, согласно которой результат обработки данных, инвариантный относительно метода обработки, соответствует реальности, а результат расчетов, зависящий от метода обработки, отражает субъективизм исследователя, а не объективные соотношения.

Математические методы анализа экспертных оценок

При анализе мнений экспертов можно  применять самые разнообразные  статистические методы, описывать их - значит описывать всю прикладную статистику. Тем не менее можно  выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок - это проверка согласованности мнений экспертов (или классификация экспертов, если нет согласованности) и усреднение мнений экспертов внутри согласованной группы.

Поскольку ответы экспертов во многих процедурах экспертного опроса - не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы.

Почему ответы экспертов часто  носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому требовать от эксперта ответ в форме чисел - значит насиловать его разум. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями, обычно оформленными в виде инструкций) характера балансовой прибыли, амортизационных отчислений и других экономических показателей. Поэтому фраза типа "фирма стремится к максимизации прибыли" не может иметь строго определенного смысла. Достаточно спросить: "Максимизация прибыли - за какой период? " И сразу станет ясно, что степень оптимальности принимаемых решений зависит от горизонта планирования (на экономико-математическом уровне этот сюжет рассмотрен в монографии [4]).

Эксперт может сравнить два объекта, сказать, какой из двух лучше (метод  парных сравнений), дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может  ответить, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, или являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения - баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физико-технических измерений. В случае произвольности "оцифровки" выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. В связи с "оцифровкой" уместно вспомнить классическую притчу о человеке, который ищет потерянные ключи под фонарем, хотя потерял их в кустах. На вопрос, почему он так делает, отвечает: "Под фонарем светлее". Это, конечно, верно. Но, к сожалению, весьма малы шансы найти потерянные ключи под фонарем. Так и с "оцифровкой" нечисловых данных. Она дает возможность имитации научной деятельности, но не возможность найти истину.

Проверка согласованности мнений экспертов и классификация экспертных мнений. Ясно, что мнения разных экспертов  различаются. Важно понять, насколько  велико это различие. Если мало - усреднение мнений экспертов позволит выделить то общее, что есть у всех экспертов, отбросив случайные отклонения в ту или иную сторону. Если велико - усреднение является чисто формальной процедурой. Так, если представить себе, что ответы экспертов равномерно покрывают поверхность бублика, то формальное усреднение укажет на центр дырки от бублика, а такого мнения не придерживается ни один эксперт. Из сказанного ясна важность проблемы проверки согласованности мнений экспертов.

Разработан ряд методов такой  проверки. Статистические методы проверки согласованности зависят от математической природы ответов экспертов. Соответствующие статистические теории весьма трудны, если эти ответы - ранжировки или разбиения, и достаточно просты, если ответы - результаты независимых парных сравнений. Отсюда вытекает рекомендация по организации экспертного опроса: не старайтесь сразу получить от эксперта ранжировку или разбиение, ему трудно это сделать, да и имеющиеся математические методы не позволяют далеко продвинуться в анализе подобных данных. Например, рекомендуют проверять согласованность ранжировок с помощью коэффициента ранговой конкордации Кендалла-Смита. Но давайте вспомним, какая статистическая модель при этом используется. Проверяется нулевая гипотеза, согласно которой ранжировки независимы и равномерно распределены на множестве всех ранжировок. Если эта гипотеза принимается, то конечно, ни о какой согласованности мнений экспертов говорить нельзя. А если отклоняется? Тоже нельзя. Например, может быть два (или больше) центра, около которых группируются ответы экспертов. Нулевая гипотеза отклоняется. Но разве можно говорить о согласованности?

Эксперту гораздо легче на каждом шагу сравнивать только два объекта. Пусть он занимается парными сравнениями. Непараметрическая теория парных сравнений (теория люсианов) позволяет решать более сложные задачи, чем статистика ранжировок или разбиений. В частности, вместо гипотезы равномерного распределения можно рассматривать гипотезу однородности, т.е. вместо совпадения всех распределений с одним фиксированным (равномерным) можно проверять лишь совпадение распределений мнений экспертов между собой, что естественно трактовать как согласованность их мнений. Таким образом, удается избавиться от неестественного предположения равномерности.

При отсутствии согласованности экспертов естественно разбить их на группы сходных по мнению. Это можно сделать различными методами статистики объектов нечисловой природы, относящимися к кластер-анализу, предварительно введя метрику в пространство мнений экспертов. Идея американского математика Джона Кемени об аксиоматическом введении метрик (см. ниже) нашла многочисленных продолжателей. Однако методы кластер-анализа обычно являются эвристическими. В частности, невозможно с позиций статистической теории обосновать "законность" объединения двух кластеров в один. Имеется важное исключение - для независимых парных сравнений (люсианов) разработаны методы, позволяющие проверять возможность объединения кластеров как статистическую гипотезу. Это - еще один аргумент за то, чтобы рассматривать теорию люсианов как ядро математических методов экспертных оценок.

Нахождение итогового мнения комиссии экспертов. Пусть мнения комиссии экспертов  или какой-то ее части признаны согласованными. Каково же итоговое (среднее, общее) мнение комиссии? Согласно идее Джона Кемени следует найти среднее мнение как решение оптимизационной задачи. А именно, надо минимизировать суммарное расстояние от кандидата в средние до мнений экспертов. Найденное таким способом среднее мнение называют "медианой Кемени".

Математическая сложность состоит в том, что мнения экспертов лежат в некотором пространстве объектов нечисловой природы. Общая теория подобного усреднения рассмотрена выше. В частности, показано, что в силу обобщения закона больших чисел среднее мнение при увеличении числа экспертов (чьи мнения независимы и одинаково распределены) приближается к некоторому пределу, который естественно назвать математическим ожиданием (случайного элемента, имеющего то же распределение, что и ответы экспертов).

В конкретных пространствах нечисловых мнений экспертов вычисление медианы Кемени может быть достаточно сложным делом. Кроме свойств пространства, велика роль конкретных метрик. Так, в пространстве ранжировок при использовании метрики, связанной с коэффициентом ранговой корреляции Кендалла, необходимо проводить достаточно сложные расчеты, в то время как применение показателя различия на основе коэффициента ранговой корреляции Спирмена приводит к упорядочению по средним рангам.

Бинарные отношения и расстояние Кемени. Как известно, бинарное отношение А на конечном множестве Q = {q1, q2,..., qk } - это подмножество декартова квадрата Q2 = { (qm, qn), m,n = 1,2,…,k }. При этом пара (qm, qn) входит в А тогда и только тогда, когда между qm и qn имеется рассматриваемое отношение.

Каждую кластеризованную ранжировку, как и любое бинарное отношение, можно задать матрицей || x(a, b) || из 0 и 1 порядка k x k. При этом x(a, b) = 1 тогда и только тогда, когда a < b либо a = b. В первом случае x(b, a) = 0, а во втором x(b, a) = 1. При этом хотя бы одно из чисел x(a, b) и x(b, a) равно 1.

Как использовать связь между ранжировками и матрицами? Например, из определения  противоречивости пары (a, b) вытекает, что  для нахождения всех таких пар  можно воспользоваться матрицами, соответствующими ранжировкам. Достаточно поэлементно перемножить две матрицы ||x(a,b) || и ||y(a, b) ||, соответствующие двум кластеризованным ранжировкам, и отобрать те и только те пары, для которых x(a,b) y(a,b) =x(b,a) y(b,a) =0.

В экспертных методах используют, в частности, такие бинарные отношения, как ранжировки (упорядочения, или разбиения на группы, между которыми имеется строгий порядок), отношения эквивалентности, толерантности (отношения сходства). Как следует из сказанного выше, каждое бинарное отношение А можно описать матрицей || a(i,j) || из 0 и 1, причем a(i,j) = 1 тогда и только тогда, когда qi и qj находятся в отношении А, и a(i,j) = 0 в противном случае.

Определение. Расстоянием Кемени между  бинарными отношениями А и  В, описываемыми матрицами || a(i,j) || и || b(i,j) || соответственно, называется число

D (A, B) = │a(i,j) - b(i,j) │,

где суммирование производится по всем i,j от 1 до k, т.е. расстояние Кемени между  бинарными отношениями равно  сумме модулей разностей элементов, стоящих на одних и тех же местах в соответствующих им матрицах.

Легко видеть, что расстояние Кемени - это число несовпадающих элементов  в матрицах || a(i,j) || и || b(i,j) ||.

Расстояние Кемени основано на некоторой  системе аксиом. Эта система аксиом и вывод из нее формулы для расстояния Кемени между упорядочениями содержится в книге [5], которая сыграла большую роль в развитии в нашей стране такого научного направления, как анализ нечисловой информации. В дальнейшем под влиянием Дж. Кемени были предложены различные системы аксиом для получения расстояний в тех или иных используемых в социально-экономических исследованиях пространствах, например, в пространствах множеств [4].

Медиана Кемени и законы больших  чисел. С помощью расстояния Кемени находят итоговое мнение комиссии экспертов. Пусть А1, А2, А3,…, Ар - ответы р экспертов, представленные в виде бинарных отношений. Для их усреднения используют т. н. медиану Кемени

Arg min D (Ai,A),

где Arg min - то или те значения А, при  которых достигает минимума указанная сумма расстояний Кемени от ответов экспертов до текущей переменной А, по которой и проводится минимизация. Таким образом,