Экспертиза. Методы обработки результатов экспертизы

     Измерение по интервальной шкале используется при выставлении экспертами-судьями  оценок в таких видах спорта, как  фигурное катание, прыжки в воду, художественная и спортивная гимнастика.

     4. Шкала отношения. В данном случае предполагается, что известно абсолютное значение свойств объекта, т.е. известна истинная нулевая точка. Шкала используется для тех факторов, которые могут быть представлены количественно.

     Например, при помощи такой шкалы эксперты могут оценить размер прибыли, которая  может быть получена в результате реализации какого-либо проекта.

     В зависимости от существа исследуемых  объектов для их оценки могут быть использованы различные шкалы. Такие  факторы как затраты, прибыль, время  могут быть оценены по шкале отношения или интервальной шкале (например, в рублях, днях, баллах). Для оценки таких факторов как срок окупаемости или сравнительная эффективность может быть использована интервальная или порядковая шкала. Качественные, например, социальные или политические факторы могут оцениваться по порядковой или номинальной шкале.

2.4. Способы измерения объектов

     В первую очередь нас будут интересовать способы измерения, позволяющие  расположить объекты на порядковой или интервальной шкале, поскольку  именно такой тип оценок чаще всего  используется при проведении экспертизы. Это объясняется тем, что оценка по номинальной шкале предполагает лишь два варианта ответов - ДА, НЕТ. По шкале отношения измеряются факторы, имеющие количественный характер. Значения этих факторов часто можно получить расчетным путем без использования экспертных оценок.

     Выделим способы измерения объектов, наиболее часто применяемые при оценке по порядковой или интервальной шкале: ранжирование, парное сравнение, непосредственная оценка.

     1.Ранжирование – это расположение объектов в порядке возрастания или убывания какого-либо присущего им свойства. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.

     Результатом проведения ранжирования является ранжировка.

     Если  имеется n объектов, то в результате их ранжирования j-ым экспертом каждый объект получает оценку x_ij – ранг, приписываемый i-му объекту j-ым экспертом.

     Значения  x_ij находятся в интервале от 1 до n. Ранг самого важного фактора равен единице, наименее значимого – числу n.

     Ранжировкой j-го эксперта называется последовательность рангов x_1j, x_2j, …, x_nj.

     Достоинством  метода является его простота, а  недостатком - ограниченные возможности  использования. При оценке большого количества объектов экспертам очень  трудно строить ранжированный ряд, поскольку приходится учитывать  множество сложных связей. От этого  недостатка свободен следующий метод.

     2. Парное сравнение - это установление предпочтения объектов при сравнении всех возможных пар. Здесь не нужно, как при ранжировании, упорядочивать все объекты, необходимо в каждой из пар выявить более значимый объект или установить их равенство.

     Парное  сравнение можно проводить при  большом числе объектов, а также  в тех случаях, когда различие между объектами столь незначительно, что практически невыполнимо  их ранжирование.

     При использовании метода чаще всего  составляется матрица размером nxn, где n – количество сравниваемых объектов. Общий вид матрицы парных сравнений представлен на рисунке 2.4.1. 
 
 

     Рисунок 2.4.1 - Общий вид матрицы парных сравнений

     При сравнении объектов матрица заполняется  элементами a_ij следующим образом (может быть предложена и иная схема заполнения):

     Сумма (по строке) в данном случае позволяет оценить относительную значимость объектов. Тот объект, для которого сумма окажется наибольшей, может быть признан наиболее важным (значимым).

     Суммирование  можно производить и по столбцам ( ), тогда самым существенным будет фактор, набравший наименьшее количество баллов.

     3. Непосредственная оценка. Часто бывает желательным не только упорядочить (ранжировать объекты анализа), но и определить, на сколько один фактор более значим, чем другие.

     В этом случае диапазон изменения характеристик  объекта разбивается на отдельные  интервалы, каждому из которых приписывается  определенная оценка (балл), например, от 0 до 10.

     Именно  поэтому метод непосредственной оценки иногда именуют также балльным методом.

     Смысл метода состоит в том, что эксперт  помещает каждый из анализируемых объектов в определенный интервал (приписывает  балл). Измерителем при этом является степень обладания объекта тем  или иным свойством.

     Число интервалов, на которые разбивается  диапазон изменения свойства, может  быть различным для разных экспертов. Кроме того, метод разрешает давать одну и ту же оценку (т.е. помещать в  один и тот же интервал) различным  объектам.

     Например, метод непосредственной оценки используется при проведении экзаменов. Здесь  диапазон, характеризующий уровень  знаний студентов мысленно разбивается  экспертом-преподавателем на интервалы, подобно тому, как показано на рисунке  2.4.2.

      

     Рисунок 2.4.2 – Пример разбиения диапазона изменения характеристик объекта на интервалы

2.5. Обработка результатов опроса экспертов

     На  базе оценок экспертов получается обобщенная информация об исследуемом объекте (явлении) и формируется решение, задаваемое целью экспертизы. При  обработке индивидуальных оценок экспертов  используют различные количественные и качественные методы. Выбор того или иного метода зависит от сложности  решаемой проблемы, формы, в которой  представлены мнения экспертов, целей  экспертизы.

     Чаще  всего при обработке результатов  опроса используются методы математической статистики.

     В зависимости от целей экспертизы при обработке оценок могут решаться следующие проблемы:

• формирование обобщенной оценки;
• определение относительных весов объектов;
• установление степени согласованности мнений экспертов и др.

     Далее рассмотрим некоторые методы решения  каждой из перечисленных задач.

     1 Формирование обобщенной  оценки.

     Итак, пусть группа экспертов оценила  какой-либо объект, тогда x_j – оценка j-го эксперта, , где m – число экспертов.

     Для формирования обобщенной оценки группы экспертов чаще всего используются средние величины. Например, медиана (M_E), за которую принимается такая оценка, по отношению к которой число больших оценок равняется числу меньших.

     Может использоваться также точечная оценка для группы экспертов, вычисляемая  как среднее арифметическое:

     2 Определение относительных  весов объектов.

     Иногда  требуется определить, насколько  тот или иной фактор (объект) важен (существенен) с точки зрения какого-либо критерия. В этом случае говорят, что  нужно определить вес каждого фактора.

     Один  из методов определения весов  состоит в следующем. Пусть x_ij – оценка фактора i, данная j-ым экспертом, , , n – число сравниваемых объектов, m – число экспертов. Тогда вес i-го объекта, подсчитанный по оценкам всех экспертов (w_i), равен:

     где w_ij – вес i-го объекта, подсчитанный по оценкам j-го эксперта, равен:

     3 Установление степени  согласованности  мнений экспертов.

     В случае участия в опросе нескольких экспертов расхождения в их оценках  неизбежны, однако величина этого расхождения  имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

     Для анализа разброса и согласованности  оценок применяются статистические характеристики – меры разброса.

     Вариационный  размах (R):

     где x_max - максимальная оценка объекта;

     x_min - минимальная оценка объекта.

     Среднее квадратическое отклонение, вычисляемое по известной формуле:

     где x_j - оценка, данная j-ым экспертом;

     m - количество экспертов.

     Коэффициент вариации (V), который обычно выражается в процентах:

     Специфичны  подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

     В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x_1j, x_2j, …, x_nj.

     Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна: