Метод экспертных оценок

  Обычная ситуация, когда необходимо принять  решение с учетом аддитивности, заключается  в том, что имеется несколько (по крайней мере, два) качественных факторов. При наличии нескольких факторов, характеризующих конкретные объекты, существует множество реальных свойств  и типов связей объектов.

  Так, например, факторы (показатели), характеризующие  эффективность создания и внедрения  новой техники, по их объективному содержанию можно подразделить на технические, экономические и социальные. С другой стороны, эти факторы можно сгруппировать в соответствии с их ролью в процессе создания и внедрения новой техники, выделив, например, показатели, характеризующие затраты, качество, экономическую эффективность и т.д.

  В зависимости от характера и цели исследуемой проблемы факторы, по которым  различаются объекты, могут быть количественно сравнимы или несравнимы между собой, частично сравнимы (т.е. не любой с любым, а лишь некоторые  из них), упорядочены по степени их важности и т.д. Несоизмеримость  различных факторов обусловлена  не только необходимостью применения разных единиц измерения, но и тем, что  каждый фактор, выражая определенное свойство, одновременно является оценкой  отношения к данному свойству со стороны принимающего решение.

  В практике управления во всех его уровнях  часто возникают ситуации, когда  необходимо принять решение с  учетом многих факторов. Вопрос о том, какие именно факторы следует  считать наиболее важными, зависит  от качественных особенностей объекта  решения и целей, которым должно отвечать это решение.

  Например, при рассмотрении нескольких вариантов  плана или вариантов организационно-технических  мероприятий следует принимать  во внимание факторы времени, затрат, технических и социальных результатов, экономической эффективности и  т.д. Обычно все разнообразие факторов пытаются привести к однозначной  комплексной оценке, причем наиболее удобной и распространенной такой  оценкой является денежная.

  Однако, поскольку последствия любого решения, особенно решений, связанных с научно-техническим прогрессом, выходят за рамки стоимостных показателей, необходимы измерители, характеризующие значимость, полезность того или иного фактора (или их комплекса). Такие комплексные измерители широко применяются при оценке качества продукции, технико-экономического уровня производства, при оценке результатов деятельности научных организаций и в ряде других задач. Хотя вопрос о создании достаточно обоснованной формализованной системы таких измерителей еще далек от окончательного решения, можно указать некоторые общие черты, обеспечивающие подход к формализации этого процесса и к использованию того или иного логико-математического аппарата.

  В случае, когда все факторы задаются по номинальной шкале, т.е. задаются по этой шкале некоторый признак  a и исходное множество элементов M, цель состоит в выборе подмножества элементов M(a), обладающих этим признаком. В таких случаях производится сравнение элементов, точнее их свойств, с признаком – эталоном, а результат – разбиение множества – можно рассматривать как упорядочение по двухэлементной шкале, по которой каждому из элементов присваивается балл, равный либо нулю, либо единице.

  В случае, когда факторы заданы по порядковой шкале или по нескольким порядковым шкалам, цель состоит в  упорядочении элементов исходного  множества, в выявлении с помощью  экспертов скрытой упорядоченности, которая, по предположению, присуща  этому множеству. Необходимым условием решения этой задачи является допущение  о транзитивности. Чем полнее упорядочены  элементы, тем легче применить  логико-математические и комбинаторные  методы к решению таких задач.

  В зависимости от существа или важности того или иного фактора на этапе  подготовки и принятия решений могут  быть использованы различные шкалы. Такие факторы, как затраты, прибыль, время, могут быть оценены по порядковой или интервальной шкале (в рублях, днях или условных единицах). Для  оценки же таких факторов, как срок окупаемости или сравнительная  эффективность вариантов, может  быть использована интервальная шкала; качественные или социальные факторы  могут оцениваться по порядковым или номинальным шкалам.  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Глава 3. ОБРАБОТКА ЭКСПЕРТНЫХ ОЦЕНОК

  3.1. Задачи обработки 

  После проведения опроса группы экспертов  осуществляется обработка результатов. Исходной информацией для обработки являются числовые данные, выражающие предпочтения экспертов, и содержательное обоснование этих предпочтений. Целью обработки является получение обобщенных данных и новой информации, содержащейся в скрытой форме в экспертных оценках. На основе результатов обработки формируется решение проблемы.

  Наличие как числовых данных, так и содержательных высказываний экспертов приводит к необходимости применения качественных и количественных методов обработки результатов группового экспертного оценивания. Удельный вес этих методов существенно зависит от класса проблем, решаемых экспертным оцениванием.

   Бешелев С.Д., Гурвич Ф.Г. ¹²проблемы можно разделить на два класса. К первому классу относятся проблемы, для решения которых имеется достаточный уровень знаний и опыта, т. е. имеется необходимый информационный потенциал. При решении проблем, относящихся к этому классу, эксперты рассматриваются как хорошие в среднем измерители. Под термином «хорошие в среднем» понимается возможность получения результатов измерения, близких к истинным. Для множества экспертов их суждения группируются вблизи истинного значения. Отсюда следует, что для обработки результатов группового экспертного оценивания проблем первого класса можно успешно применять методы математической статистики, основанные на осреднении данных.

  Ко  второму классу относятся проблемы, для решения которых еще не накоплен достаточный информационный потенциал. В связи с этим суждения экспертов могут очень сильно различаться друг от друга. Более  того, суждение одного эксперта, сильно отличающееся от остальных мнений, может оказаться истинным. Очевидно, что применение методов осреднения результатов групповой экспертной оценки при решении проблем второго класса может привести к большим ошибкам. Поэтому обработка результатов опроса экспертов в этом случае должна базироваться на методах, не использующих принципы осреднения, а на методах качественного анализа.

  Учитывая, что проблемы первого класса являются наиболее распространенными в практике экспертного оценивания, основное внимание в этой главе уделяется методам  обработки результатов экспертизы для этого класса проблем.

  В зависимости от целей экспертного  оценивания и выбранного метода измерения  при обработке результатов опроса возникают следующие основные задачи:

  1) построение обобщенной оценки  объектов на основе индивидуальных  оценок экспертов;

  2) построение обобщенной оценки  на основе парного сравнения  объектов каждым экспертом;

  3) определение относительных весов  объектов;

  4) определение согласованности мнений  экспертов;

  5) определение зависимостей между  ранжировками;

  6) оценка надежности результатов  обработки.

  Задача  построения обобщенной оценки объектов по индивидуальным оценкам экспертов  возникает при групповом экспертном оценивании. Решение этой задачи зависит от использованного экспертами метода измерения.

  При решении многих задач недостаточно осуществить упорядочение объектов по одному показателю или некоторой совокупности показателей. Желательно иметь численные значения для каждого объекта, определяющие относительную его важность по сравнению с другими объектами. Иными словами, для многих задач необходимо иметь оценки объектов, которые не только осуществляют их упорядочение, но и позволяют определять степень предпочтительности одного объекта перед другим. Для решения этой задачи можно непосредственно применить метод непосредственной оценки. Однако эту же задачу при определенных условиях можно решить путем обработки оценок экспертов.

  Определение согласованности мнений экспертов  производится путем вычисления числовой меры, характеризующей степень близости индивидуальных мнений. Анализ значения меры согласованности способствует выработке правильного суждения об общем уровне знаний по решаемой проблеме и выявлению группировок мнений экспертов. Качественный анализ причин группировки мнений позволяет установить существование различных взглядов, концепций, выявить научные школы, определить характер профессиональной деятельности и т. п. Все эти факторы дают возможность более глубоко осмыслить результаты опроса экспертов.

  Обработкой  результатов экспертного оценивания можно определять зависимости между  ранжировками различных экспертов  и тем самым устанавливать  единство и различие в мнениях экспертов. Важную роль играет также установление зависимости между ранжировками, построенными по различным показателям сравнения объектов. Выявление таких зависимостей позволяет вскрыть связанные показатели сравнения и, может быть, осуществить их группировку по степени связи. Важность задачи определения зависимостей для практики очевидна. Например, если показателями сравнения являются различные цели, а объектами — средства достижения целей, то установление взаимосвязи между ранжировками, упорядочивающими средства с точки зрения достижения целей, позволяет обоснованно ответить на вопрос, в какой степени достижение одной цели при данных средствах способствует достижению других целей.

  Оценки, получаемые на основе обработки, представляют собой случайные объекты, поэтому одной из важных задач процедуры обработки является определение их надежности. Решению этой задачи должно уделяться соответствующее внимание.

  Обработка результатов экспертизы представляет собой трудоемкий процесс. Выполнение операций вычисления оценок и показателей их надежности вручную связано с большими трудовыми затратами даже в случае решения простых задач упорядочения. В связи с этим целесообразно использовать вычислительную технику и особенно ЭВМ. Применение ЭВМ выдвигает проблему разработки машинных программ, реализующих алгоритмы обработки результатов экспертного оценивания. 

  3.2. Групповая оценка объектов 

  В данном параграфе рассмотрим алгоритмы  обработки результатов экспертного оценивания множества объектов. Групповые оценки рассматривали многие исследователи Евланов Л.Г.¹³, Готлиб А. С.¹⁴ Толстова Ю.Н.¹⁵: Пусть m экспертов произвели оценку n объектов по l показателям. Результаты оценки представлены в виде величин , где j – номер эксперта, i - номер объекта, h – номер показателя (признака) сравнения. Если оценка объектов произведена методом ранжирования, то величины представляют собой ранги. Если оценка объектов выполнена методом непосредственной оценки или методом последовательного сравнения, то величины представляют собой числа из некоторого отрезка числовой оси, или баллы. Обработка результатов оценки существенно зависит от рассмотренных методов измерения.

  Рассмотрим  случай, когда величины получены методами непосредственной оценки или последовательного сравнения, т. е. являются числами, или баллами. Для получения групповой оценки объектов в этом случае можно (воспользоваться средним значением оценки для каждого объекта [12]

                                                                                                (5.1)       

где - коэффициенты весов показателей сравнения объектов, - коэффициенты компетентности экспертов. Коэффициенты весов показателей и компетентности объектов являются нормированными величинами [12]

                                                                                                                   (5.2)

  Коэффициенты  весов показателей могут быть определены экспертным путем. Если -  коэффициент веса h-го показателя, даваемый j-м экспертом, то средний коэффициент веса h-го показателя по всем экспертам равен [12]

                                                                                                       (5.3)

  Получение групповой экспертной оценки путем  суммирования индивидуальных оценок с весами компетентности и важности показателей при измерении свойств объектов в кардинальных шкалах основывается на предположении о выполнении аксиом теории полезности фон Неймана-Моргенштерна как для индивидуальных, так и для групповой оценки и условий неразличимости объектов в групповом отношении, если они неразличимы во всех индивидуальных оценках (частичный принцип Парето). В реальных задачах эти условия, как правило, выполняются, поэтому получение групповой оценки объектов путем суммирования с весами индивидуальных оценок экспертов широко применяется на практике.