Методы получения количественных экспертных оценок

     Рис. 1.5. источники получения информации

     Концептуальная  схема классификации источников и способов получения информации представлена на рис. Из анализа этой схемы следует, что принципиально есть только три источника информации:

• Эмпирические данные (опыт)
• Знания, личный опыт и интуиция
• Совет специалиста (экспертиза)

     Практически чаще всего люди черпают информацию из собственного опыта знаний, а собственная интуиция помогает им заполнить пробелы в позитивном знании. В историческом отношении этот источник информации наиболее древний. Но бывает, что само ЛПР не имеет достаточных знаний или опыта по разрешению стоящей перед ним проблемы. В подобной ситуации ЛПР начинает искать наиболее подходящий источник получения недостающих данных, информации или знаний. Здесь перед ним оказываются две принципиальные возможности: поискать необходимые сведения в одном из «объективных источников», где зафиксирован исторический опыт человечества, или обратиться к «субъективному источнику» - к знаниям, умениям и навыкам признанных специалистов своего дела (экспертам).

3. Экспертные оценки

3.1 Организация  экспертизы 

     Чтобы принимать решения, надо уметь: разрабатывать варианты решения и выбирать из этих вариантов какой-то один. В данном пункте рассматривается использование экспертизы применительно к этим задачам.

      Привлечение к работе группы экспертов, осведомленных во многих областях знаний, позволяет разносторонне проанализировать количественные и качественные аспекты сложной проблемы, решение которой ищется; компенсировать смещение индивидуальных оценок; увеличить рассматриваемую группу факторов, имеющих отношение к данной проблеме; перебрасывать мостик от содержательной к формализованной постановке задачи; использовать определенные математические методы обработки результатов экспертизы.

      Конечно, экспертные методы далеки от совершенства, но, во-первых, теория и практика уже позволяют делать определенную работу этого рода на должном уровне, во-вторых, известны границы применимости экспертизы, ее возможности, огрехи, степень достоверности. Поэтому экспертные методы дают более надежные результаты, чем традиционные совещания, комиссии, о которых коротко скажем следующее.

      Метод комиссии состоит в открытой дискуссии  по обсуждаемой проблеме для выработки  единого мнения. Коллективное мнение определяется в результате открытого  или тайного голосования (или в процессе обсуждения). К достоинствам этого метода надо отнести рост информированности экспертов в ходе обсуждения и наличие обратной связи (получив новую информацию, эксперт может изменить точку зрения). К недостаткам комиссий относятся отсутствие анонимности (в силу этого возможны соглашательские настроения у экспертов, «затирание» маститыми экспертами своих менее именитых коллег, упорство эксперта в отстаивании ранее высказанного мнения) и различная активность экспертов (далеко не всегда активные - наиболее компетентные). Разновидностью метода комиссий является метод суда.

      Название  метода точно определяет его суть. Эксперты могут поочередно выступать  в одном из тех качеств: защитников какого-либо предложения, противников  этого предложения или судей.

      Выделяют  следующие основные этапы экспертизы:

     - формулировка целей экспертизы;

     - построение объектов оценивания  или их характеристик (этого  этапа может и не быть, но  это означает, что он уже просто  выполнен);

     - формирование экспертной группы;

     - определение способа экспертного оценивания и способа выражения экспертами своих оценок;

     - проведение экспертизы;

     - обработка и анализ результатов  экспертизы;

     - повторные туры экспертизы, если  есть необходимость уточнить  или сблизить мнения экспертов;

     - формирование вариантов рекомендаций.

     Среди технико-экономических задач, решение  которых показало полезность обращения  к экспертным оценкам, можно назвать  такие практически важные задачи, как:

     - научно-техническое и экономическое  прогнозирование;

     - выбор целей и тематики научных исследований;

     - оценка трудоемкости НИР, ОКР,  изделий в мелкосерийном и  единичном производстве;

     - оценка качества изделий;

     - распределение ресурсов между  программами исследований и разработок  и другие задачи.

     Эксперты  бывают индивидуальные и коллективные, однотуровые и многотуровые, с обменом информации между экспертами и без, анонимные и открытые, причем далеко не всегда можно уложиться в какую-либо широко известную и часто используемую схему. К экспертизе следует привлекать экспертов, принадлежащих к различным направлениям в соответствующей области знаний. Метод опроса (способ составления анкеты, число вопросов, повторные опросы) зависит от времени и средств, имеющихся в распоряжении группы экспертов.

      В качестве примера экспертного метода приведем короткое описание метода Дельфи (по названию греческого города Дельфы, чьи мудрецы славились умением предсказывать будущее). Метод характеризуется тремя основными чертами: анонимностью, регулируемой обратной связью, групповым ответом. Анонимность достигается применением специальных опросников или другими способами индивидуального опроса. Результаты каждого тура обрабатываются с помощью статистических методов и сообщаются экспертам. Результатом обработки индивидуальных оценок являются групповые оценки.

      В основу метода Дельфи положены следующие  предпосылки: поставленные вопросы  должны допускать ответы в виде чисел, эксперты должны быть достаточно информированными, каждый ответ эксперта должен быть им обоснован. Применительно к разработке научно-технических прогнозов использование метода Дельфи выглядит так.

      Первый  тур. Первая анкета может допускать  любые ответы. Целью такой анкеты является составление перечня событий  для прогноза в какой-то области  науки и техники. Организатор  экспертизы объединяет прогнозы, и полученный перечень событий становится основой второй анкеты.

      Второй  тур. Эксперты оценивают сроки реализации событий и приводят соображения, по которым они считают свои оценки верными. По сделанным оценкам и  их обоснованиям организатор экспертизы (или организаторы экспертизы, или организаторы экспертизы плюс математики) проводит статистическую обработку полученных данных, группирует мнения экспертов, изучает крайние точки зрения. Результаты этой работы организатора сообщаются экспертам, и они могут изменить свое мнение (причем работа экспертов идет анонимно).

      Третий  тур. Третья анкета содержит перечень событий, статистических характеристик, дат наступления событий, свободных  данных (аргументов) о причинах более  ранних или поздних оценок. Экспертам надо рассмотреть аргументы; сформулировать новые оценки предполагаемой даты наступления каждого события; обосновать свою точку зрения при ее значительном отклонении от групповой; прокомментировать (анонимно!) противоположные мнения. Пересмотренные оценки и новые аргументы возвращаются к организатору, который вновь их обрабатывает, суммирует все аргументы и подготавливает на этой основе новый прогноз.

      Четвертый тур. Эксперты знакомятся с новым  групповым прогнозом, аргументами, критикой и составляют новый прогноз. Если группа не может прийти к единому мнению и организатор заинтересуется аргументами обеих сторон, то он может собрать экспертов для очного обсуждения. 

     3.2. Методы получения экспертных оценок 

     Любые изменения в условиях или результатах  деятельности организации (промышленного предприятия, торговой фирмы или банка), связанные с той или иной альтернативой управленческого решения, можно определить только тогда, когда существуют соответствующие показатели, которые можно измерить. Но речь идет не только о количественных измерениях в привычном для нас понимании, но и о качественных оценках, позволяющих судить о динамике происходящих изменений. Поэтому, говоря об оценках экспертов, мы понимаем под ними количественные или качественные измерения соответствующих показателей.

     В зависимости от целей экспертизы, эксперты могут оценивать стоимость  недвижимости, ожидаемый уровень  инфляции, изменения валютного курса, надежность эмитента ценной бумаги, рейтинг  банка и т.д. Объекты оценки и  оцениваемые показатели весьма разнообразны. Если при этом эксперт должен измерить значение количественного показателя (дать количественную оценку), он может указать конкретное числовое значение или интервал, в котором оно лежит. Если же эксперт должен определить значение показателя, который может быть оценен только качественно (дать качественную оценку), то он может использовать для этого вербально-числовые шкалы.

     Итак, экспертная информация может носить как количественный, так и качественный характер. Рассмотрим наиболее распространенные методы ее измерения отдельно для первого случая.

 

4. Методы получения количественных экспертных оценок:

4.1. Метод средней точки. 

     Метод используется, когда альтернативных вариантов достаточно много. Если через f(a1) обозначим оценку 1-го альтернативного варианта значения показателя, относительно которого определяется сравнительная предпочтительность объектов, через f(a2) - оценку второго альтернативного варианта, то далее эксперту предлагается подобрать третий альтернативный вариант а3, оценка которого f(а3) расположена в середине между значениями f(a1) и f(a2) и равна f(a1 )+f(a2)/2.

      При этом в качестве первого и второго  альтернативных вариантов целесообразно  выбирать наименее и наиболее предпочтительные альтернативные варианты.

      Далее экспертом указывается альтернативный вариант а4 значение которого f(a4) расположено посередине между f(a1) и f(а3), и альтернативный вариант а5, значение которого f(а5) расположено посередине между значениями f(a1 ) и 1(а2).

      Процедура завершается, когда определяется сравнительная предпочтительность всех участвующих в экспертизе альтернативных вариантов.

      Этот  метод может быть использован  также при экспертной оценке численных  значений показателей, имеющих количественный характер. 

4.2. Метод Черчмена - Акофа. 

     Метод Черчмена - Акофа используется при количественной оценке сравнительной предпочтительности альтернативных вариантов и допускает корректировку оценок, даваемых экспертами.

      В методе предполагается, что оценки альтернативных вариантов неотрицательные  числа.

      В нем предполагается также, что, если альтернативный вариант а1 предпочтительнее альтернативного варианта а2, то f(a1) больше, чем f(а2), а оценка одновременной реализации альтернативных вариантов а1 и а2 оценивается как f(a1)+f(a2).

      Все альтернативные варианты ранжируются по предпочтительности и каждому из них эксперт назначает количественные оценки, как правило, в долях единицы.

      Далее эксперт сопоставляет по предпочтительности альтернативный вариант а1 и сумму  остальных альтернативных вариантов. Если он предпочтительнее, то и значение f(а1) должно быть больше суммарного значения остальных альтернативных вариантов, в противном случае - наоборот. Если эти соотношения не выполняются, то оценки должны быть соответствующим образом скорректированы.

      Если  а1 менее предпочтителен, чем сумма остальных альтернативных вариантов, то он сравнивается с суммой остальных альтернативных вариантов, за исключением последнего.

      Если  альтернативный вариант а1 на каком-то шагу оказался предпочтительнее суммы  остальных альтернативных вариантов и для оценок это соотношение подтверждается, то а1 из дальнейших рассмотрений исключается.

      Этот  процесс продолжается до тех пор, пока последователь но не будут просмотрены  все альтернативные варианты.