Многотуровое экспертное оценивание. Метод Дельфи. Обра ботка результатов опроса в методе Дельфи

Многотуровое экспертное оценивание. Метод Дельфи. Обра ботка результатов  опроса в методе Дельфи

.

1 Многотуровое экспертное  оценивание

Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки  мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные исследования проводят с целью подготовки информации для принятия решений ЛПР (напомним, ЛПР – лицо принимающее решение). Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).  

Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей.

Экспертные оценки часто используются при выборе, например: 

- одного варианта технического  устройства для запуска в серию  из нескольких образцов,  

- группы космонавтов из многих  претендентов,  

- набора проектов научно-исследовательских работ для финансирования из массы заявок,  

- получателей экологических кредитов  из многих желающих,  

- при выборе инвестиционных  проектов для реализации среди  представленных, и т.д.  

Существует масса методов получения  экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).  

Не меньше существует и методов  обработки ответов экспертов, в  том числе весьма насыщенных математикой  и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики. 

Процедура экспертной оценки финансового  состояния предприятия является многоуровневой и предусматривает  несколько этапов: формулировку ЛПР-лицом, принимающим решения, цели экспертного опроса; подбор ЛПР состава основной экспертной рабочей группы (ЭРГ); разработку ЭРГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая возможную декомпозицию проблемы на взаимосвязанные задачи экспертного оценивания, конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы), способ ее формализации и методы ее анализа; подбор экспертов в соответствии с их компетентностью и формирование экспертной комиссии (ЭК); технологическую подготовку (тиражирование бланков анкет, проведение инструктажей, подготовка технических и программных средств); проведение сбора экспертной информации; обработку результатов экспертизы, включая определение согласованности мнений экспертов и определение максимально допустимых, минимально допустимых и оптимальных значений показателей финансового состояния предприятия; при необходимости (например, если цели опроса, по мнению ЭРГ либо ЛПР, не достигнуты) - повторение предыдущих этапов; обобщение и интерпретация полученных результатов и подготовку официального заключения для ЛПР; использование результатов ЛПР, например, для решения задач стратегического управления или реинжиниринга бизнес-процессов на предприятии.

В совокупности эти этапы во многом аналогичны методике решения сложных  слабоформализуемых проблем, традиционно  решаемых с помощью информационно-аналитических  систем поддержки принятия решений (ИА СППР) [6]. Это позволяет значительно сократить затраты времени и усилий при разработке и компьютерной реализации данной методики за счет использования накопленного опыта и учета особенностей нового объекта проектирования [3-5].

Основные этапы экспертизы

 

Метод экспертных оценок имеет логически взаимосвязанные этапы, которые являются основными этапами экспертизы.

Начальный этап (организация экспертизы) включает:

§                   Определение цели и задачи экспертизы, постановку проблемы.

§                   Определение меры ответственности, прав и полномочий рабочей группы экспертов.

§                   Установление сроков проведения экспертизы.

§                   Подбор экспертов, формирование экспертных групп (при необходимости определение их компетентности)

Основной этап экспертизы связан со сбором данных, проведением исследовательской работы и экспертной оценкой, анализом имеющегося материала. Технология экспертизы, использование совокупности методов и критериев оценки зависят от характера экспертизы, области ее применения.

Экспертная оценка является результатом аналитической деятельности, основана на умении видеть и разрешать противоречия, прогнозировать, предвидеть и находить нестандартные решения.

Завершающий этап экспертизы – опрос экспертов (индивидуальный или групповой; личный, очный или заочный; устный или письменный), оформление документа (отчет, справка, рецензия и пр.), принятие экспертного заключения – основы для компетентного управленческого решения. (Крулехт, 2002)

 

 

2Метод Дельфи. Обра  ботка результатов опроса в  методе Дельфи

Сущность метода Дельфи состоит  в последовательном анкетировании  экспертов различных областей науки  и техники и формировании массива  информации, отражающего индивидуальные оценки экспертов, основанные как на строго логическом анализе, так и  на интуитивном опыте. Данный метод предполагает использование серии анкет, в каждой из которых содержатся информация и мнения, полученные из предыдущей анкеты. При этом соблюдается требование отсутствия личных контактов между экспертами и обеспечения их полной информацией по всем результатам оценок после каждого тура опроса с сохранением анонимности оценок, аргументации и критики. Таким образом, метод Дельфи позволяет исследователю получить на порядок более достоверные результаты исследования, нежели те, которые могли быть получены в ходе традиционной экспертной оценки.

Сбор и обработка индивидуальных мнений экспертов о прогнозах  развития объекта производится исходя из следующих принципов:

1) вопросы в анкетах ставятся  таким образом, чтобы можно  было дать количественную характеристику ответам экспертов;

2) опрос экспертов проводится  в несколько туров, в ходе  которых вопросы и ответы все  более уточняются;

3) все опрашиваемые  эксперты знакомятся после каждого  тура с результатами опроса;

4) эксперты обосновывают  оценки и мнения, отклоняющиеся от мнения большинства;

5) статистическая обработка  ответов производится последовательно  от тура к туру с целью  получения обобщающих характеристик.

Таким образом, с помощью метода Дельфи выявляется преобладающее суждение специалистов по какому-либо вопросу в обстановке, исключающей их прямые дебаты между собой, но позволяющей им, вместе с тем, периодически взвешивать свои суждения с учетом ответов и доводов коллег.

Пересмотр и возможность изменения  своих прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулируют опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

При использовании метода Дельфи учитывают  следующие факторы:

• Группы экспертов должны быть стабильными и численность их должна удерживаться в благоразумных рамках.

Способ стабилизации экспертной группы заключается в следующем. На основе анализа литературы по прогнозируемой проблеме выбирается любой специалист, имеющий несколько публикаций в данной области. К нему обращаются с просьбой назвать 10 наиболее компетентных, по его мнению, специалистов по данной проблеме. Затем обращаются одновременно к каждому из десяти названных специалистов с просьбой указать 10 наиболее крупных из коллег-ученых. Из полученного списка специалистов вычеркивают 10 первоначальных, а остальным рассылаются письма, содержащие указанную выше просьбу. Данную процедуру повторяют до тех пор, пока ни один из вновь названных специалистов не сможет добавить новые фамилии к списку экспертов, т.е. пока не стабилизируется группа экспертов. Полученную группу экспертов можно считать генеральной совокупностью специалистов, компетентных в области прогнозируемой проблемы. Однако в силу ряда практических ограничений оказывается нецелесообразным привлекать всех специалистов к экспертизе. Поэтому необходимо сформировать репрезентативную выборку из генеральной совокупности экспертов.

Этот вопрос решается в рамках каждого конкретного метода экспертного прогнозирования.

• Время между турами опросов должно быть не более месяца.
• Вопросы в анкетах должны быть тщательно продуманы и четко сформулированы.
• Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной той или иной оценки, а также и для критики этих причин. Ограничений по числу туров не существует, однако их оптимальное число — 2—3.
• Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.

Метод Дельфи реализуется по следующему алгоритму :

1) формирование репрезентативной (представительной) экспертной группы;

2) подготовка экспертизы;

3) проведение экспертизы;

4) обработка полученных ответов;

5) анализ результатов;

6) разработка сценария и мероприятий  по устранению выявленных недостатков;

7) подготовка и проведение повторных экспертиз;

8) подготовка рекомендаций  по распределению ресурсов;

9) анализ результатов  и принятие окончательного решения.

В первом туре, после того, как экспертам разъяснена цель экспертизы и представлены вопросы (персонально в виде анкеты или пояснительной записки), они представляют свои ответы без аргументации. Вся экспертная информация поступает в рабочую группу. Производится обработка и анализ полученной информации. Полученные результаты сообщаются экспертам и проводится второй тур опроса.

На втором туре опроса у тех экспертов, чьи оценки значительно отличались от общих, просят представить обоснованные аргументы в пользу своих суждений. Подобная информация в анонимном виде доводится до остальных экспертов. Это позволяет им учесть те обстоятельства, которые они по какой-то причине пропустили или пренебрегли. В результате эксперты могут пересмотреть свои суждения или откорректировать данные, которые они указали в предыдущем туре. Скорректированная информация вновь поступает в группу управления экспертизой, реализуя обратную связь.

После обработки результатов второго  тура скорректированные групповое  и «оригинальные» мнения, а также  вся аргументация с сохранением  анонимности сообщаются экспертам  и проводится очередной тур.

В результате такой многотуровой процедуры опроса с последующей обработкой могут наблюдаться две ситуации. Во-первых, от тура к туру растет согласованность мнений экспертов. Во-вторых, от тура к туру растет размежевание мнений экспертов на подгруппы с высокой согласованностью внутри подгрупп. Последнее может объясняться либо наличием представителей различных научных школ, либо неодинаковой интерпретацией исходной информации специалистами различные профилей. В любом из этих случаев руководитель группы управления принимает решение либо на проведение дальнейшего опроса с целью подтверждения создавшегося положения, либо на окончание проведения экспертизы и составление отчета по ней. Однако часто имеет место сходимость оценок в многотуровой экспертизе.

Существует большое количество различных модификаций метода Дельфи. Ряд модификаций связан с ограничениями анонимности ответов. Это связано с тем, что в оригинале условие полной анонимности было введено для того, чтобы суждения экспертов основывались лишь на собственных предпочтениях и при этом другие мнения за и против не влияли на эксперта. Однако в практике нередко приходится выбирать между частичным исключением анонимности и полным отказом от использования метода Дельфи.

Другие модификации связаны  с ограничением обратной связи. В этом случае обратная связь направлена только к так называемым «независимым» экспертам (на основании того, что они могли бы оказаться единственными специалистами, дающими правильный ответ), которых просят подтвердить свою точку зрения. Если с точки зрения группы управления суждение «независимого» эксперта подтверждается, то его оценка принимается за искомую. В противном случае за искомую принимается групповое мнение.