Экспертные оценки

Содержание 

1. Экспертные  оценки………………………………..……3
2. Этапы экспертного оценивания……………………..….4
3. Методы экспертных оценок………………………….....7
1. Пример управленческого решения……………………12
2. Анализ принятого управленческого решения………..14

1.1. Экспертные оценки 

     Под экспертными оценками понимают комплекс логических и математических процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

     Методы  экспертных оценок можно разделить  на две группы: методы коллективной работы экспертной группы и методы получения индивидуального мнения членов экспертной группы.

     Методы  коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем. Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе. Методы коллективной работы включают методы "мозговой атаки", "сценариев", "деловых игр", "совещаний" и "суда".

     Методы  получения индивидуального мнения членов экспертной группы основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных. К этим методам можно отнести методы анкетного опроса, интервью и методы "Дельфи". Основные преимущества метода индивидуального экспертного оценивания состоят в их оперативности, возможности в полной мере использовать индивидуальные способности эксперта, отсутствии давления со стороны авторитетов и в низких затратах на экспертизу. Главным их недостатком является высокая степень субъективности получаемых оценок из-за ограниченности знаний одного эксперта.

1. Этапы экспертного оценивания

     Этапы экспертного оценивания

1. Постановка  цели исследования.
2. Выбор формы исследования, определение бюджета проекта.
3. Подготовка информационных материалов, бланков анкет, модератора процедуры.
4. Подбор экспертов.
5. Проведение экспертизы.
6. Статистический анализ результатов.
7. Подготовка отчета с результатами экспертного оценивания.

     Постановка цели исследования

     Экспертное  оценивание предполагает создание разума, обладающего большими способностями по сравнению с возможностями отдельного человека. Источником сверхвозможностей мультиразума является поиск слабых ассоциаций и предположений, основанных на опыте отдельного специалиста. Экспертный подход обладает большими возможностями по решению задач, не поддающихся решению обычным аналитическим способом:

1. Выбор лучшего варианта решения среди имеющихся.
2. Прогнозирование развития процесса.
3. Поиска возможного решения сложных задач.

     Перед началом экспертного исследования необходимо четко определить его цель, (проблему), и сформулировать соответствующий вопрос для экспертов. При этом рекомендуется придерживаться следующих правил:

1. Четкое определение условий, времени, внешних и внутренних ограничений проблемы.
2. Возможность ответа на вопрос с доступной человеческому опыту точностью.
3. Вопрос лучше формулировать как качественное утверждение, чем как оценку числа. Для численных периметров не рекомендуется задавать более пяти градаций.
4. Эксперты оценивают возможные варианты, не следует ожидать от них построения законченного плана действий, развернутого описания возможных решений.

     Выбор формы исследования, определение бюджета проекта

     Существующие  виды экспертных оценок можно классифицировать по признакам:

1. По форме участия экспертов: очное, заочное. (Очный метод позволяет сосредоточить внимание эксперт на решаемой проблеме, что повышает качество результата, однако заочный метод может быть дешевле).
2. По количеству итераций (повторов процедуры для повышения точности) – одношаговые и итерациями.
3. По решаемым задачам: генерирующие решения и оценивающие варианты.
4. По типу ответа: идейные, ранжирующие, оценивающие объект в относительной или абсолютной (численной) шкале.
5. По способу обработки мнений экспертов: непосредственные и аналитические.
6. По количеству привлекаемых экспертов: без ограничения, ограниченные. Обычно используется 5 – 12 человек экспертов.

     Наиболее  известные методы экспертных оценок: метод Дельфи, мозговой штурм. Каждому методу соответствуют свои сроки проведения и потребность в экспертах.

     После выбора метода экспертного оценивания можно определить затраты на процедуру, которые включают: Оплата экспертов, аренда помещения, канцтовары, оплата специалиста по проведению и анализу  результатов экспертизы.

     Подготовка информационных материалов

     Подготовка информационных материалов, бланков анкет, инвентаря и модератора процедуры

     Эксперты, перед вынесением суждения, должны разносторонне рассмотреть представленную проблему. Поэтому, для проведения процедуры необходимо подготовить информационные материалы с описанием проблемы, имеющиеся статистические данные, справочные материалы. Следует избегать следующих ошибок: упоминать разработчиков материалов, выделять тот или иной вариант решения, выражать отношение руководства к ожидаемым результатам. Данные должны быть разносторонние и нейтральные. Заранее необходимо разработать бланки анкет для экспертов. В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждении, парного сравнения, ранжированного ряда, в баллах или в виде абсолютной оценки. Саму процедуру проводит независимый модератор процедуры, который контролирует соблюдение регламента, раздает материалы и анкеты, но сам не высказывает свое мнение.

     Подбор экспертов

     Эксперты  должны обладать опытом в областях, соответствующих решаемым задачам. При подборе экспертов следует  учитывать момент личной заинтересованности, который может стать существенным препятствием для получения объективного суждения. Наиболее распространены методы Шара, когда один эксперт, наиболее уважаемый специалист, рекомендует ряд других и далее по цепочке, пока не будет подобран необходимый коллектив.

     Проведение экспертизы

     Проведение процедуры отличается в зависимости от используемого метода. Общие рекомендации:

1. Препятствовать давлению авторитетов (эксперт часто боится противоречить мнению большинства или наиболее уважаемого специалиста).
2. Установить и соблюдать регламент. Увеличение времени на принятие решения сверх оптимального не повышает точность ответа.

     Статистический анализ результатов

     После получения ответов экспертов  необходимо провести их оценку. Это  позволяет:

1. Оценить согласованность мнений экспертов. При отсутствии значимой согласованности экспертов необходимо выявить причины несогласованности (наличие групп) и признать отсутствие согласованного мнения (ничтожные результаты)
2. Оценить ошибку исследования
3. Построить модель свойств объекта на основе ответов экспертов (для аналитической экспертизы).

     Подготовка  отчета с результатами экспертного  оценивания. В отчете указывается цель исследования, состав экспертов, полученная оценка и статистический анализ результатов. 

2. Методы  экспертных оценок

          Метод комиссий состоит в открытой дискуссии по обсуждаемой проблеме для выработки единого мнения экспертов. Коллективное мнение определяется в результате открытого или тайного голосования. В некоторых случаях к голосованию не прибегают, выявляя результирующее мнение в процессе дискуссии.

     Преимущества  метода комиссий: возможен рост информированности  экспертов, поскольку при обсуждении эксперты приводят обоснования оценок, и обратная связь – под воздействием полученной информации эксперт может  изменить первоначальную точку зрения.

     Недостатки  метода комиссий: Отсутствие анонимности. Это приводить к присоединению  мнения эксперта к мнению более компетентных и авторитетных экспертов даже при  наличии противоположной собственной  точки зрения. Дискуссия часто  сводится к полемике наиболее авторитетных экспертов.

     Метод суда используются аналогии с судебным процессом. Часть экспертов объявляется сторонниками рассматриваемой инициативы и выступает в качестве защиты, приводя доводы в пользу рассматриваемой инициативы и выступает в качестве защиты, приводя доводы в пользу защиты этой инициативы. Часть экспертов объявляется ее противниками и пытается выявить отрицательные стороны. Часть экспертов регулирует ход экспертизы и выносит окончательное решение. В процессе экспертизы по методу суда функции экспертов могут меняться. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссий.

     Метод мозговой атаки, разработан в 50-60-х годах. Один из наиболее применяемых методов проведения экспертиз. Основная задача – выявление новых идей. Для этой цели организаторы экспертизы должны создать атмосферу, наиболее благоприятствующую генерированию идей, атмосферу благожелательности, поддержки, освобождающую эксперта от излишней скованности. Обсуждаемая проблема должна быть четко сформулирована. Любая идея должна быть обсуждена и не должна быть признанной ложной.

     Метод Делфи, разработан О. Хелмером и Н. Делки. В методе Делфи предусматривается создание условий, обеспечивающих наиболее продуктивную работу экспертной комиссии. Это достигается анонимностью процедуры, с одной стороны, и возможностью пополнить информацию о предмете экспертизы, с другой стороны. Ещё одно важное свойство – обратная связь, позволяющая экспертам корректировать свои суждения с учетом промежуточных усредненных оценок и пояснений экспертов, высказывавших крайние точки зрения. Экспертизы по методу Делфи проводятся чаще всего в 4 тура. В первом туре экспертам сообщают цель экспертизы и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы для эксперта предъявляются в виде анкеты, иногда с пояснительной запиской. Информация, полученная от эксперта, поступает в распоряжение аналитической группы. Во втором туре экспертам предъявляются усредненная оценка экспертной комиссии и обоснования экспертов, высказавших крайние оценки. Указания представляются анонимно. После получения дополнительной информации эксперты, как правило корректируют свои оценки. Скорректированная информация вновь поступает в аналитическую группу. Третий и четвертый туры не отличаются от второго. Характерная особенность метода Делфи – уменьшающийся от тура к туру разброс оценок, их возрастающая согласованность.

     Основные  особенности метода Делфи: анонимность  суждений, обоснование точек зрения экспертов, давших крайние оценки, обратная связь, реализуемая с помощью  многотуровой процедуры.

     Метод прогнозного графа, создан авторским коллективом во главе с В.М. Глушковым. Используется при прогнозировании. Основная часть метода прогнозного графа – коллективная экспертиза формирования набора исходных проблем. Каждым экспертом разрабатывается матрица «цель-средства», в которой указываются цели, необходимые для достижения глобальной цели, а также средства достижения каждой из них. Характерная особенность метода прогнозного графа – многоэтапность экспертизы. Центральная процедура метода – формирование прогнозного графа. В первом туре экспертизы составляется предварительный список промежуточных целей, необходимость для достижения конечной цели, указывается отношение подчиненности. Эта экспертная информация используется при определении списка целей для второго тура экспертизы. Во втором туре экспертизы анализу подвергается уже не конечная, а промежуточные цели, сформированные экспертами в первом туре. Эксперты второго тура обладают правом корректировать цели, сформированные экспертами первого тура. Последующие туры экспертизы аналогичны второму. Процедура заканчивается тогда, когда эксперты доходят до уровня целей, для реализации которых нет необходимости проводить дополнительные исследования и разработки. На основе полученной информации формируется прогнозный граф. Следующий этап – привлечение достаточно представительной группы экспертов, способных оценить каждую из представленных в прогнозном графе вершин-целей.