Экспертные оценки

     Прямые  дебаты заменены тщательно разработанной  программой последовательных опросов, проводимых обычно в форме анкетирования. Ответы экспертов обобщаются и вместе с новой дополнительной информацией поступают в распоряжение экспертов, после чего они уточняют первоначальные ответы. Такая процедура повторяется несколько раз до достижения приемлемой согласованности всей совокупности высказанных мнений. Перед рассылкой анкеты эксперту объясняется проблема.

     На  первом туре экспертам сообщается цель экспертизы и формируются вопросы, ответы на которые составляют основное содержание экспертизы.

     Успеху  экспертизы способствует предоставление эксперту дополнительной информации о  предмете экспертизы. Информация, полученная от эксперта, поступает в распоряжение аналитической группы, обеспечивающей организацию, проведение, обработку промежуточных и окончательных результатов экспертизы. Аналитическая группа определяет экспертов, высказавших крайние точки зрения, давших самую высокую и самую низкую оценку альтернативе. Усредненное мнение экспертов – медиану, верхнюю и нижнюю квартили, т.е. значение оцениваемой альтернативы, выше и ниже которых расположены 25% числовых значений оценок. Расстояние между квартилями характеризует разброс экспертных оценок, т.е. согласованность точек зрения экспертов.

     Вводятся  следующие обозначения:

     T ₀ - значение наиболее ранней оценки;

     T _0,25 – значение оценки, определяющей  25%  наиболее ранних оценок (из всех имеющихся), - нижний квартиль;

     T _0,5 – значение оценки, разделяющий упорядоченную по оси времени совокупность оценок на две равные по количеству оценок части, - медиана;

     T _0,75 – значение оценки, определяющей 25% наиболее поздник оценок (из всех имеющихся), - верхний квартиль;

     T _1,0 – значение наиболее поздней оценки.

     Степень согласованности мнений экспертов  определяют  коэффициентом вариации υ, который не должен превышать 33%. Он рассчитывается по формуле

               σ

     υ= ─ ×100%,

           х

     где х – средне квадратическое отклонение  оценок;

           σ – квартиль. 

     σ=√[∑(xi ­ x)²]:n,

     где х – среднее значение оценок;

           хi – оценка каждого  эксперта;

           n ­ число экспертов.

     Медиана – это значение оценки, которое  находится в середине ранжированного ряда. Для нахождения медианы ряда с четным числом складывают два средних  варианта и делят сумму пополам.

     На  втором туре экспертам предъявляется  усредненная оценка экспертной комиссии и обоснования экспертов, высказавших  «крайние» точки зрения. Обоснования  принимаются анонимно, без указания имен экспертов. Скорректированная  информация вновь поступает в аналитическую группу. На третьем туре эта информация вместе с анонимными аргументациями поставленных оценок снова направляется каждому участнику. На основе полученной информации эксперты пересматривают предыдущие оценки. На четвертом туре каждому эксперту предоставляется право распределения оценок третьего тура, и он должен снова представить на рассмотрение пересмотренную оценку, учтя полученную информацию. В некоторых случаях согласованная точка зрения экспертов может быть получена уже после второго или третьего туров. Тогда необходимость проведения следующих туров отпадает.

     При использовании метода «Дельфи» полезно  учитывать следующее:

1. Группы экспертов должны быть стабильными.
2. Время между турами опросов не должно быть более месяца.
3. Вопросы в анкетах должны быть тщательно продуманны и однозначно сформулированы.
4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с причиной появления оценки, а также для критики этих причин.
5. Должен проводиться систематический отбор экспертов.
6. Необходимо иметь самооценку компетенции экспертов по рассматриваемым проблемам.
7. Нужна формула согласованности оценок, основанная на данных самооценок.
8. Необходимо установить влияние различных видов передачи информации экспертам по каналам обратной связи.

     Метод «Дельфи» является достаточно надежным инструментом получения экспертной информации. С его помощью выявляется преобладающее суждение специалистов.

     После первой апробации метода «Дельфи» были разработаны различные его модификации. Все модификации могут быть охарактеризованы следующим образом:

     -составление  классификатора событий, которые  экспертам предстоит анализировать;

     -предварительное  описание прогнозного фона;

     -уменьшение  числа туров опроса;

     -характер  вопросов, задаваемых экспертам, и соответствующие математические процедуры получения групповых прогнозных оценок.

     Модифицирование метода «Дельфи» было связанно с расширением  области его применения.

       Классический метод «Дельфи», созданный  для прогнозирования научных  открытий и времени их свершения, стал использоваться для оценки приоритетности направлений прикладных исследований, а также для анализа перспективности технических (конструкторских и технологических) решений и даже для оценки количественных показателей разрабатываемых технических объектов, технологических процессов и т.д. 

     2.2. Метод мозговой  атаки. 

     Этот  метод, известный также под названиями «мозговой штурм» и «конференция идей», был предложен американским ученым А. Осборном в 1955 году. Основная направленность метода – выявление новых идей и решений.

     Метод мозговой атаки характеризуется  открытым высказыванием мнений специалистов (на специальном заседании) по решению  конкретной задачи. При этом должны соблюдаться два  условия: 1) запрещается  критика чужих суждений; 2) предполагается высказывать любые идеи по решению данного вопроса без учета их сиюминутной ценности или возможности реализации. Все высказанные идеи фиксируются и после обсуждения детально прорабатываются. Достоинством метода мозговой атаки является возможность принятия решения за сравнительно короткий срок.

     При реализации метода мозговой атаки может  применяться принцип Парето. После  регистрации идей из всей их совокупности каждым экспертом отбирается 20% идей, с их точки зрения заслуживающих  наибольшего внимания. Далее из их состава отбираются те, которые получили наибольшее количество очков. Применение этого метода устраняет эффект конформизма, т.е. приспособленчества, позволяет получить продуктивные результаты за короткое время, вовлечь всех экспертов в активный творческий процесс.

     Метод мозгового штурма основан на следующих  принципах:

1. В  решении поставленной задачи  участвуют две группы людей:  генераторы идеи и эксперты.

2. При  генерировании не должно быть  никаких ограничений.

3. Философская  основа метода мозгового штурма – теория З. Фрейда, согласно которой сознание человека представляет собой топкое и непрочное наслоение над подсознанием.

Основное  достоинство метода мозговой атаки  – в запрете на критику.

Весь  процесс «атаки» можно разделить  на шесть этапов:

1. Формируется группа экспертов (10 - 15 человек). Состав группы предполагает их целенаправленный  подбор.
2. Составляется проблемная записка. Для подготовки записки предварительно  формируется группа анализа проблемной ситуации.
3. Генерация идей. Продолжительность штурма может составлять 20 – 60 минут (в зависимости от активности участников).
4. Систематизация идей, высказанных на третьем этапе (генерации).
5. Деструирование (разрушение) систематизированных идей. Каждая из систематизированных идей изучается на возможность ее осуществления.
6. Оценка критических замечаний  и составление списка практически применимых идей.

     Мозговая  атака может иметь различные  модификации. При решении проблем  численность людей, как генераторов, так и экспертов, обычно не превышает шести человек, продолжительность штурма не более 20 минут. 

     2.3. Метод «Паттерн». 

     Метод «Паттерн» позволяет анализировать  и ранжировать по степени важности сведения в любой области деятельности таким образом, чтобы можно было представить сложное и взаимное соотношение постоянных и переменных факторов.

     Инициатором создания метода «Паттерн» считают  вице-президента организации «Хониуэлл» Ч. Дэвиса (1963 г.). Иерархическая модель метода «Паттерн» строится исходя из принципов дедуктивной логики путем деления проблем на подпроблемы.

     Разработка  иерархического дерева по методу «Паттерн»  начинается с составления сценария. Сценарий устанавливает соотношение  целей, в общем, их наборе путем группового экспертного анализа.

     Дерево  целей для оценки относительной  важности всех входящих элементов строится сверху вниз исходя из сценария, уровень за уровнем, чтобы мероприятия последующего уровня обеспечивали задачи предыдущего. Древо целей состоит из восьми уровней: О – национальные цели; А – мероприятия; В – задачи; С – задания; D – принципы системы; Е – функциональные подсистемы; F – конструкции функциональных под систем; G – технические проблемы. Каждый уровень имеет  определенное количество элементов, например, уровень О имеет 1 элемент, уровень А – 3, уровень В – 6, уровень С – 46 и т.д.

     Главным преимуществом информационного  обеспечения метода «Паттерн» является возможность количественной оценки всех элементов, входящих в дерево целей, в виде «весов», т.е. коэффициентов  их относительной важности (Ri).

     Количество  туров зависит от квалификации специалистов и их опыта; считается, что в среднем достаточно трех туров голосования для групп, состоящих из 10 – 12 человек.

     Для каждого из уровней (от А до G) составляется матрица соответствия элементов данного уровня критериям.

     Заполнение матрицы (табл. 1)  является главной целью экспертной оценки. Такой способ заполнения матрицы является существенным улучшением методики интуитивной оценки, используемой в других методах (например, метод «Дельфи»).                Таблица 1. Общая форма матрицы соответствия.