Достоверность экспертного оценивания может быть определена только на основе практического  решения проблемы и анализа ее результатов. Использование экспертов как раз и обусловлено тем, что отсутствуют какие-либо другие способы получения информации. Поэтому оценка достоверности экспертизы может осуществляться, как правило, только по апостериорным (послеопытным)   данным.   Если экспертиза   проводится систематически с примерно одним и тем же составам экспертов, то появляется возможность накопления статистических данных по достоверности работы группы экспертов и получения устойчивой числовой оценки достоверности. Эту оценку можно использовать в качестве априорных данных о достоверности группы экспертов для последующих экспертиз.

  Достоверность группового экспертного оценивания зависит от общего числа экспертов  в группе, долевого состава различных  специалистов в группе, от характеристик экспертов.

  Определение характера зависимости достоверности  от перечисленных факторов является еще одной проблемой процедуры подбора экспертов.

  Сложной проблемой процедуры подбора  является формирование системы характеристик  эксперта, существенно влияющих на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу. Важным требованием к характеристикам эксперта является измеримость этих характеристик.

  Еще одной проблемой является организация  процедуры подбора экспертов, т.е. определение четкой последовательности работ, выполняемых в процессе подбора экспертов и необходимых ресурсов для их реализации.

  Максимальное  число экспертов в группе проверяется  на ограничение по финансовым ресурсам. Определив зависимость между достоверностью, количеством экспертов и расходами на оплату, группа управления представляет руководству эту информацию и формулирует возможные альтернативы решений. Такими альтернативами могут быть либо снижение достоверности результатов экспертного оценивания до уровня, обеспечивающего выполнение ограничения по расходам на оплату экспертов, либо сохранение исходного требования на достоверность экспертизы и увеличение расходов на оплату экспертов.

  Следующим этапом работы по подбору экспертов  является составление предварительного списка экспертов. При составлении этого списка проводится анализ качеств экспертов. Кроме учета качеств экспертов, определяются их местонахождение и возможности участия выбранных специалистов в экспертизе. При оценке качеств учитывается мнение людей, хорошо знающих кандидатов в эксперты.

  После составления списка экспертов им направляются письма с приглашением участвовать в экспертизе. В письмах объясняется цель проведения экспертизы, ее сроки, порядок проведения, объем работы и условия вознаграждения. К письмам прилагаются анкеты данных эксперта и самооценки компетентности. Получив ответы экспертов, группа управления составляет окончательный список группы экспертов.

  После составления и утверждения списка экспертам посылается сообщение  о включении их в состав экспертной группы. Если экспертное оценивание производится методом анкетирования, то одновременно с уведомлением о включении в экспертную группу всем экспертам высылается анкета с необходимыми инструкциями для их заполнения. Сообщением экспертам о включении их в экспертизу заканчивается работа по подбору экспертов.

1.4. Опрос экспертов.

 

  Опрос – главный этап совместной работы группы управления и экспертов. Основным содержанием опроса является:

  - постановка задачи и предъявление  вопросов экспертам;

  - информационное обеспечение работы  экспертов;

  - выработка экспертами суждений, оценок, предложений;

  - сбор результатов работы экспертов.

  Можно назвать три типа задач, которые  решаются в процессе опроса:

  - оценка качественная или количественная  заданных объектов;

  - построение новых объектов;

  - построение и оценка новых  объектов.

  При коллективной экспертизе используются следующие основные виды опроса: дискуссия, анкетирование и интервьюирование, метод коллективной генерации идей, или мозговой штурм.

  Анкетирование может проводиться с обратной связью или без нее. При анкетировании  с обратной связью опрос экспертов производится в несколько этапов с доведением до сведения экспертов некоторых результатов опроса на предыдущем этапе, включая оценки отдельных экспертов и их аргументацию.

  Главным в организации опроса является обеспечение  максимума информации и максимума  творческой активности, самостоятельности эксперта. Необходимо стремиться довести до каждого эксперта по возможности всю информацию, относящуюся к анализируемому явлению, которой располагают как эксперты, так и организаторы опроса, не лишая в то же время эксперта творческой самостоятельности и активности.

  Однако  возможности эксперта по переработке  информации ограниченны. В результате эксперт может принять решение, не используя всей информации, имеющейся в его распоряжении. Кроме того, новая информация воспринимается человеком с определенным внутренним сопротивлением и не сразу влияет на уже сложившиеся субъективные оценки. Отношение к новой информации благожелательнее, а восприятие и использование ее полнее, если она представляется в доходчивой, яркой и компактной форме.

  Из  этих психологических особенностей следует необходимость предоставления экспертам возможностей для фиксации поступающей информации путем ведения записей, использования технических средств, а также необходимость предварительной обработки информации и представления ее экспертам в наиболее воспринимаемой форме.

  Необходимо  подчеркнуть противоречивость значения обмена экспертами информацией, так  как получение такой информации таит опасность потери творческой независимости в построении модели объекта экспертом. Разрешение этого противоречия в полной мере невозможно, и при каждой экспертизе ее организаторы должны находить разумный компромисс, прежде всего, путем выбора вида опроса, формы и степени общения экспертов.

  Каждый  из видов опроса имеет свои достоинства  и недостатки в построении обмена информацией между экспертами и  в организации их независимого творчества. Выбор того или иного вида опроса определяется многими факторами, из которых основными являются:

  - цель и задачи экспертизы;

  - существо и сложность анализируемой  проблемы;

  - полнота и достоверность исходной  информации;

  - требуемые объем и достоверность  информации, получаемой в результате опроса;

  - время, отведенное на опрос  и экспертизу в целом;

  - допустимая стоимость опроса, и  экспертизы в целом;

  - количество экспертов и членов  группы управления, их характеристики.

  Анкетирование является наиболее эффективным и  самым распространенным видом опроса, ибо позволяет наилучшим образом  сочетать информационное обеспечение экспертов с их самостоятельным творчеством. 
 
 

 

2.Методы получения экспертных оценок. 

     Методы  экспертных оценок - это методы организации  работы со специалистами-экспертами и  обработки мнений экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные оценки бывают индивидуальные и коллективные. Индивидуальные оценки - это оценки одного специалиста. Например, преподаватель единолично ставит отметку студенту, а врач - диагноз больному. Но в сложных случаях заболевания или угрозе отчисления студента за плохую учебу обращаются к коллективному мнению - симпозиуму врачей или комиссии преподавателей. 

2.1 Индивидуальные методы.

     Сравнительно  простым индивидуальным методом  получения экспертной оценки является метод типа “интервью”. Название этого  метода говорит само за себя. Свои суждения эксперт высказывает в беседе с человеком осуществляющем опрос (прогнозистом), отвечая на поставленные перед ним вопросы. Эксперт в данном случае не имеет времени для предварительного анализа этих вопросов, поэтому прогнозист при проведении интервью должен тщательно продумывать формулировки и смысловое содержание вопросов. Вопросы нужно формулировать так, чтобы всеми экспертами они понимались однозначно. Результаты интервью во многом зависят от специальной подготовленности прогнозиста и от его умения вести свободную беседу, удерживая инициативу в своих руках.

     Аналитический метод.

     Вторым  индивидуальным методом получения  экспертной оценки является “аналитический”. Сюда относятся докладная записка  и морфологический анализ. Аналитический  метод предполагает длительную работу эксперта по анализу поставленных перед  ним вопросов.

     Термин  “морфологический анализ” был впервые введен американским астрофизиком Цвики Ф., который занимался техническим прогнозированием в области реактивных двигателей. При использовании этого метода объект прогнозирования прежде всего рассматривается с точки зрения его структуры, а не с точки зрения выполняемых им функций.

     Смысл его в том, что объект делится  на ряд характерных составляющих, параметров. Составляется матрица вариантов  реализации:

     Каждый  вариант представляет совокупность соединений параметров. Затем оценивается  целесообразность вариантов. 

     2.2 Групповые методы.

     В общем случае предполагается, что  мнение группы экспертов надежнее, чем мнение отдельного индивидуума, что обусловило популярность групповых  методов опроса. Основное преимущество этих методов заключается в возможности  разностороннего анализа количественных и качественных аспектов проблемы. Недостатком является то, что мнения даже специалистов в одной узкой  области могут расходиться, а, значит, не исключено, что на один и тот  же вопрос можно получить от специалистов одного профиля различный ответ.

     Групповые методы экспертного опроса делятся  на два класса: одни используют открытую дискуссию, другие опрос при помощи анкет. Представителями открытой дискуссии  являются методы комиссии, суда, мозговой атаки (мозговой штурм, отнесенная оценка). Недостатком дискуссии является то, что для оценки обобщенного  мнения всей группы экспертов не используется аппарат математической статистики. Анкетирование исключает непосредственное общение между экспертами. Свои заключения по поставленным перед ними вопросам эксперты представляют анонимно. Этот способ организации работы экспертов  использует метод Дельфы.

     Метод комиссии.

     Этот  метод состоит в открытой дискуссии  по обсуждаемой проблеме для выработки  единого мнения экспертов. Коллективное мнение определяется в результате тайного  или открытого голосования. В  некоторых случаях к голосованию  не прибегают, выявляя результирующее мнение в процессе дискуссии. Преимущество метода комиссии состоит в росте  информативности экспертов, поскольку  при обсуждении эксперты приводят обоснования  своих оценок, под воздействием которых  некоторые участники комиссии могут  изменить первоначальную точку зрения. К недостаткам относится отсутствие анонимности. Оно может приводить  к достаточно сильным проявлениям  конформизма со стороны экспертов, присоединяющих свои мнения к мнению более компетентных и авторитетных экспертов даже при наличии противоположной  точки зрения. Дискуссия часто  сводится к полемике наиболее авторитетных экспертов, в которой часто берет  не обоснованность, а количество приводимых доводов “за” и “против”. Кроме  того, публичность высказываний может  приводить к нежеланию некоторых  экспертов отказаться от ранее высказанного мнения, даже если оно в процессе дискуссии претерпело изменения. При использовании метода комиссии имеет место взаимное влияние мнений экспертов, которое при соблюдении ряда условий может способствовать созданию творческой атмосферы и непрерывному генерированию идей.

     Метод суда.

     Экспертиза  по методу суда использует аналогии с  судебным процессом. Часть экспертов, объявляется сторонниками рассматриваемого решения и выступает в качестве защиты, приводя доводы в его пользу. Часть экспертов, регулирует ход экспертизы и выносит окончательное решение. В процессе экспертизы “функции” экспертов могут меняться. Метод суда обладает теми же преимуществами и недостатками, что и метод комиссии.