Структуризация методов исследования систем управления

Метод непосредственного  оценивания представляет собой упорядочение исследуемых объектов (например, при  отборе параметров для составления  параметрической модели) в зависимости  от их важности путем приписывания баллов каждому из них. При этом наиболее важному объекту приписывается (дается оценка) наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок наиболее распространенным бывает от 0 до 1, 0 до 5, 0 до 10, 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной  форме. Например, "очень важный", "важный", "маловажный", и т.п., что тоже иногда для большого удобства обработки результатов опроса переводится в балльную шкалу (соответственно 3, 2, 1).

Использование указанного метода используется только при уверенности полной информированности  экспертов об исследуемых свойствах  объекта, чего нередко не бывает.

Метод сопоставления  осуществляется, как уже указывалось  ранее, парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре объектов наиболее важный. Все возможные  пары объектов эксперт представляет в виде записи каждой из комбинаций (объект I - объект 2, объект 2 - объект 3 и  т.д.) или в форме матрицы.

В результате сравнения объектов в каждой паре эксперт высказывает мнение о  важности того или иного объекта, то есть отдает одному из них предпочтение. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары. Упорядочение в каждой паре объектов, безусловно, не дает сразу упорядочения всех рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Наиболее удобно осуществлять парные сравнения и их обработку, используя в качестве инструмента матрицы.

В отдельных  случаях при большом количестве исследуемых объектов на результаты парного сравнения оказывают  влияние психологические факторы, то есть предпочтение порой получает не тот объект, который действительно  предпочтителен перед другими, а  тот, который в перечне пар  записан первым или находится  по расположению в матрице выше сравниваемого. Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно объектов в каждой паре.

Метод парных сравнений очень прост и он позволяет исследовать большее  количество объектов (по сравнению, например, с методом рангов) и с большей  точностью.

Сущность  метода последовательного сопоставления  состоит в следующем. Эксперт  располагает все исследуемые  объекты в порядке их важности (как метод рангов). Предварительно каждому из объектов приписывается  определенное количество баллов, например, по шкале от 0 до I (как метод оценивания). Причем самому важному объекту дается балл равный I, а всем остальным в  порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины  оценок второго, третьего и последующих  объектов по важности определяются последовательно  аналогично оценке первого наиболее важного объекта.

Метод последовательного  сопоставления для экспертов  наиболее трудоемок. Особенно это начинает ощущаться при количестве исследуемых  объектов более шести-семи.

Обработка собранных мнений экспертов проводится как количественная (численных данных), так и качественная (содержательной информации). При этом используются различные способы. Необходимо отметить, что при наличии численных  данных для решения вопросов, имеющих  достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако, даже при  имеющихся численных данных, но при  недостаточности информации по решаемому  вопросу(что нередко бывает при проектировании систем управления) используются наряду с количественными методами обработки экспертных данных также и методы качественного анализа и синтеза.

При использовании  рассмотренных экспертных методов (рангов и др.) мнения экспертов часто  совпадают не полностью. Поэтому  необходимо количественно оценивать  меру согласованности мнений экспертов  и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных всей группы экспертов.

Для оценки меры согласованности мнений экспертов  используются, как правило, коэффициенты конкордации - дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает  значения от 0 до 1. При 0 - нет согласованности  между мнениями экспертов, при 1 - согласованность  полная. Если дисперсионный коэффициент  конкордации больше 0,5, то обычно согласованность  считается достаточной.

Энтропийный коэффициент конкордации (иначе  его называют коэффициентом согласия) также изменяется от 0 до 1 и также  при большей величине коэффициента согласия - большая мера согласованности.

В случаях, когда мнения экспертов различаются  незначительно, то указанные выше коэффициенты примерно дают одинаковую меру согласованности. Однако, если имеются существенные различия в мнениях экспертов, то величины коэффициентов будут существенно отличаться. Таким образом, совместный анализ коэффициентов позволяет объективно определить меру согласованности мнений экспертов.

Применение  всех рассмотренных экспертных методов, несмотря на их недостатки, показывает их эффективность при исследованиях  и проектировании систем управления. Причем, наибольший эффект достигается  при одновременном использовании  нескольких методов.

К разновидности  экспертного метода можно отнести  социологический, который основывается на опросе, сборе и анализе мнений респондентов (например, фактических  или потенциальных потребителей). Такой опрос и сбор мнений производится обычно в письменной форме - распространением анкет или устно (на конференциях, аукционах, выставках, в учебных  заведениях и т.п.). При использовании  этого метода также следует применять  научно-обоснованные способы опроса, математические принципы сбора и  обработки информации.

Обработка экспертных и социологических данных и расчеты мер согласованности  требуют трудоемких вычислений. Поэтому  следует шире использовать при проведении сбора и обработке результатов  экспертной и социологической информации компьютерную технику. Возможности  для этого есть, так как автоматизация проведения и обработки результатов подобного рода данных стала предметом создания ряда продуктов программного обеспечения.

5. Метод экспертных оценок Дельфи

 

Сущность  метода Дельфи состоит в последовательном анкетировании экспертов различных  областей науки, техники и формировании массива информации, отражающего  индивидуальные оценки экспертов, основанные на строго логическом опыте. Данный метод  предполагает использование серии  анкет, в каждой из которых содержаться  информация и мнения, полученные из предыдущей анкеты.

Область применения метода: прогноз развития науки и техники, будущих открытий и изобретений, для которых нет  достаточной теоретической базы в момент составления прогноза, а  также составление картины будущего мира, долгосрочного прогнозирования, изучения ряда экономических и социальных проблем. Сбор и обработка индивидуальных мнений экспертов о прогнозах  развития объекта исследования производится исходя из следующих принципов:

• вопросы в анкетах ставятся таким образом, чтобы можно было дать количественную характеристику ответам экспертов;
• опрос экспертов проводится в нескольких этапов, на каждом последующем этапе вопросы и ответы все более уточняются;
• после каждого этапа всех опрашиваемых экспертов знакомят с результатами опроса;
• эксперт обосновывают оценки и мнения, отклоняющие от мнения большинства;
• статическая обработка ответов производится последовательно, от этапа к этапу, с целью получения обобщающих характеристик.

Опрос экспертов  производится в четыре этапа с  промежутками в два месяца.

Разумеется, еще до первого этапа должны быть проведены подготовительные мероприятия  с экспертами.

Первый  этап. Целью первого этапа является составление перечня событий  для прогноза в определенной области  науки и техники.

Первая  анкета может быть полностью бесструктурной и допускать любые ответы.

Эксперты  в письменной форме называют изобретения  или научные открытия, которые, по их мнению, должны быть сделаны в  последующие 50лет (можно взять и  другой период). При этом требуется доказать, что потребность в данных открытиях ощущается уже в настоящее время, поэтому их реализация должна осуществиться в течение 50лет. В результате этого этапа эксперты называют определенное число событий (изобретений и открытий).

После того как прогнозы группы возвратились к  организатору, он должен объединить их, идентифицировать и составить перечень, который становится основой второй анкеты.

Второй  этап. Экспертам направляют свободный  перечень событий и просят оценить  даты, когда могут произойти эти  события. Эксперты приводят соображения, по которым они считают свои оценки правильными, т.е. указать причины  того, почему, по их мнению, то или иное событие не должно произойти раньше или позже прогнозируемой ими  даты.

После того как прогнозы и оценки дат, сделанные  членами группы, вернулись к организатору, последний должен подготовить статическую  сводку мнений, упоминая аргументы  и доводы в пользу того, что рассматриваемое  событие произойдет раньше или позже  средней оценки.

Затем аналитики  проводят статическую обработку  полученных оценок: уточняют перечень событий и анализирует характеристики ряда, т.е. рассчитывают медианы, моды, квартили и децили.

Под медианой понимается такое значение прогнозируемого  признака, которым обладает центральный  член ряда, составленного в порядке  возрастания значений признака. Под  модой понимается наиболее часто  встречающееся в ранжированном  ряду значение прогнозируемого признака. Квартилем называется значение прогнозируемого  признака, которым обладают члены  ряда под номером, представляющим ј всего ряда (нижний квартиль) и ѕ от всего ряда (верхний квартиль). Аналогично определяются децили.

Предположим, что от экспертов получено какое - либо число оценок. Эти оценки упорядочиваются, скажем, в порядке убывания. За медиану  принимается средний член ряда (при  нечетном числе экспертов), по отношению  к которому число оценок с начала и с конца ряда будет одинаковым.

При четном числе экспертов медиана равна  среднему из значений оценок двух центральных  экспертов. В нашем случае - нечетное число экспертов 11, медиана будет  совпадать с оценкой N₆ (рис.2). Затем определяются верхний и нижний квартили, т.е. интервалы Q₁M_e и Q₃M_e. Величины этих квартилей в первом приближении равны значениям оценок ряда в интервале, равном 25% от начала и 25% от конца ряда. Таким образом, медиана и квартили образуют на оси ряда четыре интервала, среди которых два средних и считаются наиболее предпочтительными. Полученные таким образом показатели принимаются за характеристики распределения оценок: медиана служит характеристикой группового ответа, а предпочтительный интервал квартилей - показателем разброса индивидуальных оценок.

Рис.2. Медиана  и квартили в методе Дельфи

 

Каждому эксперту сообщаются значения этих характеристик. Экспертов, чьи оценки оказались  в крайних квартилях, просят их мотивировать, т.е. обосновать причины расхождения  с групповым мнением. Эксперты могут  приводить любые аргументы или  возрождения, такие же, какие они  приводят во время дискуссии. Разница  заключается лишь в том, что эти  аргументы анонимны. Они могут  пересмотреть свои мнения и при желании  исправить оценки.

С полученными  обоснованиями знакомят остальных  экспертов, не указывая при этом, чьи  они. Такая процедура позволяет  всем экспертам принять в расчет обстоятельства, которые они могли  случайно пропустить или которыми пренебрегли  во время первого и второго  этапа.

Третий  этап. Третья анкета состоит из перечня  событий, групповой медиана дат наступления события, верхнего и нижнего квартилей для каждого события, а также сводных данных о причинах более ранних или поздних оценок. Участники экспертизы вновь рассматривают аргументы и формулируют новые оценки по каждому событию. Если их новая оценка не попала в интервалы между квартилями, полученными на втором этапе опроса, то их просят обосновать свою точку зрения.

После того как пересмотренные оценки и новые  аргументы возвратились к организатору, он опять должен суммировать оценки группы, рассчитав новые медианы  и новые квартили, суммировать  аргументы, представленные с обеих  сторон, и подготовить на этой основе новые прогнозы.

Четвертый этап. Участникам экспертизы вновь  передают перечень событий, статическое  описание оценок группы и аргументы  обеих сторон.

Эксперты  должны принять во внимание аргументы  и их критику и составить новый  прогноз.