Автор: Пользователь скрыл имя, 17 Марта 2012 в 21:14, курс лекций
Психодиагностика является самостоятельным видом психологической работы и входит в состав основных видов профессиональной деятельности (практической, научно-исследовательской, педагогической, организационно-управленческой), которые должен квалифицированно выполнять специалист-психолог.
При разработке взаимозаменяемых форм надо обеспечить их действительную параллельность. Важно, чтобы параллельные формы конструировались как независимые тесты, отвечающие, однако, одним и тем же требованиям. Такие тесты должны содержать одинаковое число заданий, представленных в одной и той же форме и с однотипным содержанием, а также имеющих примерно одинаковую диагностическую силу. Инструкции, формат бланков и др. также должны быть единообразными.
Помимо оценки надежности, наличие параллельных форм желательно и по другим соображениям: взаимозаменяемые формы полезны при повторных исследованиях, служат средством уменьшения вероятности формирования опыта («натаскивания») при выполнении тестов и преднамеренного искажения ответов.
Надежность взаимозаменяемых форм характеризуется рядом ограничений. Прежде всего, если изучаемые характеристики подвержены значительному влиянию тренировки (например, в некоторых тестах интеллекта), использование параллельных форм ослабит, но не устранит его полностью. Это приведет к снижению корреляции между двумя формами, а значит, к снижению данного вида надежности. Другая проблема связана с возможным изменением сущности теста при повторном его проведении. Например, если в параллельных задачах на мышление применен один и тот же принцип, то большинство испытуемых, однажды найдя решение, и во второй раз применят его. В подобных случаях одной замены содержания заданий явно недостаточно для того, чтобы избежать переноса принципа решения из одной формы теста на другую. Наконец, следует добавить, что для многих тестов взаимозаменяемые формы отсутствуют ввиду практических трудностей создания подлинно эквивалентных форм. В силу этих причин часто приходится обращаться к другим методам оценки надежности методики.
3) Надежность-согласованность – сходство результатов (ответов, реакций) по разным частям стимульного материала ПДМ.
Этот вид надежности можно определить на основании однократного применения единственной формы теста, пользуясь для этого различными процедурами расщепления теста, как правило, на две равноценные половины или на такое количество, сколько заданий в стимульном материале. Временная устойчивость показателей в такой характеристике надежности не представлена, поскольку она предполагает только один тестовый замер.
8.2. Оценка надежности
1. Ретестовая надежность. Самый простой способ определения этого вида надежности – проведение двух обследований с помощью методики на одной и той же выборке испытуемых через определенный интервал времени. В этом случае коэффициент надежности (гя) просто равен корреляции между двумя рядами тестовых показателей.
По существу, коэффициент корреляции (г) выражает степень соответствия или связи между двумя множествами показателей. Вычисляемые по реальным данным коэффициенты корреляции попадают между граничными значениями (-1 и +1) и обычно отличаются от нуля, но практически всегда оказываются меньше единицы (по абсолютному значению). Коэффициенты корреляции можно вычислять разными способами, в зависимости от природы данных. Наибольшее распространение получил коэффициент корреляции Пирсона.
, (16)
где xi и yi – тестовые оценки i испытуемого по двум замерам, и - средние значения, соответственно, по первому и второму замеру на выборке испытуемых, и - среднеквадратические отклонения по первому и второму замеру на выборке испытуемых, n – количество пар значений.
Этот коэффициент учитывает не только положение индивида в группе, но и степень его отклонения в ту или иную сторону от среднего уровня выборки.
Если коэффициент корреляции между двумя тестовыми замерами составляет от +0,7 до +0,9 (на уровне р<0,01), то ретестовая надежность считается высокой, а если более + 0,9, то – очень высокой. Чем больше объем выборки, на которой производилась оценка ретестовой надежности, тем о более высокой надежности свидетельствуют одни и те же значения коэффициента корреляции. Например, коэффициент г=0,81, полученный по методике на выборке N=270, свидетельствует о более высокой надежности, чем если бы такое значение корреляции было получено на выборке N=120.
Надо иметь в виду, что значения коэффициентов корреляции при оценке надежности шкал субъективного типа будут снижаться при следующих условиях:
- оценка многомерных методик по сравнению с одномерными тестами;
- использование трех- и пятиальтернативных вариантов ответов по тестовым заданиям, особенно с развернутой формулировкой;
- наличие тестовых заданий, обладающих средней диагностической силой.
Возникает противоречивая ситуация, когда повышение надежности-согласованности сопровождается ухудшением других характеристик методики и наоборот.
В описании процедуры и результатов оценки методики всегда следует указывать, в каком интервале времени измерена ретестовая надежность. Поскольку корреляции постепенно снижаются по мере увеличения этого интервала, для любого теста существует не один, а бесконечное множество ретестовых коэффициентов надежности. Желательно также давать некоторые сведения о событиях, происшедших за время между двумя сеансами тестирования с теми, на ком измерялась надежность теста. Также хорошо было бы знать, какими соображениями руководствовался разработчик при выборе именно этого интервала.
2. Надежность параллельных форм. Одних и тех же испытуемых тестируют в первый раз с помощью одной формы, а второй раз – посредством другой, эквивалентной формы. Корреляция между показателями, полученными по двум формам теста, представляет его коэффициент надежности. Заметим, что такой коэффициент надежности служит мерой как временной устойчивости, так и согласованности ответов на различные выборки заданий (или формы теста). Таким образом, этот коэффициент служит смешанной характеристикой двух типов надежности. Однако поскольку оба ее типа важны для большинства целей тестирования, надежность взаимозаменяемых форм оказывается полезной мерой для оценки многих тестов.
Как и в случае ретестовой надежности, сведения о надежности параллельных форм всегда должны сопровождаться указанием длительности временного интервала между двумя предъявлениями теста, а также характеристикой релевантных событий, происшедших за это время в жизни испытуемых. Если обе формы применяются непосредственно одна за другой, то полученная корреляция показывает только надежность параллельных форм, но ничего не говорит о надежности как временной устойчивости. Дисперсия ошибок в этом случае обусловлена колебаниями результатов при переходе от одного набора заданий к другому, а не временными флуктуациями показателей.
3. Надежность-согласованность. Этот вид надежности можно определить посредством деления теста либо на две равноценные половины, либо на столько частей, сколько содержится в нём заданий, с оценкой связи между частями теста.
3.1. Надежность эквивалентных половин теста. При таком способе каждый испытуемый получает два показателя благодаря разделению теста на две эквивалентные части.
Первая проблема, с которой приходится сталкиваться при применении метода расщепления, связана с тем, как разделить тест, чтобы добиться максимальной эквивалентности его половин. Всякий тест можно членить многими способами. В большинстве тестов первая и вторая половины оказались бы неэквивалентными вследствие различий в характере и уровне трудности заданий, а также в связи с кумулятивными эффектами вхождения в работу, утомления и любых других факторов, воздействие которых нарастает от начала к концу теста. Подходящий для большинства целей метод состоит в вычислении показателей отдельно по четным и нечетным заданиям теста.
Полученные показатели по двум частям теста коррелируются обычным методом. Однако эта корреляция показывает надежность лишь половины теста. Например, если весь тест состоит из 24 заданий, то корреляция вычисляется между двумя множествами показателей, каждый из которых основан только на выполнении 12 заданий. В отличие от надежности этого типа, при расчете ретестовой надежности и надежности параллельных форм, каждый показатель основывается на полном наборе заданий теста.
Поэтому применительно к расчетам надежности эквивалентных частей теста используется формула Спирмена – Брауна, предполагающая удвоение числа заданий теста:
, (17)
где rhh – коэффициент корреляции эквивалентных половин теста.
При прочих равных условиях, чем больше заданий содержит тест, тем выше его надежность. Вполне оправданно ожидать, что чем обширнее выборка поведения, тем адекватнее и согласованнее получаемые единицы измерения.
Альтернативный метод вычисления надежности эквивалентных половин теста разработан Рюлоном:
, (18)
где - дисперсия разностей между показателями каждого испытуемого по обеим половинам теста, - дисперсия показателей по полному тесту.
Любая разность между показателями испытуемого по двум половинам теста отражает постороннее влияние или дисперсию ошибок. Дисперсия таких разностей, поделенная на дисперсию показателей по всему тесту, дает долю дисперсии ошибок в этих показателях. Вычитая эту дисперсию ошибок из единицы, мы получаем долю «истинной» дисперсии для установленного применения теста, которая равна его коэффициенту надежности.
3.2. Надежность совокупности тестовых заданий. Этот метод определения надежности, также использующий однократное предъявление единственной формы теста, основан на оценке согласованности ответов по всем заданиям теста. На эту внутреннюю согласованность влияют два источника дисперсии ошибок: а) выборочная представленность содержания (как в случае надежности параллельных форм и эквивалентных половин теста); б) неоднородность содержания тестовых заданий. Чем однороднее задания, тем выше внутренняя согласованность. Например, если один тест включает только задания на умножение, а другой — на сложение, вычитание, умножение и деление, то первый тест, вероятно, покажет более высокую внутреннюю согласованность, чем второй. Во втором, более разнородном тесте один испытуемый может лучше справиться с вычитанием, чем с другими арифметическими действиями, другой покажет относительно высокий результат в делении, но хуже проявит себя в сложении, вычитании и умножении и т д.
Существует несколько способов оценки этой разновидности надежности-согласованности.
Коэффициент надежности Кьюдера – Ричардсона. Внутренняя согласованность находится по данным однократного проведения единственной формы теста, но вместо использования показателей по двум эквивалентным половинам теста эта методика опирается на результаты выполнения каждого задания. Из различных формул шире других применяется так называемая формула КR-20:
, (19)
где rtt – коэффициент надежности полного теста, п – число заданий в тесте,
– стандартное отклонение суммарных показателей теста, p и q – доля испытуемых, соответственно справившихся (р) и не справившихся (q) с каждым заданием.
Чтобы вычислить , нужно для каждого задания найти произведение p х q, а затем сложить эти произведения по всем заданиям.
Коэффициент альфа Кронбаха. Формула Кьюдера – Ричардсона применима лишь к тем тестам, в которых выполнение заданий оценивается по принципу «А – не-А» (альтернативные признаки), т.е. «да» или «нет», «верно» или «не верно». В некоторых тестах, однако, практикуется более дифференцированная форма представления результатов заданий. Например, в личностном опроснике испытуемый может получить различные числовые показатели по любому конкретному пункту опросника в зависимости от того, на какой из готовых категорий ответов он остановил свой выбор: например, «да», «пожалуй, да», «нечто среднее», «пожалуй, нет», «нет». Для таких тестов была выведена обобщенная формула, известная как коэффициент альфа. В этой формуле заменена на - сумму дисперсий балльных оценок по каждому заданию теста. Процедура вычислений состоит в нахождении дисперсии всех индивидуальных балльных оценок по каждому заданию с последующим суммированием этих дисперсий по всем заданиям. Полная формула коэффициента альфа выглядит следующим образом:
(20).
Кластерный анализ Горбатенко. Его суть состоит в применении математической процедуры «распознавания образа». Она позволяет «без учителя» выделять таксоны (кластеры), заpанее не задавая пpедполагаемое их количество и состав. Таксон включает в себя ряд тестовых заданий, которые фактически можно рассматривать как обладающие внутренним сходством, а значит, характеризующиеся надежностью-согласованностью.
Алгоритм данного метода предполагает:
а) составление «матрицы описания», которая характеризует конкретное состояние группируемых переменных (пунктов методики);
б) установление по определенным критериям численных значений связей (сходства) между всеми группируемыми переменными (пунктами методики) и построение «матрицы коэффициентов сходства»; в качестве меры «сходства» описаний i-го и j-го членов группы используется величина:
, (21)
где - число совпадений выборов в i-ом и j-ом столбцах, - число несовпадений выборов в i-ом и j-ом столбцах, - суммарное число выборов в i-ом и j-ом столбцах.
в) группировка переменных (пунктов) в таксоны и определение коэффициента плотности, характеризующего качество данной группировки; для того чтобы определить качество (плотность) полученных таксонов, используется мера D, которая вычисляется по формуле: