Психометрические характеристики диагностических методик

КОНТРОЛЬНАЯ РАБОТА.

ПСИХОМЕТРИЧЕСКИЕ  ХАРАКТЕРИСТИКИ ДИАГНОСТИЧЕСКИХ МЕТОДИК.

ВАРИАНТ 1.

 

1. ТРУДНОСТЬ ТЕСТОВЫХ ЗАДАНИЙ.

Теоретическая справка.

Определение степени трудности  тестовых заданий является обязательной процедурой, с которой начинается анализ качества разрабатываемого теста. Основная цель анализа трудности  заданий сводится  к выбору оптимальных  по сложности заданий, которые затем  можно было бы упорядочить по нарастанию сложности. Тест не должен включать слишком  легкие и слишком трудные задания. Обычно, если задачу решает большинство, ее помещают (как легкую) в начале теста. Если задачу решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста.

Трудность задания определяется числу  правильных ответов на данное задание  в сравнении с общим объемом  выборки по формуле:

,

где – количество испытуемых, давших правильный ответ;

 – общее количество испытуемых.

Чем легче задание, тем выше этот показатель (А. Анастази,1982). Для большинства  тестов принято, что задания с  от 0,8 до 0,2 считаются удовлетворительными. То есть задачи, с которыми не справилось более 80% и менее 20% испытуемых в тест не включают как мало полезные. Анастази считает, что уровень трудности должен иметь некоторый разброс, но в среднем он должен составлять 0,5. Именно в этом случае, тест обеспечивает лучшую дифференциацию результатов (см. ниже о дискриминативности теста).

Если при составлении теста  необходимо расположить его задания  в порядке возрастания трудности, то тогда необходимо сравнить насколько  одна задача трудней другой. Для  этого используют статистические критерии, специально предназначенные для  оценки значимости различий. В данном случае, чаще используют критерий хи-квадрат  Мак-Немары:

,

где b – количество испытуемых, решивших первую задачу, но не решивших вторую;

c – количество испытуемых, решивших вторую задачу, но не решивших первую.

При χ² > 6,63¹ различия в индексах трудности двух задач следует считать достоверными.

 

Задание 1. Расчет индекса трудности заданий.

Цель  задания: овладение приемами расчета индекса трудности заданий и их сравнения.

Оснащение: микрокалькулятор, таблица № 1.

 

Таблица № 1.

Первичные результаты исследования с помощью субтеста «Арифметический»

Испытуемый	№ задания
	1	2	3	4	5	6	7	8	9	10	11	12	13
1	+	+	+	+	+	+	+	+	+	-	-	-	-
2	+	+	-	-	-	-	-	-	-	-	-	-	-
3	+	+	+	+	+	+	-	+	-	-	-	-	-
4	+	+	+	+	+	+	+	+	+	-	+	-	-
5	+	+	+	+	+	+	+	+	+	-	+	-	+
6	+	+	+	-	-	+	-	-	-	-	-	-	-
7	+	+	+	+	+	+	-	-	-	-	-	-	-
8	+	+	+	+	+	+	+	-	+	-	+	+	-
9	+	+	+	-	-	+	-	-	-	-	-	-	-
10	+	+	+	-	-	-	-	-	-	-	-	-	-
11	+	+	+	+	+	+	-	-	-	-	-	-	-
12	+	+	+	+	+	+	-	-	+	+	-	+	-
13	+	+	+	+	-	+	+	-	-	-	-	-	-
14	+	-	+	+	-	+	-	-	+	-	-	-	-
15	+	+	+	-	+	+	-	-	-	-	-	-	-
16	+	+	+	+	+	+	-	-	-	-	-	-	-
17	+	+	+	+	-	-	-	-	-	-	-	-	-
18	+	+	+	+	+	+	-	+	-	-	+	+	-
Частота решаемости	18	17	17	13	11	15	5	5	6	1	4	3	1

 

Порядок работы:

1. Рассчитывать индексы трудности всех 13 задач.
2. Выделить задачи, индекс трудности которых оказался оптимальным или близким к оптимальному для данной выборки испытуемых.
3. Проранжировать задания по принципу возрастающей трудности.
4. Определить уровень трудности каждой задачи (самая трудная, трудная, оптимальная, легкая, самая легкая).
5. Сравнить индексы трудности самой трудной и самой легкой задач, используя критерий Мак-Немары.
6. Оформить протокол (таблица № 2) и сделать выводы о том, индекс трудности, каких заданий оказался оптимальным для данной выборки испытуемых; какие задачи были самой легкой и самой трудной для них; какова достоверность различий между самой трудной и легкой задачей.

Таблица № 2.

Индексы и  уровни трудности задач

№ задания	Индекс трудности	Ранг	Уровень трудности
1
2
…
12

 

2. ДИСКРИМИНАТИВНОСТЬ  ТЕСТОВЫХ ЗАДАНИЙ.

Теоретическая справка.

При разработке теста необходимо стремиться к тому, чтобы его задания как  можно тоньше измеряли тестируемое  свойство. Например, если в результате обследования почти все испытуемые получают примерно одинаковые результаты, то это означает, что тест измеряет очень грубо. Чем большее количество градаций результатов можно получить при помощи теста, тем выше его  разрешающая способность. Мера тонкости измерения (или степень диффиренцируемости результатов) теста называется в  психометрии дискриминативностью. Дискриминативность теста измеряется показателем дельта Фергюсона:

,

где N – количество испытуемых;

n – количество заданий;

f_i – частота встречаемости каждого показателя.

Показатель δ может принимать значения от -1 до 1. Чем ближе δ к 1, тем больше дискриминативность теста. Если δ = 0, то тест является не дискриминативным. Отрицательное значение показателя δ свидетельствует о низкой критериальной валидности теста, т.е. он не измеряет то, на что по замыслу авторов был направлен.

 

Задание 2. Расчет индекса дискриминативности заданий.

Цель  задания: овладение навыком расчета индекса дискриминативности.

Оснащение: микрокалькулятор, таблица № 3.

Таблица № 3

Первичные результаты исследования по тесту «Критика механизмов»

Общий балл по тесту (х)	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
Частота встречаемости (fi)	0	14	9	9	3	15	10	9	13	15	15	9	22	17	11	16

 

Количество  испытуемых, принявших участие в  исследовании, равно 187 (N), количество заданий в тесте равно 15 (n).

 

Порядок работы:

1. Рассчитать индекс дискриминативности субтеста по формуле Фергюсона. Для удобства расчета составьте таблицу № 4.

Таблица № 4

Расчет  индекса дискриминативности

х	fi	fi2
0 1 2 3 … … 25
		∑fi2 =

2. Сделайте вывод о дискриминативности субтеста «Арифметические задачи».

 

3. НАДЕЖНОСТЬ  ТЕСТОВЫХ ЗАДАНИЙ.

Теоретическая справка

Под надежностью теста понимается степень точности, с которой тест измеряет определенное свойство или качество. Надежность теста – это характеристика точности его как измерительного инструмента, его устойчивость к действию помех (как внешних, так и внутренних). Эмпирическое определение надежности теста является обязательным условием его допуска для использования в практической деятельности психолога. Наиболее значимыми при определении психометрических характеристик теста имеют надежность частей теста, ретестовая надежность и надежность параллельных форм.

Ретестовая  надежность – характеристика надежности теста, получаемая путем повторного обследования одной и той же группы испытуемых с помощью одного и  того же теста через определенный интервал времени. За индекс надежности принимается коэффициент корреляции между результатами двух тестирований.

Надежность  параллельных форм – характеристика надежности теста с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемым в выборке сначала  обследуются с помощью основного  набора заданий теста (форма А), а  затем – с применением аналогичных  дополнительных наборов (форма В) через  определенный интервал времени. За индекс надежности также применяется коэффициент  корреляции между результатами тестирования двумя параллельными формами.

Нижняя  граница временного интервала должна составлять две недели, верхняя – 3 месяца, но не более 6 месяцев.

Надежность  частей теста – характеристика надежности теста, получаемая путем анализа  устойчивости результатов отдельных  совокупностей тестовых задач или  единичных пунктов теста. Тест разбивают  на две сопоставимые части, которые  испытуемые выполняют в течение  одной сессии с получением двух результатов. Временной интервал, таким образом, отсутствует. За индекс надежности принимается  коэффициент корреляции между результатами тестирования двумя этими частями.

Задание 3. Проверка надежности методики.

Цель  задания: овладение приемами расчета коэффициентов надежности заданий при помощи расщепления теста на две части (надежность частей теста).

Оснащение: микрокалькулятор, таблица № 4.

 

Таблица № 4

Первичные результаты исследования с помощью  теста «Тест» (n = 32, N = 12)

№	Частота (fi)	№	Частота (fi)	№	Частота (fi)	№	Частота (fi)
1	11	9	12	17	7	25	4
2	10	10	11	18	7	26	3
3	8	11	10	19	6	27	2
4	8	12	12	20	6	28	2
5	7	13	12	21	5	29	11
6	3	14	12	22	7	30	10
7	3	15	8	23	10	31	10
8	3	16	9	24	11	32	12