Лекции по "Психодиагностика"

Необходимо отметить, что требование валидности применяется в основном для ПДМ и практически не применяется для диагностики в технике и в точных науках: физике, химии, астрономии и т.д. Это определяется  двумя основными причинами. Во-первых,  в психологии невозможно однозначно определить предмет исследования. Поясним это на примере. Предположим, что мы хотим исследовать такое свойство психики как тревожность. В психодиагностике разработано большое количество ПДМ для того, чтобы диагностировать это свойство. Связано ли чувство тревожности с беспокойством, страхом,  неуверенностью, волнением? Можно привести довольно много психических явлений, которые связаны с чувством тревожности, но не совпадают с ним полностью. Почему же для создания ПДМ выбиралось именно свойство тревожности, а не какое-то другое? Как отделить в нашем понимании это свойство от других, похожих на него? Для этого как раз и требуется четкая теоретическая концепция данного свойства. Большое количество психологов-практиков и психологов-теоретиков анализирует различные теоретические концепции различных свойств психики и постепенно приходят к общему мнению относительно того, что наиболее важным качеством, характеризующим психику человека в этом аспекте, является именно тревожность. Постепенно психологи приходят к более или менее единому мнению и устанавливают, какими именно отличительными особенностями обладает тревожность. Однако  при создании ПДМ, направленной на диагностику данного свойства, могут быть некоторые отклонения от общей концепции. В связи с этим закономерно возникает вопрос, а то ли свойство будет исследовать методика, для которого она разрабатывалась? Или она разрабатывалась для исследования одного свойства, а диагностирует совсем другое? Иными словами, возникает проблема валидности методики.

Во-вторых, ПДМ обладают невысокой избирательной способностью, т.е. по техническим причинам они не могут полностью отделить диагностируемое психическое свойство от других психических свойств. Например, как бы тщательно разработчик не пытался сформулировать пункты тест-опросника, содержание некоторых из них будет неоднозначными для испытуемых. То есть разные испытуемые будут вкладывать в них разные смыслы, а значит, у них будут диагностироваться  разные психические свойства.

При диагностике технических устройств или в точных науках таких проблем, как правило, не возникает. Предмет исследования выделен, а метод чаще всего обладает высокой избирательностью. В этой ситуации специалисты уверены, что исследуют именно то свойство, которое хотят изучить.

Часто возникает вопрос о соотношении между валидностью и надежностью ПДМ. На него нет однозначного ответа. Однако часто указывается на то, что понятие надежности шире понятия валидности, хотя в некоторых случаях валидность и надежность равны (надежность > валидность), например,  надежность-согласованность тестовых заданий и конвергентная валидность стимульного материала фактически эквиваленты по содержанию.

Очевидно, что надежность и валидность ПДМ представляют собой разные понятия. Объясним это на примере. Представим себе, что в выходной день у человека появилась возможность пойти на охоту или на рыбалку. Если, собираясь на охоту, он берет с собой удочку, то выбранный им метод проведения выходного дня будет не валиден первоначальной цели. Если же он, собираясь на охоту, взял с собой ружье, то выбрал валидный способ достижения цели. Теперь на этом примере объясним  понятие надежности. Если ружье или удочка поломается в самый неподходящий момент, это значит, что выбранный человеком метод ненадежен. Надежное ружье стреляет всегда, когда нужно.

2. Виды валидности

2.1. Внутренняя и внешняя валидность

Внутренняя валидность – соответствие результатов диагностики стимульному материалу ПДМ. Эта разновидность валидности позволяет ответить на вопрос: действительно ли ответы (реакции) испытуемых на тестовые задания (раздражители) обусловлены только этими заданиями (раздражителями), а не дополнительно какими-то факторами? 

Внешняя валидность – соответствие ПДМ определенным категориям населения и условиям ее применения.

2.2. Концептуальная и конструктная валидность

Еще на этапе разработки концепции исследуемого психического свойства, разработчик должен учитывать угрозу возможной невалидности будущей ПДМ. Разрабатываемая концепция должна быть валидна (соответствовать) природе исследуемого психического свойства, а ПДМ должна быть валидна (соответствовать) разработанной концепции. Все эти соответствия принято обозначать одним термином - «концептуальная валидность», хотя более точно было бы говорить о концептуальных аспектах валидности. Каким путем достигается эта концептуальная валидность? На этапе создания методики разработчик вместе с группой экспертов контролирует каждый свой шаг на соответствие концепции, а после окончания разработки он проверяет соответствие концепции всей методике в целом.

Конструктная валидность раскрывается как соответствие:

  используемых конструктов (понятий) тому, для обозначения чего они используются;

  характера представленности тестовых показателей диагностируемому психическому параметру.

Конструкты – это широкие категории, выводимые логическим путем из общих признаков, свойств или черт, обнаруживающих себя в непосредственно наблюдаемых поведенческих пере­менных. Сами же конструкты, будучи теоретическими категориями, недоступны не­посредственному наблюдению.

Конструктную валидность принято рассматривать в качестве основно­го, базисного понятия валидности, включающего другие виды, поскольку именно она точно определяет, что измеряется данным тестом. Например, методы установления содержательной и прогностической валидности относятся к разряду тех многих средств получения информации, которые способствуют более точному определению и пони­манию конструктов, оцениваемых тестами. В то же время эти методы дают инфор­мацию, представляющую самостоятельную ценность, и сохраняют свое первостепен­ное значение при оценке применяемых в ряде областей тестов.

2.3. Очевидная и содержательная валидность

Очевидная валидность – соответствие тестовых заданий ПДМ:

  социально-демографическим характеристикам испытуемых (например, все пункты тест-опросника должны быть сформулированы в расчете на мужчин и женщин);

  представлениям испытуемых (задания должны быть понятны людям по смыслу);

  жизненному опыту испытуемых.

Примеры отсутствия очевидной валидности пунктов: «Я завожусь с пол-оборота» (неоднозначность содержания), «Я ношу в своей сумке (портфеле) немало таких вещей, которыми пользуюсь очень редко» (несоответствие жизненному опыту тех, кто не носит сумку/портфель), «Я бы выдержал жизнь отшельника» (несоответствие жизненному опыту тех, кто не жил отшельником), «Переезжая на новое место, я долго завязываю новые знакомства» (несоответствие жизненному опыту тех, кто постоянно живет на одном месте), «Если бы я вел машину по дороге, где много других автомашин, я предпочел бы: а) пропустить вперед большинство машин; б) не знаю», в) обогнать все идущие впереди машины» (несоответствие жизненному опыту тех, кто не имеет машины и не умеет водить).

Очевидная валидность не является валидностью в собственном смысле этого слова, так как относится не к тому, что тест на самом деле измеряет, а к тому, насколько тест «выглядит обоснованным» для тех, кто его проходит, кто принимает ответственное решение о его использовании, да и вообще для всех неспециалистов. Например, когда тесты, пер­воначально предназначавшиеся для детей и разрабатывавшиеся применительно к школьной обстановке, вследствие их расширения впервые проводили на взрослых, те часто относились к таким тестам враждебно и критично именно из-за отсутствия очевидной валидности. В самом деле, если содержание теста представляется стран­ным, неуместным, глупым и т.д., то испытуемые будут его отторгать, выполнять его с трудом или вовсе отказываться от работы с ним.  Очевидная валидность нужна тестам и для того, чтобы они эффективно функционировали в практических ситуациях. Она также влияет на степень приемлемости теста при выне­сении судебных решений, равно как и на оценку тестов широкой общественностью.

Содержательная валидность – соответствие содержания тестовых заданий ПДМ тому или иному аспекту диагностируемого с её помощью психического качества. По содержанию пунктов тест должен охватывать все ключевые стороны изучаемого психического явления и не содержать таких пунктов, которые к данному  явлению не относятся.

2.4. Эмпирическая (критериальная), прогностическая и текущая валидность

Эмпирическая валидность – соответствие показателей тестирования с помощью ПДМ некоторому внешнему критерию, который отражает диагностируемую психическую характеристику. В качестве критерия может использоваться любой показатель, который независимо и бесспорно измеряет ту же характеристику, что и ПДМ. Выделяют следующие типы критериев: экспертный, экспериментальный, «жизненный». Изме­рение критерия, относительно которого устанавливается валидность тестовых пока­зателей, может производиться почти одновременно с ними или же через установлен­ный промежуток времени.

В зависимости от временных отношений между тестом и критерием, а также целей тестирования различают текущую и прогностическую валидности. Прогностическая валидность – соответствие сделанного на основе тестирования прогноза действительности. Термин «прогнозирование» может использоваться как в широком смысле, означая предсказание по данному тесту в отношении любой критериальной ситуа­ции, так и в более узком смысле предсказания в пределах некоторого временного ин­тервала. В последнем смысле он и используется в понятии «прогностическая ва­лидность». Информация, получаемая при прогностической валидизации, особенно важна для тестов, используемых при отборе и распределении персонала. Сюда же можно отнести применение тестов в психиатри­ческой клинике –  для назначения курса лечения, наиболее подходящего тем или иным пациентам.

Текущая валидность применима к тестам, используемым для диагноза существующего положения дел, а не для предска­зания будущих результатов. Различие между текущей и прогностической валидностью можно проиллюстрировать, задав два воп­роса: «Является ли Петров достаточно квалифицированным менеджером?» и «Есть ли у Петрова предпосылки к тому, чтобы стать квалифицированным менеджером?» Первый вопрос требует текущей валидизации соответствующего теста, а второй – прогностической валидизации.

Однако в ряде случаев текущая валидность используется просто как заместитель прогности­ческой валидности. На практике, для проведения прогностической валидизации час­то не хватает времени или не удается сформировать предварительную выборку, соот­ветствующую целям тестирования. Поэтому в качестве компромиссного решения те­сты проводятся на группе, для которой уже имеются данные по критерию. Например, тестовые показатели школьников могут сравниваться с их средней успеваемо­стью за период до момента тестирования, а тестовые показатели служащих – с их текущими производственными успехами.

2.5. Конвергентная и дискрименантная валидность

Конвергентная валидность свидетельствует о том, что существует соответствие (связь) между родственными по содержанию частями одной ПДМ или между родственными по содержанию методиками. Например, если имеются две или более формы методики, диагностирующей одно и то же психическое качество, то между ними должна быть сильная связь. Такая же связь должна существовать между пунктами одной и той же шкалы.

Дискрименантная валидность свидетельствует об отсутствии соответствия (связи) между отдельными частями методики или между разными методиками, когда по замыслу исходной концепции эта связь не должна существовать. Например, если  речь идет о многомерной методике, диагностирующей различные, не связанные друг с другом психические качества, то  связь между ними должна быть низкой.

8.6. Оценка валидности

1. Содержательная валидность. Для определения этой валидности применяют метод экспертных оценок. В качестве экспертов (достаточно трех-пяти человек) приглашают выступить квалифицированных специалистов, особенно в той области, к которой относится психическое явление, диагностируемое посредством оцениваемой методики.

Экспертам предоставляется спецификация теста (область применения и содержание изучаемого явления), стимульный материал (совокупность тестовых заданий) и способ его оценки.

Опираясь на спецификацию теста, эксперты самостоятельно оценивают каждый пункт методики на соответствие его содержания тому аспекту (операциональному признаку) психического явления, относительно которого оно составлено. Оценка может осуществляться по 5-ти балльной системе оценивания: 5 баллов означает «полностью соответствует», 4 балла – «скорее, соответствует», 3 балла – «неоднозначно/неопределенно», 2 балла – «скорее, не соответствует», 1 балл – «полностью не соответствует».

Далее по каждому пункту методики обрабатываются результаты по совокупности всех экспертов одним из двух возможных способов:

а) рассчитывается среднее значение;

б) определяются частоты выбора (в % выражении) каждой единицы системы оценивания (каждого балла). 

Если средняя экспертная оценка составляла 4-5 баллов (первый способ расчета) или 4/5 баллов выбрало 66% и более экспертов (второй способ расчета), то задание признаётся содержательно валидным. Если пункт методики не обладает такой валидностью, то он должен быть переформулирован с последующей оценкой или вовсе исключен из стимульного материала.

Можно привести в качестве примера оценку содержательной валидности шкалы социального мышления в многомерном профессионально-психологическом личностном тесте (см. § 11.1, разд. 3).

В некоторых случаях надо предусмотреть возможность контроля компетентности и добросовестности экспертов. Одним из способов такого контроля является включение в стимульный материал заданий, не соответствующих спецификации к тесту, т.е. диагностирующих какие-то иные качества, не те, для изучения которых разработана данная методика. Если эксперт оценил те или иные контрольные задания как соответствующие природе психического явления, описанной в спецификации, то ему не следует особенно доверять и необходимо исключить его бланк оценок из общей обработки результатов.

Данные о содержательной валидности, приводимые в руководстве к тесту, должны сопровождать описание того метода, который использовался для её оценки. Следует указать количество и профессиональную квалификацию экспертов, а также коэффициент согласованности их мнений.