Типы тестов, используемых в профотборе

В самом широком смысле надежность теста – это характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.

В более узком, методическом смысле под надежностью понимают степень согласованности результатов  теста, получаемых при первичном  и вторичном его применении у одних и тех же испытуемых в различные моменты времени с использованием разных (но сопоставимых по характеру) наборов тестовых заданий или при других изменениях условий обследования.

Разновидностей характеристик  надежности теста так же много, как  условий, влияющих на его результаты. Наиболее широкое практическое применение находит несколько типов характеристик  надежности: надежность ретестовая, надежность параллельных форм, надежность частей теста.

Надежность параллельных форм  – характеристика надежности психодиагностической методики с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые в выборке определения надежности обследуются вначале с использованием основного набора заданий, а затем – с применением аналогичных дополнительных наборов.

Надежность частей теста  – характеристика надежности психодиагностической методики, получаемая путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных пунктов (заданий) теста.

Валидность (от англ. valid – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.

В наиболее простой и общей формулировке валидность теста – это «понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает». Важнейшая составляющая валидности – определение области изучаемых свойств – имеет принципиальное теоретическое и практическое значение при выборе методики исследования и интерпретации ее данных.

типы валидности .

Диагностическая (конкурентная) валидность отражает способность теста дифференцировать испытуемых по изучаемому признаку. Анализ диагностической валидности имеет отношение к установлению соответствия показателей теста реальному состоянию психологических особенностей испытуемого в момент обследования.

прогностическую валидность методики. Заключение об этом типе валидности может быть получено, например, путем сравнения тестовых оценок в одной и той же группе испытуемых спустя определенное время. Основой прогностической валидности является определение того, насколько важен исследуемый признак с точки зрения деятельности испытуемого в будущем с учетом закономерно изменяющихся обстоятельств, перехода на другой уровень развития.

эмпирической валидности. Здесь подчеркивается общность подхода к их определению, который осуществляется путем статистического коррелирования баллов (оценок) по тесту и показателей по внешнему параметру, избранному в качестве валидизации критерия (см. валидности критериальная). Критерий валидности выступает в качестве меры, показателя исследуемых психологических особенностей.

Валидность содержательная (внутренняя, логическая)  – комплекс сведений о репрезентативности заданий теста по отношению к измеряемым свойствам и особенностям. Одним из основных требований при валидизации методики в этом направлении является отражение в содержании теста ключевых сторон изучаемого психологического феномена.

Критерий валидности  – это не зависимый от теста, внешний по отношению к тесту источник информации об измеряемом свойстве. Мы не можем судить о валидности теста до тех пор, пока не сравним его результаты с источником истинной (или заведомо более валидной) информации об измеряемом свойстве – с критерием.

 

Стандартизация  – унификация, приведение к единым нормативам процедуры и оценок теста. Благодаря стандартизации методики достигается сопоставимость полученных результатов у разных испытуемых и появляется возможность выражения  тестовых оценок в относительных  к выборке стандартизации показателях.

Стандартизация  – обработка и регламентация  процедуры проведения, унификация инструкции, бланков обследования, способов регистрации  результатов, условий проведения обследования, характеристика контингентов испытуемых. Строгая периодичность процедуры  обследования – обязательное условие  обеспечения надежности теста и  определения тестовых норм для оценивания результатов в обследования.

 

2)    Стандартизация – преобразование  нормальной шкалы оценок в  новую шкалу, основанную не  на количественных значениях  изучаемого показателя, а на его  относительном месте в распределении  результатов в выборке испытуемых.

Этапы стандартизации

1 этап. Создание  единообразной процедуры тестирования.

Она состоит  из определения моментов диагностической  ситуации.

Условия тестирования (помещение, освещение  и др. внешние факторы).

Содержание  инструкции и особенности ее предъявления (тон голоса, паузы, скорость речи и  т.д.).

Наличие стандартного стимульного материала (например, карты Роршаха).

Временные ограничения выполнения данного  теста.

Стандартный бланк для выполнения данного  теста.

Учет  влияния ситуационных факторов на процесс  и результат тестирования.

Учет  влияния поведения диагноста  на процесс и результат тестирования

Учет  влияния опыта испытуемого в  тестировании.

 

2 этап. Создание  единообразной оценки выполнения  теста. Стандартной интерпретации  полученных результатов и предварительной  стандартной обработки. На этом  этапе сравнивается полученный  показатель с нормой выполнения  этого теста для данного возраста.

 

3 этап. Определение  норм выполнения теста. Нормы  разрабатываются для различных  возрастов, профессий, полов и  т.д.

Статистические  нормы. Граничные значения на шкале  тестовых баллов, образованные на основе частотного распределения тестовых баллов в выборке стандартизации. Как правило, эти граничные значения отделяют от выборки фиксированный  процент испытуемых: (дециль), 25 (квартиль), 50 (медиана). При нормальном распределении  статистическая норма описывается  с помощью параметров (среднее  плюс/минус сигма, или стандартное  отклонение). Статистические нормы  служат принятию «сравнительный решения» и не дают информации для принятии «нормативных решений»

 

Б. Возрастные нормы – частные варианты психодиагностических норм, собранные для детей разного  возраста.

 

В. Критериальные нормы - диагностические нормы, в которых задано соответствие между тестовыми баллами по шкале измеряемого свойства и уровнем критериального показателя. В случае критериального поведения критериальные нормы указывают на вероятность появления критериального поведения при данном значении тестового балла.

 

Г. Школьные нормы разрабатываются на основе тесов школьных достижений или тестов школьных способностей.

 

Д. Профессиональный нормы. Устанавливаются на основе тестов для различных профессиональных групп.

 

Е. Локальные  нормы. Устанавливаются для узких  категорий людей, отличающихся наличием общего признака – возраста, пола, географического  района, социоэкономического статуса.

 

Ж. Национальные нормы. Разрабатываются для представителей данной нации или страны в целом.

 

Понятие полезности отборочного теста (связь с валидностью теста, трудностью профессии и отношениям отбора).

Использование личностных опросников и опросников интересов в практике профотбора.

Достоинства и недостатки тестирования в организации.

Популярность метода тестов объясняется следующими главными его  достоинствами:

1) стандартизацией условий и результатов . Тестовые методики относительно независимы от квалификации пользователя (исполнителя), на роль которого можно подготовить даже лаборанта со средним образованием. Это, однако, не означает, что для подготовки комплексного заключения по батарее тестов не надо привлекать квалифицированного специалиста с полноценным высшим психологическим образованием;

2) оперативностью и экономичностью . Типичный тест состоит из серии кратких заданий, на выполнение каждого из которых требуется, как правило, не более полминуты, а весь тест занимает, как правило, не более часа. Тестированию одновременно подвергается сразу группа испытуемых, таким образом, происходит значительная экономия времени на сбор данных;

3) количественным дифференцированным характером оценки . Дробность шкалы и стандартизованность теста позволяют рассматривать его как «измерительный инструмент», дающий количественную оценку измеряемым свойствам. Количественный характер тестовых результатов дает возможность применить хорошо разработанный аппарат психометрики, позволяющий оценить, насколько хорошо работает данный тест на данной выборке испытуемых в данных условиях;

4) оптимальной трудностью . Профессионально сделанный тест состоит из заданий оптимальной трудности. При этом средний испытуемый набирает примерно 50 % из максимально возможного количества баллов. Это достигается за счет предварительных испытаний – психометрического эксперимента (или пилотажа). Если в ходе пилотажа становится известным, что с заданием справляется примерно половина из обследованного контингента, то такое задание признается удачным, и его оставляют в тесте;

5) надежностью. Это, наверное, самое главное достоинство тестов в образовательной психодиагностике. Лотерейный характер современных экзаменов с вытягиванием счастливых или несчастливых билетов давно уже стал притчей во языцах. Лотерейность для экзаменующегося здесь оборачивается низкой надежностью для экзаменатора – ответ на один фрагмент учебной программы, как правило, не показателен для уровня усвоения всего материала. В отличие от этого любой грамотно построенный тест охватывает основные разделы учебной программы (тестируемой области знаний или проявления какого-то умения или способности). В результате возможность для «хвостистов» выбиться в отличники, а для отличника вдруг провалиться резко сокращается;

6) справедливостью . Является важнейшим социальным следствием перечисленных выше достоинств. Ее следует понимать как защищенность от предвзятости экзаменатора. Хороший тест ставит всех в равные условия. Наиболее сильно субъективизм экзаменатора проявляется, как известно, не в трактовке уровня решенности задачи (не так просто назвать черное белым, решенную задачу – нерешенной), а в тенденциозном подборе заданий – своим полегче, чужим – труднее. Тесты обеспечивают важнейшую функцию школы как социального фильтра – функцию «социально-профессиональной селекции». То, насколько справедливой оказывается подобная селекция, имеет гигантское значение для развития общества. Поэтому так важно всем, кто имеет доступ к тестам и их результатам, учиться культуре грамотного и гуманного применения тестов, ибо только добросовестное и квалифицированное отношение пользователей к тестам превращает их в инструмент, повышающий, а не понижающий уровень справедливости в обществе;

7) возможностью компьютеризации . В данном случае это не просто дополнительное удобство, сокращающее живой труд квалифицированных исполнителей при массовом обследовании. В результате компьютеризации повышаются все параметры тестирования (например, при адаптированном компьютерном тестировании резко сокращается время тестирования). Компьютеризация – это мощный инструмент обеспечения информационной безопасности (достоверности диагностики). Компьютерная организация тестирования, предполагающая создание мощных информационных банков тестовых заданий, позволяет технически предотвратить злоупотребления со стороны недобросовестных экзаменаторов. Выбор заданий, предлагаемых конкретному испытуемому, может производить из такого банка сама компьютерная программа прямо в ходе тестирования, и предъявление данному испытуемому определенного задания в этом случае является таким же сюрпризом для экзаменатора, как и для испытуемого.

 

Метод тестов обладает некоторыми весьма серьезными недостатками, не позволяющими свести всю диагностику способностей и знаний исключительно к тестированию, такими как:

1) опасность «слепых» (автоматических) ошибок . Слепая вера низкоквалифицированных исполнителей в то, что тест должен сработать правильно автоматически, порождает иногда тяжелые ошибки и казусы: испытуемый не понял инструкции и стал отвечать совсем не так, как требует стандартная инструкция, испытуемый по каким-то причинам применил искажающую тактику, возник сдвиг в приложении трафарета-ключа к бланку ответов (при ручном, некомпьютерном подсчете баллов) и т. п. Пользователь не должен подходить к тесту с магической установкой, будто этот волшебный черный ящик должен всегда работать исправно без всякого контроля со стороны человека;

2) опасность профанации . Не секрет, что внешняя легкость проведения тестов прельщает людей, не пригодных ни к какому квалифицированному труду. Оснастившись тестами, им самим непонятного качества, но с громкими рекламными названиями, профаны от тестирования агрессивно предлагают свои услуги всем и вся. Все проблемы предполагается решать с помощью 2–3 тестов – на все случаи жизни. К количественному тестовому баллу приклеивается новый ярлык – заключение, создающее видимость соответствия диагностической задаче. Примером такой профанации может служить повальное использование клинического теста MMPI для отбора кадров в нашей стране. Недобросовестная профанация и элементарное невежество идут в области тестирования рука об руку;

3) потеря индивидуального подхода, стрессогенность . Тест – самый общий ранжир, под который подгоняют всех людей. Возможность упустить яркую индивидуальность нестандартного человека, к сожалению, довольно вероятна. Это чувствуют сами испытуемые, и это их нервирует, особенно в ситуации аттестационного тестирования. У людей с пониженной стрессоустойчивостью возникает даже определенное нарушение саморегуляции – они начинают волноваться и ошибаться в элементарных для себя вопросах. Вовремя заметить такую реакцию на тест – задача, которая под силу квалифицированному и добросовестному исполнителю;