Тестовый компьютерный контроль: преимущества и недостатки

     Выбор формы зависит от:

     ·        цели тестирования,

     ·        содержания теста,

     ·        технических возможностей,

     ·     уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

     Самым лучшим можно считать тест, в котором  заложено широкое содержание, и оно  охватывает более глубокие уровни знаний. 

     Тестовое  задание включает в себя:

     а) констатирующую часть, описывающую ситуацию (может и отсутствовать), которая не требует от тестируемого каких-либо активных действий;

     б) процедурную часть, содержащую предложения обучаемому выполнить какие–либо конкретные действия — выбрать правильный элемент из предложенного набора, установить соответствие или правильную последовательность, назвать дату, записать название и т.д. Процедурная часть — это такой вид информации, после получения которой от студента требуется произвести активные действия, связанные не только с изучением и анализом материала, содержащегося в задании, но и составлением и вводом ответа;

     в) элементы самого выбора.

     Общие правила для всех форм тестовых заданий. Необходимо следить за корректностью формулировки задания. Тестовое задание должно быть сформулировано четко, ясно, конкретно, не допуская двусмысленности в ответе. Оптимальное число элементов ответа — 5-8, но существуют исключения. [13]

     Процедурная часть тестового задания должна быть максимально краткой — не превышать 5-10 слов. Тестовое задание должно быть сформулировано в утвердительной форме. Не допускается определение понятия через перечисление элементов, не входящих в него.

     Для всех форм тестового задания должна быть стандартная инструкция. Все  элементы в заданиях должны отбираться по какому-то определенному, выбранному автором принципу. Предпочтение большому количеству простых по структуре тестовых заданий, а не малому количеству сложных.

     В сложных разделительных тестовых заданиях необходимо перечислять все возможные альтернативы, т.к. в противном случае у обучаемого искажается представление о классификации или структуре объекта базиса.

     Тестовые  задания открытой формы должны отвечать следующим требованиям: [14]

• дополняющее слово или словосочетание ставится в конце и должно быть единственным;
• дополнять надо только важное;
• желательно, чтобы  при формулировке задания дополнение было в именительном падеже;
• все прочерки для дополнения должны быть одинаковой длины;
• желательно дать обучаемому образец ответа.

     Закрытая  форма тестовых заданий должна отвечать следующим требованиям: [14]

• равная правдоподобность элементов;
• желательно, чтобы все элементы выбора были равны по длине;
• в элементах выбора желательно использовать один объект или равное количество объектов;
• необходимо исключить повторяющиеся слова в ответах;
• все элементы должны быть верными утверждениями, но только один из них является верным ответом на данное задание, а остальные могут являться верными на другие задания в этом тесте или в других тестах.

     Тестовое  задание на соответствие содержат два множества, правый столбик — для выбора, левый — для ответа. В правом формируется, например, на 1-3 элемента больше, чтобы при последней подстановке у студента был выбор, а не автоматически подставляемый остаток. Все элементы являются истинными высказываниями.

     В тестовых заданиях на установление правильной последовательности может быть избран принцип формирования элементов по алфавиту. Если алфавитный список является верным ответом, то элементы располагать случайным образом.

     С целью нивелирования заимствования ответа у соседа в заданиях всех данной формы надо формулировать тестовое задание в 2-3-х синонимичных по смыслу вариантах, которые выбираются случайным образом. [15] В заданиях закрытой формы и в заданиях на соответствие элементы подаются с помощью датчика случайных расстановок. Элементы задания в этих формах формируются по принципу «основных» и «запасных» игроков. Например, при 5-ти элементах, подающихся студенту, автор формирует набор не «1 верный + 4 неверных», а «1 верный + 4 основных неверных + 5 запасных неверных», где из 9-ти неверных случайным образом выбираются.

     Методы  оценки критериев  качества тестов. Классическая теория тестов опирается на теорию корреляции, главными параметрами которой являются надежность и валидность. Надежность — устойчивость результатов теста, получаемых при его применении. Валидность — пригодность теста, т. е. способность качественно измерять то, для чего он создан по замыслу авторов. [14]

     Существует  строгая научная теория тестов, позволяющая  методологически и методически обосновать их применение и обработку результатов тестирования. Научно обоснованный тест — это метод, соответствующий установленным стандартам надежности и валидности (величина от 0 до 1; чем ближе к 1, тем качественнее тест).

     По  классификации существуют тесты, ориентированные на норму (рейтинг по сильным — слабым студентам) и тесты, ориентированные на критерий (сортировка по трудным — легким заданиям).

     По  характеру действий тесты подразделяются на вербальные (выраженные словами) и невербальные (представленные образами).

     По  степени однородности задач тесты  бывают гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам).

     По  целям использования: начало обучения, прогресс и трудности в процессе обучения, достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения тесты.

     Оценка  тестовых заданий может быть политамическая (если из 10 элементов задания одно сделал неправильно, то сумма баллов равна 9); дихотомическая (сделал все элементы — 1 балл, не сделал — 0 баллов).

     По  степени трудности задания могут  быть одноуровневые, т.е. с весовым коэффициентом, равным единице и многоуровневые с весовым коэффициентом от 0 до N.

     Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее  тест, тем он надежнее. Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание. Практически длину теста следует определять опытным путем, с учетом валидности, времени тестирования и др. Оптимальная длина теста, как показала теория и практика — 30-60 заданий. Соотношение длины теста к числу тестовых заданий в банке должно стремиться к соотношению 1:10.

     Каждый  тест имеет оптимальное время тестирования [16] — время от начала процедуры тестирования до момента наступления утомления. Разброс по характеристикам порога наступления утомления довольно большой — от 20 до 100 минут в одной возрастной группе Основные причины утомления: возраст, мотивация, монотонность выполняемой работы, индивидуальные особенности испытуемых. Следовательно, необходимо поддерживать мотивацию на нужном уровне, максимально разнообразить работу за счет введения в оборот всех форм заданий и невербальной поддержки, а также адаптировать программный продукт согласно индивидуальным особенностям испытуемых. Среднее ориентировочное время до момента утомления для студентов — 50 — 80 минут (максимальная продолжительность). А по минимальной зависит от форм, количества и трудности заданий, элементов в задании. Например, для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки должны быть  уточнены.

     Соотношение форм заданий в  тесте. Выбор формы тестового задания зависит от содержания курса, цели создания теста, умения разработчика. Усредненный расклад может быть следующим. В тесте длиной, например, 60 заданий, рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 на соотношение и последовательность, остальные 30 заданий целесообразнее давать в закрытой форме.  

2.4 Типы вопросов компьютерного контроля

     Наверное, самым большим заблуждением разработчиков  большей части контролирующих программ является использование так называемой одинарной выборки: учащемуся задается вопрос, на него дается несколько готовых вариантов ответов (как правило, пять - удобнее выводить оценку), один из которых - верный. Несмотря на то, что действительно существует класс контрольных вопросов, которые могут быть реализованы подобным образом, несмотря на то, что вероятность угадывания (20%) достаточно низка, зацикливание исключительно на одинарной выборке исключает богатейшие возможности применения педагогических технологий при проведении контроля.

     Кроме того, ни для кого не является секретом способ обхода учащимися данного  типа контроля - рано или поздно в  руки учеников попадает распечатка с  правильными ответами, и порядок  ответов просто заучивается или заносится на шпаргалку. Далеко не во всех (на самом деле только в единичных) системах контроля знаний реализована функция изменения местоположения правильного ответа при каждом тестировании.

     Какие же типы вопросов позволяет использовать компьютерный вариант программированного контроля?

     Произвольный  тип, или, ввод с клавиатуры. Мощнейший инструмент при проверке разного рода терминов, констант, дат. Однако его реализация, как правило, весьма математически сложна и поэтому большинством разработчиков оставляется без внимания. Проблема заключается прежде всего в том, что введенную фразу необходимо подвергнуть синтаксическому, а в идеале - и семантическому анализу, моделирующему варианты возможного мышления отвечающего. Кроме того, учащийся может опечататься, и в большинстве областей знаний подобные опечатки нельзя считать ошибкой - а это требует очень гибкой реализации компьютерной логики, которая под силу далеко не всякому программисту. О возможности использования учащимся при вводе произвольного ответа различных синонимов, которые могут быть не предусмотрены разработчиком базы данных и в то же время могут быть абсолютно или частично правильными, тоже можно говорить очень много. Кроме того, в произвольном типе вопроса может быть и несколько возможных ответов.

     Существует  также ряд разновидностей произвольного  типа вопроса.

     Ввод  нескольких ответов  в определенной последовательности может использоваться в вопросах о строгой последовательности каких-либо операций, взаиморасположений и т.д. Тип вопроса настолько же сложный для программирования, как и произвольный, весьма сложен в конструировании и вызывает определенные трудности у учащихся, так как требует не только безошибочного ввода ответов, но и безошибочного их взаимного расположения. Однако, несмотря на достаточно редкое его применение, этот тип незаменим и является мощным средством выяснения уровня знаний учащегося в вопросах, к примеру, относительного взаиморасположения органов в топографической анатомии, последовательности превращения вещества в химии, последовательности действий в разного рода ремонтных работах и т.п.

     Ввод  пропущенных частей строк или букв, несмотря на кажущуюся простоту, является незаменимым средством для проверки понимания различных языковых конструкций (в русском и иностранном языках, в программировании и т.д.). В отличие от стандартного "Произвольного" типа вопроса, как правило, предполагает однозначные варианты ответов и потому более легок в программировании.

     Выборочный  тип вопроса. Классический вариант, который подавляющая часть разработчиков и считает необходимым и достаточным для проведения компьютерного тестирования. В этом типе вопроса может подразумеваться один или несколько правильных ответов из предложенных. Часть теоретиков разделяет эти две разновидности на разные типы вопросов, однако с точки зрения формальной логики эти разновидности абсолютно равнозначны. Вопрос заключается лишь в методологии выведении результатов по этим разновидностям.