Методы контроля за знаниями умениями, навыками учащихся на уроке информатике

Любая компьютерная программная система представляет собой целый комплекс различных составляющих, каждый из которых решает одну из подзадач общей технической задачи, стоящей перед системой. В этом смысле компьютеризированные системы педагогического контроля не являются исключением. В связи с этим технологии разработки систем контроля, как правило, состоят из различных этапов. Перечислим основные из них:

определение цели контроля;

отбор учебного материала;

определение содержания контроля;

обеспечение процесса контроля;

сбор, обработка и анализ результатов.

В настоящее время разработано достаточно большое количество отечественных и зарубежных компьютерных технологий и программных средств, нацеленных на выявление уровня подготовленности учащихся. Однако для большинства из них наряду с большим количеством положительных моментов присущи и некоторые более или менее стандартные недостатки.

Рассмотрим эти аспекты на примере одного из наиболее распространенных направлений, связанных с созданием и эксплуатацией автоматизированных систем контроля знаний. В настоящее время известно множество практических реализаций систем автоматизированного тестирования как по отдельным дисциплинам так и универсальных систем оценивания знаний, полностью или частично инвариантных к конкретным дисциплинам и допускающих их информационное наполнение преподавателями - организаторами тестирования. Такие универсальные системы получили название “конструкторов тестов”. В качестве примера достаточно упомянуть такие системы как АСКО (Автоматизированная система контроля обучения) и АДОНИС.

К сожалению, анализ эффективности автоматизированного тестирования в ходе проведения текущего, корректирующего, рубежного и заключительного контроля в образовательном процессе средней школы показывает, что многие преподаватели настороженно и даже негативно относятся к подобным системам. Среди наиболее существенных недостатков современных подходов к автоматизированному тестированию, называемых в качестве причин такого отрицательного отношения, можно отметить:

необходимость формулирования вариантов ответов на тестовые задания по принципу “один абсолютно правильный” - “N абсолютно неправильных”. Это не дает возможности организовать полноценное тестирование по слабо формализованным дисциплинам, для которых характерна диалектичность знаний (дисциплины общественно-политического, гуманитарного, социально-экономического и прочих циклов);

примитивность и негибкость процедур расчета итоговой оценки, сводимых либо к определению отношения количества правильных ответов к количеству заданных вопросов, либо к суммированию баллов, назначаемых за каждый правильный ответ;

невозможность автоматизации разнообразных методик контроля знаний, широко применяемых в педагогической практике (оценка широты либо глубины знаний, учет относительной важности отдельных тем или разделов изучаемой дисциплины, выбор сложности теста с учетом уровня подготовленности и самооценки тестируемого, стимуляция правильных ответов и т.п.);

значительная трудоемкость ручного формирования такого множества тестовых заданий и вариантов ответов на каждое из них, которое позволит исключить или минимизировать вероятность предъявления одного и того же задания различным тестируемым при параллельной проверке их знаний.

Как уже отмечалось, особенно ярко указанные недостатки автоматизированного тестирования проявляются при контроле знаний по дисциплинам гуманитарного, социально-экономического и общественно-политического циклов. В силу их диалектичности степень формализации знаний по этим дисциплинам слишком низка, чтобы наличие знаний могло определяться по тому, насколько хорошо помнит экзаменуемый отдельные факты, точные определения или конкретные формулы и правила их применения. С точки зрения контроля знаний по информатике некоторые из указанных недостатков не имеют принципиального значения.

В числе проблем, которые сопровождают построение и функционирование компьютерных средств педагогического тестового контроля, можно отметить непроработанность методических аспектов построения таких систем. Зачастую вызывает сомнение организация некоторых тестовых компьютерных программ. С нашей точки зрения один из наиболее часто встречающихся недостатков заключается в том, что очень многие разработчики идут по традиционной схеме, когда тесты, написанные на бумаге просто переносятся на компьютер. При этом сильно сужается набор типов контролирующих вопросов.

Исходя из необходимости повышения эффективности учебного процесса и из возможности применения современных информационных технологий наиболее перспективным и целесообразным представляется автоматизация процесса педагогического тестирования. Всеобщий интерес к подобному способу оценивания знаний предопределили его положительные стороны:

высокая степень формализации и унификации процедуры тестирования,

возможность одновременного проведения тестирования на нескольких компьютерах,

возможность организации дистанционного тестирования посредством локальной вычислительной сети либо через глобальную информационную сеть Интернет.

Определенный интерес представляет выявление роли и значимости тестирования на различных этапах контроля и оценивания знаний, а также его применимость при изучении различных дисциплин. Не вызывает сомнений целесообразность применения традиционных автоматизированных систем контроля знаний при изучении дисциплин, ориентированных на усвоение обучаемыми конечного множества фактов либо однозначно трактуемых правил. Примером подобной ситуации можно считать экзамен на знание правил дорожного движения. Практически безальтернативным представляется применение таких приемов компьютеризации контроля уровня знаний и умений при проведении массового одновременного государственного тестирования знаний учащихся, хотя руководители центров тестирования отмечают наличие претензий, связанных с оцениванием знаний по дисциплинам языкового цикла, для которых характерна неоднозначность некоторых “истинных” ответов даже с точки зрения наиболее опытных преподавателей-предметников.

Компьютерные системы выявления уровня знаний широко применяются для уменьшения трудоемкости текущего контроля по естественно-научным и техническим дисциплинам, цель которого состоит в оперативной и массовой одновременной проверке остаточных знаний большого количества обучаемых.

Таким образом, для многих дисциплин, знания в которых носят принципиально нечеткий характер и не могут быть сведены к однозначным формулировкам многие процедуры компьютерного тестирования, к сожалению, оказываются неприменимыми. Более того, можно утверждать, что процедуры “классического” компьютерного тестирования, основанные на парадигме “один абсолютно правильный ответ - N абсолютно неправильных ответов” и выводе итоговой оценки из соотношения количества правильных ответов и заданных вопросов, неадекватны представлениям большинства преподавателей об их абсолютной применимости в процессе оценивания знаний.

Можно сделать вполне естественный вывод, что компьютерное программное средство контроля знаний будет признаваться конкретным преподавателем как эффективный инструмент промежуточного или итогового контроля знаний только в том случае, если оно будет адекватно набору требований.

Глава 2. Информационная система оценки знаний по информатике учащихся средней школы

2.1 Проектирование информационной системы оценки знаний

Построение компьютерной системы оценки знаний по информатике требует применения специализированных подходов к представлению и обработке знаний. Сформулируем основные принципы построения компьютерной системы контроля знаний, основанные на методах и моделях, развиваемых в рамках теории интеллектуальных вычислений и инженерии знаний. Эти принципы определяют концепцию интеллектуального тестирования, более адекватную представлениям преподавателя о требуемой организации процесса контроля и оценивания знаний и позволяющую реализовать неформализованные ранее педагогические приемы и методики.

Множество требований, предъявляемых к компьютерному программному средству контроля знаний

В числе провозглашаемых принципов:

1. Переход от задания истинности предлагаемых вариантов ответов в категориях дихотомических шкал (“правильно - неправильно”) к более общей и универсальной схеме оценивания ответов функциями предпочтения, определяемыми в категориях нечеткой логики. Заметим, что такой переход не противоречит традиционному подход, поскольку в соответствии с современными представлениями двоичная логика может считаться частным случаем нечеткой логики;

2. Переход от индивидуальной организации теста к коллегиальной экспертной подготовке всех его этапов, что увеличит доверие конечных пользователей к компьютерной системе контроля знаний и повысит валидность результатов тестирования;

3. Количественное определение сложности и важности каждого тестового задания по пропорциональной цифровой шкале, что даст возможность повысить объективность оценивания демонстрируемых знаний.

4. Разбиение множества тестовых заданий на тематические подмножества, элементы которых семантически коррелируют друг с другом, с обязательным ранжированием как тестовых заданий внутри каждого подмножества, так и выделенных подмножеств между собой. Реализация этого принципа создаст объективную основу для формализации ряда применяемых в настоящее время “ручных” методик контроля знаний, таких, например, как оценивание широты или глубины знаний и т.п.;

5. Переход от характерного для современных компьютерных средств использования программно реализованных алгоритмов прямого тестирования, при котором выбор очередного задания практически не зависит от ответов тестируемого на предыдущие вопросы, к модульному конструированию при подготовке теста;

6. Переход к построению алгоритмов адаптивного тестирования, обусловливающих выбор очередного i-го задания ответами обучаемого на предыдущих (i - 1)-м, (i - 2)-м,..., и т.д. шагах теста. Реализация этого принципа позволит формализовать широко применяемые в педагогической практике методики дополнительных, наводящих и уточняющих вопросов;

7. Построение, унифицированное описание и однотипная реализация в рамках одной и той же компьютерной системы контроля знаний набора алгоритмов тестирования, реализующих различные методики контроля и предоставление организатору тестирования возможности выбирать в конкретной ситуации те из них, применение которых либо предписывается нормативными документами, либо определяется его собственными предпочтениями;

8. Создание инструментария для построения, настройки и модификации различных шкал итогового оценивания знаний, включая как возможность изменения количества и ширины оценочных интервалов, так и определение и варьирование зон неопределенности оценок. Это даст возможность организовать параметрический анализ валидности текущих и заключительных результатов тестирования;

9. Автоматизация на основе возможностей компьютерной техники наиболее трудоемкого этапа подготовительной стадии тестирования, связанного с формированием множества тестовых заданий и вариантов ответов на них. Базис этой процедуры могут составить, в частности, формализованная модель знаний по изучаемой дисциплине, представленная в виде структурированной семантической сети и известные из инженерии знаний фрейм-технологии.

10. Использование при разработке тестовых материалов, технических средств контроля знаний и при их практическом применении самых современных и наиболее эффективных аппаратных и программных компьютерных средств. Построение гетерогенных компьютерных средств, доступных к использованию в большинстве учебных заведений и центров тестирования;

11. Предусмотрение во всех вновь разрабатываемых программных средствах компьютеризированного тестирования возможности использования современных информационных средств компьютерных телекоммуникаций;

12. Включение в компьютерные системы контроля уровня подготовленности учащихся модулей, предотвращающих или минимизирующих фальсификацию результатов педагогического контроля.

Средства автоматизации тестового контроля можно рассматривать как составляющие компоненты технологии педагогической диагностики, активно разрабатываемой с 80-х годов Е.А. Михайличевым, В.Е. Сайко и др. Одним из направлений разработки методов педагогической диагностики является развитие связей с математическими методами и новыми информационными технологиями.

Несмотря на достигнутые в этой области результаты, создание системы диагностирования по конкретному предмету является актуальной задачей. Развитие принципиально новой системы коммуникаций, основанной на компьютерных технологиях и телекоммуникациях, позволяет принципиально изменить существо подхода к синтезу системы тестирования по любому предмету обучения.

В числе программных средств, позволяющих автоматизировать контроль знаний учащихся находятся и компьютерные обучающие среды, основная цель которых – программная поддержка учебного процесса. Современные инструментальные среды для создания автоматизированных учебных курсов позволяют строить тесты с выборочными, числовыми, конструируемыми ответами. На практике в таких программных средствах чаще всего применяется выбор правильного ответа из списка (тесты с выборочными ответами).

Разработано несколько компьютерных систем тестирования, охватывающих все периоды освоения темы «Основы информатики и вычислительной техники». В их основу обычно кладутся идеи синтеза тестов на основе принципа безальтернативного выбора требуемого ответа из множества заданных. Последующее развитие этой идеи позволяет расширить возможности данной системы на основе использования альтернативных формулировок ответа при однозначной постановке вопроса. Указанный этап тестирования предполагает более глубокую по сравнению с первым степень овладения материалом.

Результаты компьютеризированного тестирования по информатике позволяют отразить не только уровень освоения требуемого материала, но и помогают получить информацию о формировании речевой культуры и уровне владения понятийным аппаратом данной дисциплины.

Исходя из описанных выше принципов и руководствуясь необходимыми критериями оценки знаний учащихся по информатике, проектируемая информационная система реализует следующие функции

Учет текущих оценок.

Обработка результатов тестов.

Подсчет и выставление четвертной и годвой оценок.