АНАЛИЗ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМЕ ДИСТАНЦИОННОГО ОБУЧЕНИЯ MOODLE
Раздел: Научно-методическое обеспечение подготовки по направлению «Прикладная информатика в образовании» // Тематический сборник научных трудов кафедры Теории и методики преподавания информатики
Журнал: Сборник научных трудов кафедры ТиМПИ
14 октября 2015 г.
Авторы: Шеремет Алена Николаевна
А. Н. Шеремет
АНАЛИЗ БАНКОВ ТЕСТОВЫХ ЗАДАНИЙ В СИСТЕМЕ ДИСТАНЦИОННОГО ОБУЧЕНИЯ MOODLE
Тестирование с использованием информационных технологий дает огромное преимущество перед бумажным вариантом этого процесса. Именно поэтому сегодня так активно продвигается культура компьютерного тестирования в образовательную сферу. Так, в системе высшего образования тестирование внедряется в образовательный процесс в соответствии с введением в 2004 году обязательной процедуры тестирования для оценки качества подготовки студентов по дисциплинам федерального компонента при проведении аттестационной экспертизы вузов Министерством науки и образования Российской Федерации.
Выделяют ряд преимуществ в тестировании с помощью информационных технологий:
- высокая научная обоснованность, позволяющая получать объективированные оценки уровня подготовленности испытуемых;
- технологичность тестовых методов;
- точность измерений;
- наличие одинаковых, для всех пользователей, правил проведения педагогического контроля и адекватной интерпретации тестовых результатов;
- сочетаемость тестовой технологии с другими современными образовательными технологиями.
Существует огромное количество разнообразного программного обеспечения и Интернет-ресурсов, которые позволяют осуществлять процедуру тестирования. Так, в частности, в сфере высшего образования при оценке качества знаний студентов часто преподаватели обращаются к услугам научно-исследовательского института мониторинга качества образования, который проводит: тестирование в рамках проектов «Федеральный Интернет-экзамен в сфере профессионального образования (ФЭПО)», «Интернет-тренажеры в сфере образования», «Диагностическое Интернет-тестирование студентов первого курса» и пр.
Не секрет, что использование компьютерного тестирования существенно сокращает время на проведение самой процедуры тестирования, а затем и на обработку результатов этого тестирования. Кроме того, оно обеспечивает стандартные условия для испытуемых и четкий контроль процессе самой процедуры, т.е. не возможен пропуск вопросов, фиксируется временя каждого ответа. Однако для адекватной оценки качества приобретенных знаний студентов необходимо учитывать требования, предъявляемые к разработке тестовых заданий. Несоблюдение этих правил может приводить к грубым ошибкам при определении результатов контроля.
На начальном этапе формулировки текста тестовых заданий необходимо учитывать стандартные требования к составлению тестовых заданий. Рассмотрим применение этих требований на примере проведенной экспертизы базы тестовых заданий.
1. Содержательная часть задания формулируется в логической форме высказывания, а не в форме вопроса.
Так, вопрос в представленной форме:
«На каком этапе товародвижения оператор базы данных принимает участие?»
должен быть переформулирован следующим образом:
«Оператор базы данных принимает участие на следующем этапе товародвижения ... »
Таким образом, основная часть задания должна быть в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов.
2. Из ответов к заданию исключаются все повторяющиеся слова за счет ввода их в основной текст заданий.
Так, вопрос и ответ в представленные форме:
«Внутренний штрих-код это?
- штрих-код, присвоенный производителем»
должны быть переформулированы следующим образом:
«Внутренний штрих-код представляет собой ...
- присвоенный производителем код»
3. В ответах не рекомендуется использовать слова «все», «ни одного» и т.п. так как в отдельных случаях они способствуют угадыванию правильного ответа.
Следую этой рекомендации необходимо переформулировать один из ответов в данном задании:
Статус приходного документа «Принят»
а. Увеличивает остаток товара в магазине
б. Увеличивает остаток в ЦБ, но не увеличивает остаток в магазине
в. Ничего не делает
Кроме того, все варианты ответов должны быть равновероятно привлекательны для испытуемых.
4. Все ответы должны быть параллельны по конструкции и грамматически согласованы с основной частью задания теста.
По этому правилу должен быть переформулирован ответ «г». Его грамматическая конструкция «выбивается» из представленных выше ответов.
Внутренний штрих-код это?
а. Штрих-код, присвоенный товару в магазине
б. Номер товара в базе данных
в. Штрих-код, присвоенный производителем
г. Штрих-код, первые две цифры в котором 24, присвоенный программой на товар не имеющий штрих-код
5. Основным элементом тестового задания является инструкция, которая определяет перечень действий студента при прохождении тестирования.
Поэтому перед каждым заданием необходимо указывать, например:
«Укажите правильный ответ (ответы)» или «Установите соответствие» и т.д.»
6. Число тестовых заданий с отрицанием должно быть минимальным. При этом частица «не» выделяется жирным шрифтом.
Поэтому представленное задание и ответы к нему
Товар не пробивается через кассу в случае
а. Товар не имеет розничной цены
б. Товар не имеет закупочной цены
в. Товар имеет внутренний штрих-код
г. Товар не поставлен на приход
д. Новый товар или товар, на который изменился штрих-код
должны быть переформулированы.
7. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок.
Поэтому задание, представленное в следующем виде:
«Контракт, договор, спецификация товара»
необходимо дополнить и сделать разъяснения к нему. Например,
«Дайте развернутый ответ, что такое контракт, договор, спецификация товара».
8. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста.
Данную ситуацию можно увидеть в двух разных вопросах, но ответы к ним одинаковые.
Вопрос: На каком этапе товародвижения оператор базы данных принимает участие:
а. Изучение рынка товаров и поставщиков;
б. Заказ товара в магазине
в. Ввод в систему
г. Выкладка, продажа через кассу
Вопрос: На каком этапе товародвижения менеджер сопутствующих товаров принимает участие?
а. Изучение рынка товаров и поставщиков;
б. Заказ товара в магазине
в. Ввод в систему
г. Выкладка, продажа через кассу
По окончанию этапа формулировки текста тестовых заданий необходимо обратиться к стандартным средствам анализа статистических показателей в среде дистанционного обучения Moodle.
СДО Moodle позволяет формировать отчеты по результатам проведенного тестирования, в котором отображаются основные статистические показатели, используемые в теории педагогических измерений для оценки качества тестовых заданий. Приведем пример такого отчета на рисунке 1.
Рисунок 1. Статистическая обработка результатов тестирования
Эффективность теста определяется эффективностью каждого из составляющих тест вопросов.
Средняя оценка - среднее арифметическое всех оценок группы тестируемых студентов.
Медиана оценок - это оценка, находящаяся в середине сортированного списка оценок за тест. В отличие от средней оценки медиана показывает количественный состав и распределение «сильных» и слабых студентов в группе.
Индекс легкости определяется количеством студентов, правильно ответивших на вопрос. Если индекс легкости равен 100% (все ответили правильно) или 0% (все ответили неправильно), то такой вопрос должен быть исключен из теста.
Стандартное отклонение оценивает разброс оценок студентов. Если все оценки одинаковые, то отклонение равно нулю. Чем больше отклонение, тем больше разброс оценок. И значит выше способность студентов разделять на «сильных» и «слабых».
Оценка асимметрии распределения. Этот показатель отвечает за количественное равномерное распределения оценок относительно среднего значения. В данном случае указывает на то, что количество испытуемых получивших оценку выше среднего больше чем количество испытуемых получившие оценку ниже среднего.
Оценка распределения эксцесса. Этот показатель отвечает за качественное равномерное распределения оценок относительно среднего значения оценок. В данном случае указывает на то, что был перевес в отношении высоких результатов.
Проанализировав эти два показателя, можно судить, что на среднею оценку попыток в значительной мере повлияла небольшая группа испытуемых у которых были очень высокие результаты.
Таким образом, достоинством системы дистанционного обучения Moodle является наличие у нее встроенных инструментов статистической обработки тестовых заданий для их дальнейшей корректировки в соответствии с полученными характеристиками. СДО Moodle предоставляет развернутый отчет по результатам прохождения тестов. Анализ статистических параметров, автоматически рассчитываемых системой для тестовых заданий, позволяет преподавателю выявить неудачные задания и откорректировать или заменить их в тесте.
Список информационных источников
1. Нестеров С.А., Сметанина М.В. Оценка качества тестовых заданий средствами среды дистанционного обучения MOODLE // Научно-технические ведомости СПбГПУ. - 2013. - №5(181).- Информатика. Телекоммуникации. Управлени.- С. 87-92.
2. Смирнов С.А. Применение Moodle 2.3 для организации дистанционной поддержки образовательного процесса: Учебное пособие. / С.А. Смирнов. - М: «Школа будущего», 2012. - 182 с.
3. Сликишина И.В. Дистанционное образование - начало пути // Информационно-коммуникационные технологии в педагогическом образовании. 2012. № 4 (19). С. 7-9.
4. Шеремет А.Н. Сущностные характеристики понятия «мобильность» в рамках подготовки бакалавров по направлению «Педагогическое образование» // Теоретические и прикладные аспекты современной науки. 2015. № 9-5. С. 161-165.