Являются ли ваши тесты тестами?

Активное и широкое развитие дистанционного обучения всколыхнуло широкие педагогические массы, включая  департаменты  корпоративного обучения. Создание учебного контента стало куда более демократичным: все более широкий круг лиц включается в разработку обучающих материалов. 

С одной стороны, это прекрасно: у учителей и вузовских преподавателей, у бизнес-тренеров  появляется все больше инструментов, позволяющих реализовать их творческий потенциал в деле обучения, измерения знаний. У руководства и заказчиков обучения – все больше инструментов для контроля, мониторинга  и оценки обучения, аттестации персонала  благодаря автоматизации этих процессов.

С  другой стороны, в силу такой демократизации, возникает угроза снижения качества обучающих и контрольно-измерительных материалов. Оба процесса, думается,  столь естественны и неизбежны, что противостоят им едва ли продуктивно. Тем более  что с прагматической точки зрения, менее академичные и фундаментальные  учебные  материалы часто дают куда более очевидный и быстрый практический и экономический эффект, особенно в корпоративном обучении и системе повышения квалификации. Пусть и с определенной потерей  качества обучения и объективности оценки его результатов.

Нагляднее всего эти процессы обнаруживаются в сфере контроля учебных достижений.

Обопрусь на свой опыт: из сотен курсов и иных обучающих продуктов, к разработке или методическому сопровождению которых я имел отношение, лишь в  5-6 случаях (и те случились в далекие девяностые-нулевые годы) речь шла об ученом контроле и диагностике на основе тестологии – междисциплинарной науки о создании и использовании тестов. Согласно ей:

Тест (от англ. test — проверка) — стандартизованная измерительная методика, направленная на выявление скрытого свойства интересующего объекта путем одного или нескольких кратких испытаний (заданий), обладающих максимальной информативностью. Источник

Ключевое слово в этом определении – «стандартизированная»,  то есть, как минимум,  строго и жестко регламентированная методика минимум  в части:

•      форм и правил составления и предъявления  заданий и ответов на них,
•         отобранного экспертами содержания в соответствии со специальными регламентами его отбора,
•          апробированных и статистически выверенных характеристик   заданий, где заранее определена трудность каждого из них, их разрешающая способность, позволяющая однозначно различать сильных и слабых учащихся,
•         наличия специальных шкал для упорядоченной числовой фиксации свойств изучаемого объекта (в нашем случае – степени обученности аудитории).

Скажу честно: создаваемые мной учебные «тесты» не отвечают этим требованиям, кроме, пожалуй,  первого. Да и его не всегда удается реализовать, если тому противится заказчик.

Принимал лет 10 назад участие в редактировании контента в курсе (в котором было под 60 «увесистых» модулей)  для одного министерства. Редактировать тесты, «прикрученные» кем-то к каждому из модулей, однако, мне не дозволялось. А в этих тестах:

• Сотни заданий;
• Подавляющее преобладание трех вариантов ответа  вариантов ответов в заданиях (а примерно в  15% случаев – двух);
• Типовая длина условий задания: 2-4 строки;
• Средняя длина вариантов ответа: 2-3 строки в каждом.

Пример такого задания:

На одном из участков организации произошла временная приостановка работы по причинам, не зависящим от работодателя и работника. Оплачивается ли работнику время простоя?

а) Да, оплачивается в размере не менее 2/3 тарифной ставки или оклада.            О начале простоя, вызванного поломкой оборудования и другими причинами, работник обязан сообщить представителю работодателя. 

б) Не оплачивается.

в) Да, оплачивается в размере не менее 2/3 средней заработной платы работника при наличии письменного уведомления работодателю о начале простоя.

Составленные из подобных вопросов «тесты», пусть и несколько улучшенные,  до сих пор ежегодно проходят сотни тысяч (!) руководителей и предпринимателей.   Разумеется,  о какой-либо  стандартизации, апробации, статистической  выверке надежности  в подобных тестах  говорить затруднительно.

Стандартизация и апробация теста – это очень трудоемкие  и дорогие  процедуры.  Они по карману далеко не всем вузам, компаниям и даже целым  ведомствам, не говоря уже об отдельных преподавателях. Хотим мы того или не хотим, нужно трезво признать: мы работаем в основном с непрофессиональными, по существу, ненаучными тестами, лежащими за пределами тесторлогии.   Иными словами, создаем то и оцениваем с помощью того,  что в строгом – научном - значении этого термина, тестами не является. Ибо тест в сфере обучения – это

Реальность такова: по существу, то,  что мы  создаем, является не тестами, а более или менее грамотно составленными комплектами проверочных заданий специфического «тестообразного» вида.

Значит ли это, что мы занимаемся не то Сизифовым, не то мартышкиным трудом? Что нужно бросить создавать проверочные задания из-за того, что без сотен и  тысяч участников апробационного испытания тестов и без применения соответствующих математических моделей мы не получим объективных, точных и надежных измерительных материалов?  Ведь тест становится полноценным тестом лишь после статистической проверки данных об уровне подготовленности обучающихся на их большой выборке. Мы же действуем «на глазок», руководствуясь  личным опытом и интуицией.

Так было веками. Так остается сейчас и еще, видимо,  долго будет оставаться. Нужно лишь осознать и признать:

существует расширенное, обыденное и научное понимание тестов и тестирования.

И на практике доминирует пока обыденное. Практикующий разработчик тестового  контента должен знать и различать обыденное и научное значения этого термина, чтобы понимать, что собственно, он делает, составляя проверочные материалы.

При этом у нас не должны опускаться руки.  Пусть пока у нас нет возможности полноценной  апробации  контрольных заданий, то, что мы делаем, имеет смысл, поскольку позволяет:

•        структурировать знания, собственные и учащихся, оценивать знания разного типа:
•         выявлять пробелы в знаниях и корректировать их,
•          формировать тестологическую  грамотность преподающих и многое другое.

Думается, трендом в практике дидактических измерений станет постепенно приближение расширенного понимания тестов и тестирования к научному. Прежде всего это коснется (и уже касается) 1) правил стандартного, в соответствии с требованиями тестологии,  оформления заданий, 2) отбора необходимых для контроля единиц знаний, 3) составления тестов с учетом возрастания уровня сложности заданий в них.  Преподающие должны научиться как минимум трем этим вещам, поскольку овладение этими компетенциями сделает

·         ученый контроль более объективным и, главное, комфортным, для обучающихся,

·         составление заданий не случайным и мало управляемым творческим процессом, а опирающимся на нужные типы знаний, умений и навыков, необходимых и достаточных для овладения той или иной предметной областью.  

О базовых правилах оформления контролирующих заданий и простейших незатратных способах проверки их качества, прежде всего, их разрешающей способности, мы расскажем на одном из своих онлайн курсов, запланированных на осень.