воскресенье, 29 июля 2018 г.

Являются ли ваши тесты тестами?


Активное и широкое развитие дистанционного обучения всколыхнуло широкие педагогические массы, включая  департаменты  корпоративного обучения. Создание учебного контента стало куда более демократичным: все более широкий круг лиц включается в разработку обучающих материалов. 
С одной стороны, это прекрасно: у учителей и вузовских преподавателей, у бизнес-тренеров  появляется все больше инструментов, позволяющих реализовать их творческий потенциал в деле обучения, измерения знаний. У руководства и заказчиков обучения – все больше инструментов для контроля, мониторинга  и оценки обучения, аттестации персонала  благодаря автоматизации этих процессов.
С  другой стороны, в силу такой демократизации, возникает угроза снижения качества обучающих и контрольно-измерительных материалов. Оба процесса, думается,  столь естественны и неизбежны, что противостоят им едва ли продуктивно. Тем более  что с прагматической точки зрения, менее академичные и фундаментальные  учебные  материалы часто дают куда более очевидный и быстрый практический и экономический эффект, особенно в корпоративном обучении и системе повышения квалификации. Пусть и с определенной потерей  качества обучения и объективности оценки его результатов.
Нагляднее всего эти процессы обнаруживаются в сфере контроля учебных достижений.
Обопрусь на свой опыт: из сотен курсов и иных обучающих продуктов, к разработке или методическому сопровождению которых я имел отношение, лишь в  5-6 случаях (и те случились в далекие девяностые-нулевые годы) речь шла об ученом контроле и диагностике на основе тестологии – междисциплинарной науки о создании и использовании тестов. Согласно ей:
Тест (от англ. test — проверка) — стандартизованная измерительная методика, направленная на выявление скрытого свойства интересующего объекта путем одного или нескольких кратких испытаний (заданий), обладающих максимальной информативностью. Источник
Ключевое слово в этом определении – «стандартизированная»,  то есть, как минимум,  строго и жестко регламентированная методика минимум  в части:
  •      форм и правил составления и предъявления  заданий и ответов на них,
  •         отобранного экспертами содержания в соответствии со специальными регламентами его отбора,
  •          апробированных и статистически выверенных характеристик   заданий, где заранее определена трудность каждого из них, их разрешающая способность, позволяющая однозначно различать сильных и слабых учащихся,
  •         наличия специальных шкал для упорядоченной числовой фиксации свойств изучаемого объекта (в нашем случае – степени обученности аудитории).

Скажу честно: создаваемые мной учебные «тесты» не отвечают этим требованиям, кроме, пожалуй,  первого. Да и его не всегда удается реализовать, если тому противится заказчик.
Принимал лет 10 назад участие в редактировании контента в курсе (в котором было под 60 «увесистых» модулей)  для одного министерства. Редактировать тесты, «прикрученные» кем-то к каждому из модулей, однако, мне не дозволялось. А в этих тестах:
  • Сотни заданий;
  • Подавляющее преобладание трех вариантов ответа  вариантов ответов в заданиях (а примерно в  15% случаев – двух);
  • Типовая длина условий задания: 2-4 строки;
  • Средняя длина вариантов ответа: 2-3 строки в каждом.

Пример такого задания:
На одном из участков организации произошла временная приостановка работы по причинам, не зависящим от работодателя и работника. Оплачивается ли работнику время простоя?
а) Да, оплачивается в размере не менее 2/3 тарифной ставки или оклада.            О начале простоя, вызванного поломкой оборудования и другими причинами, работник обязан сообщить представителю работодателя. 
б) Не оплачивается.
в) Да, оплачивается в размере не менее 2/3 средней заработной платы работника при наличии письменного уведомления работодателю о начале простоя.

Составленные из подобных вопросов «тесты», пусть и несколько улучшенные,  до сих пор ежегодно проходят сотни тысяч (!) руководителей и предпринимателей.   Разумеется,  о какой-либо  стандартизации, апробации, статистической  выверке надежности  в подобных тестах  говорить затруднительно.
Стандартизация и апробация теста – это очень трудоемкие  и дорогие  процедуры.  Они по карману далеко не всем вузам, компаниям и даже целым  ведомствам, не говоря уже об отдельных преподавателях. Хотим мы того или не хотим, нужно трезво признать: мы работаем в основном с непрофессиональными, по существу, ненаучными тестами, лежащими за пределами тесторлогии.   Иными словами, создаем то и оцениваем с помощью того,  что в строгом – научном - значении этого термина, тестами не является. Ибо тест в сфере обучения – это

Реальность такова: по существу, то,  что мы  создаем, является не тестами, а более или менее грамотно составленными комплектами проверочных заданий специфического «тестообразного» вида.
Значит ли это, что мы занимаемся не то Сизифовым, не то мартышкиным трудом? Что нужно бросить создавать проверочные задания из-за того, что без сотен и  тысяч участников апробационного испытания тестов и без применения соответствующих математических моделей мы не получим объективных, точных и надежных измерительных материалов?  Ведь тест становится полноценным тестом лишь после статистической проверки данных об уровне подготовленности обучающихся на их большой выборке. Мы же действуем «на глазок», руководствуясь  личным опытом и интуицией.
Так было веками. Так остается сейчас и еще, видимо,  долго будет оставаться. Нужно лишь осознать и признать:
существует расширенное, обыденное и научное понимание тестов и тестирования.
И на практике доминирует пока обыденное. Практикующий разработчик тестового  контента должен знать и различать обыденное и научное значения этого термина, чтобы понимать, что собственно, он делает, составляя проверочные материалы.
При этом у нас не должны опускаться руки.  Пусть пока у нас нет возможности полноценной  апробации  контрольных заданий, то, что мы делаем, имеет смысл, поскольку позволяет:
  •        структурировать знания, собственные и учащихся, оценивать знания разного типа:
  •         выявлять пробелы в знаниях и корректировать их,
  •          формировать тестологическую  грамотность преподающих и многое другое.

Думается, трендом в практике дидактических измерений станет постепенно приближение расширенного понимания тестов и тестирования к научному. Прежде всего это коснется (и уже касается) 1) правил стандартного, в соответствии с требованиями тестологии,  оформления заданий, 2) отбора необходимых для контроля единиц знаний, 3) составления тестов с учетом возрастания уровня сложности заданий в них.  Преподающие должны научиться как минимум трем этим вещам, поскольку овладение этими компетенциями сделает
·         ученый контроль более объективным и, главное, комфортным, для обучающихся,
·         составление заданий не случайным и мало управляемым творческим процессом, а опирающимся на нужные типы знаний, умений и навыков, необходимых и достаточных для овладения той или иной предметной областью.  
О базовых правилах оформления контролирующих заданий и простейших незатратных способах проверки их качества, прежде всего, их разрешающей способности, мы расскажем на одном из своих онлайн курсов, запланированных на осень.

среда, 11 июля 2018 г.

Как мы обучаем обучению через действие (Action Learning)


Одним из метод интерактивного обучения является обучение действием (или через действие).



Создатель метода Реджинальд  Реванс вывел

Глубина и ценность Q-знаний заключается в том, что мы узнаем что-то самостоятельно, т.е. фактически, создаем собственные знания, тогда как большинство Р-знаний нам кто-то предлагает уже готовыми. 
Традиционная система образования построена на Р-знаниях, в то время как «обучение действием» в большей степени ориентировано на получение Q-знаний, где Р-знания являются лишь средством  для обучения.
Главный мотив обучения через действие ¾ преодолеть разрыв между «книжным» знанием и его применением в практике обучения или производства.
Одним из инструментов обучения действием является система вопросов, которые подразделяются на несколько групп:
1. Рамочные вопросы для введения в проблему (задачу).
2. Вопросы для решения проблем: Принятие решений.
3. Вопросы для предпринятия действий.
4. Вопросы для осуществления решений / действий.
5. Вопросы для групповой и/или индивидуальной рефлексии, оценки.

Шаблонами и инструкциями для составления таких вопросов мы "вооружаем" своих слушателей.
Групповое обсуждение в рамках обучения через действия состоит в ответах обучающихся на такие вопросы, адаптированные к конкретному виду деятельности, предметной области.
Вот что получилось у слушательницы нашего курса Ирины Вдовиной (Нижегородский институт развития образования), составившей вопросный "каркас" занятия action learning  на тему «Информация и ее свойства. Основные понятия» для педогогов общеобразовательных школ (название курса «Основы информационной грамотности») /приводится в сокращении/ :
Название выбранного пункта (раздела) оглавления курса
Информация и ее свойства. Основные понятия
Вопросы для осуществления обучения через действие
1. Рамочные вопросы для введения в проблему (задачу)
Что такое информация?
Какими другими понятиями может быть заменено понятие «информация»
Почему понятие «информация» сегодня стало весьма актуально?
Почему для нашей работы важно определение этого понятия?
Может ли быть единое мнение о понятии «информация»?
Что является препятствием на пути выработки определенного мнения относительно понятия «информация»?
Каким может быть результат нашей совместной работы?
2. Вопросы для решения проблем: Принятие решений
Что для нас важно в этой ситуации многообразия определения понятия «информация»?
Что вы думаете по поводу этой ситуации?
Что мы хотели бы получить в результате разрешения данной ситуации?
Может ли быть ситуация не разрешена?
Какие последствиями это может сопровождаться?
Какую информацию о себе вы узнали на основе реакции на эту ситуацию? Откуда вы это узнали?
3. Вопросы для предпринятия действий
Чего вы не знаете об этой ситуации?
Какие самые простые действия можно предпринять?
Какие радикальные действия вы могли бы предпринять?
Каково соотношение между положением вещей в настоящее время и тем, каким бы вы хотели его видеть?
Как данная ситуация влияет лично на вас?
4. Вопросы для осуществления решений / действий
Что надо сделать в первую очередь?
Что вам мешает, вас останавливает?
Что произойдет, если вы не придете к единому мнению о понятии «информации»?
Почему вы считаете, что определение понятия «информации» имеет определенную ценность?
Что вызывает в этой ситуации беспокойство?
Если будет единое определение понятия «информация», что вы будете чувствовать?
5. Вопросы для групповой и/или индивидуальной рефлексии, оценки
Пришли ли вы к единому мнению?
Можно ли считать, то группа предприняла определенные усилия для выработки своего мнения о понятии «информация»?
Были ли у группы  разногласия?
В чем они заключались? Как вы их решали?
Как бы вы оценили деятельность группы по выработке совместного решения, например, в 10- балльной системе?
Если это не 10, то,  что не позволило достичь максимума?
Если это 10, то можете ли вы это подтвердить фактами?

Обратите внимание, что И. Вдовина решилась на смелый шаг: освоение через действие абстрактных понятий, а это не так-то просто.

Надеюсь, не сложно заметить, что в наших онлайн курсах слушатели не только изучают обучение действием, но и весьма активно действуют, выполняя разнообразные домашние работы. Сейчас открыта запись на одни из таких курсов.

среда, 4 июля 2018 г.

Две главных дидактических трудности онлайн обучения


Мне видится две главных, собственно дидактических, проблемы,  в отечественном онлайн обучении:
1. Несовершенная организация и реализация управления учением, то есть тем, что и как осваивает ученик и с каким качеством.  
Такое управление должно быть, как минимум,
  • цикличным (замкнутым), когда субъекту преподавания постоянно поступает вся информация об успехах и неуспехах каждого ученика при его работе с каждым учебным элементом;
  • направленным, то есть персонифицированным  (См.: … )

2.  Несовершенная, неполная, не систематическая обратная связь, то есть неправильное «предоставление информации учащимся о правильности их работы»  (Роберт М. Ганье) с целью коррекции ошибок и отклонений.
ИМХО, традиционное очное и удаленное обучение просто физически не позволяет реализовать ни замкнутого и направленного обучения, ни обратной связи так, как следовало бы.

Решение этих проблемы на практике возможно двумя основными способами:
  1. Автоматизацией  процессов управления учением. А тут и до интеллектуальных обучающих систем рукой подать.
  2. Использованием методов интерактивного обучения, групповой и коллективной работы.

Это теоретически. На деле все не так просто. Тем не менее нужно стремиться к преодолению этих объективных, на самом-то деле, трудностей. Удается не все, не всегда, но шаг за шагом, от курса к курсу, от занятия к занятию, путем многочисленных итераций к этому стоит неуклонно двигаться. Что мы осознанно и делаем.

В интерактивном обучении преподаватель играет куда меньшую роль, чем обучающийся, как ни трудно это уяснить нашим «Учителям-с-Большой-Буквы». Здесь обратная связь от обучающихся  к преподающим куда важнее, чем обратная связь от них к ученику: 
Дорогой преподаватель, делай не только "выполнение учебной программы", а и прежде всего то, что нужно в этой программе ученику.
Взгляните на итоговую обратную связь одного из слушателей недавно завершившегося  курса о системе активных и интерактивных заданий в ДО и смешанном обучении. 
Получили ли мы правильную обратную связь про то, получил ли ученик от курса то, что ему, а не нам с рабочей программой нужно? 

Далеко не все слушатели наших курсов дают обратную связь, примерно лишь 1/4 записавшихся. Далеко не вся она столь позитивна.
Однако часто избегание откровенной обратной связи или неумение реализовать в ней критику конструктивно не связаны с чисто дидактическими причинами. Психологические и социальные   стереотипы, отлично выраженная  еще Пушкиным констатация: «Народ безмолвствует», громоздят социокультурные препятствия,  мешающие переходу наших образовательных учреждений к правильному управлению учением и интерактивным методам обучения (ни то, ни другое немыслимо без обратной связи)
Да об этом в следующий раз.