6.5 Индивидуальные траектории обучения

В предыдущих разделах было описано несколько методов создания последовательности задач от простых к сложным классам задач со снижением уровня поддержки и руководства в каждом классе задач. Разработанная последовательность может быть использована и в качестве единого плана обучения, когда все учащиеся получают одинаковую последовательность учебных задач («всех под одну гребенку»). Это целесообразно и экономически эффективно для образовательных программ с однородными группами учащихся. Однако это не всегда так. В качестве альтернативной стратегии, на основе подобной структуры классов задач можно создать базу задач, из которой динамически выбирать задачи, наилучшим образом отвечающие учебным потребностям отдельных учащихся (рис. 2.3) и предоставляющим оптимальный объём и тип поддержки и руководства. При таком подходе не существует единой образовательной программы для всех учащихся — вместо этого каждый отдельный учащийся проходит собственную, наиболее полезную для него траекторию обучения.

Рис. 6.6 Циклическая модель индивидуализации траекторий обучения

На рисунке 6.6 показан циклический процесс, необходимый для создания индивидуальных траекторий обучения. Процесс начинается с выдачи учащемуся учебного задания, выбранного из базы задач, — можно сказать, что некое формирующее оценивание проходит до начала обучения. Для этого каждая задача в базе характеризуется метаданными, связанными с:

а) контекстными особенностями, обеспечивающими вариативность практики, например описанием параметров, по которым задачи отличаются друг от друга в реальном мире;

б) сложностью задачи, характерной для соответствующего класса задач;

в) уровнем поддержки и руководства, например форматом задачи (проработанный пример, задача на завершение, обычная задача и т. д.) и доступным руководством (рабочими листами учебного процесса, принятыми функциональными ограничениями). Кроме того, в метаданных указываются стандарты производительности для каждой задачи. После того как учащийся выполнил учебную задачу, его работа оценивается в соответствии со стандартами, а результаты оценки добавляются в портфолио, содержащее обзор всех ранее выполненных учебных задач и результаты их оценки (см. шаг 2 в главе 5). В соответствии с портфолио из базы задач выбирается новое задание, которое наилучшим образом соответствует потребностям обучающегося — т. е. предоставляет наилучшие возможности для работы над выявленными точками роста на оптимальном уровне сложности, поддержки и руководства, — и цикл начинается снова.

Далее мы подробно рассмотрим три основных элемента рисунка 6.6:

Оценка эффективности деятельности. Мы докажем, что использование различных форматов оценки с участием различных асессоров (оценщиков) благоприятно сказывается на цикличности процесса.

Портфолио. Мы опишем систематический подход к сбору результатов оценки, их хранению и использованию для выбора задания на основе листов оценки портфолио.

Выбор задания. Мы обсудим дополнительный скаффолдинг как систематический способ помочь учащимся развить навыки самонаправленного обучения, необходимые для плодотворного выбора задания.

Форматы оценки эффективности деятельности и асессоры

Шаг 2, описанный в предыдущей главе, включает в себя разработку рубрикатора для оценки эффективности. Однако, когда оценка эффективности используется для отбора учебных задач, необходимо ответить на два дополнительных вопроса: 1. Какие методы оценки эффективности деятельности использовать? 2. Кто будет заниматься оценкой эффективности деятельности?

Существует несколько методов оценки эффективности деятельности. Тесты ситуационных суждений (Lievens & De Soete, 2015) — подход, часто используемый при отборе персонала, — описывают рабочие ситуации или примеры из практики и требуют выбрать порядок действий, отвечая на такие вопросы, как «Что бы вы сделали в первую очередь?» и «Какое действие является наиболее важным?». Тесты на имитацию деятельности (Reigeluth et al., 2012) требуют от учащихся выполнения задач в условиях имитации. Тестовые рабочие задачи (Thornton & Kedharnath, 2013) требуют от учащихся выполнения задач, аналогичных тем, что выполняются на работе. А при оценке эффективности на рабочем месте (Jelley et al., 2012) за выполнением задач учащимися наблюдают в нормальных рабочих условиях. Существует множество других методов оценки эффективности, их полное обсуждение выходит за рамки данной книги, но все они имеют свои преимущества и недостатки (Baartman et al., 2006). Поэтому в «Десяти шагах» рекомендуется использовать сочетание разных методов, что естественно при использовании различных учебных задач с разной степенью поддержки и руководства. Таким образом, недостатки одних методов оценки уравновешиваются достоинствами других.

Что касается второго вопроса, то важными асессорами являются преподаватели и другие эксперты в области задач, клиенты и прочие люди, которых обслуживают учащиеся, работодатели и ответственные менеджеры. Вся группа экспертов должна быть способна дать полную оценку, принимая различные точки зрения на работу учащегося (Sluijsmans & Moerkerke, 1999). Смешанный состав экспертов позволяет получать полную картину уровня успеваемости учащегося и принимать уверенные решения о том, каковы важнейшие точки роста для этого ученика, какие учебные задачи следует выполнять дальше и т. п. Отобранные эксперты могут привнести предвзятость, используя только положительную часть шкалы, чтобы не портить свои отношения с учащимся или избежать других последствий выставления негативных оценок (Bullock et al., 2009). Чтобы уменьшить предвзятость, асессоры должны быть хорошо обучены использованию инструментов оценки, несоответствия в оценке должны обсуждаться между оценщиками, а формирующие роли (например, преподаватель) должны быть отделены от суммирующих ролей (например, экзаменатор; см. главу 15).

Другим важным асессором является сам учащийся. Правда, в литературе нет однозначного мнения относительно качества самооценки, поскольку учащиеся обычно плохо оценивают себя и зачастую бывают слишком уверены в себе (Davis et al., 2006; Dunning et al., 2004; Eva & Regehr, 2007; Pontes et al., 2018). Недавнее мета-исследование (León et al., 2023) показало, что учащиеся значительно переоценивают свое обучение (это известно как суждение об обучении — JoL), но эта переоценка уменьшается, когда они получают обратную связь и обладают большим опытом самооценки и знаниями содержания, а это именно то, что продвигают 4C/ID и «Десять шагов». Также установлено, что учащиеся с самыми низкими результатами по внешним оценкам склонны неверно оценивать себя. И все же есть по крайней мере два весомых аргумента в пользу включения самооценки. Во-первых, вовлечение учащихся в процесс оценки эффективности деятельности помогает им почувствовать ответственность за собственный процесс обучения. Показано, что это положительно влияет на энтузиазм и мотивацию (Boud, 1995). Во-вторых, развитие навыков самооценки важно для самонаправленного обучения и обучения на протяжении всей жизни (Van Merriënboer et al., 2009). Самооценка всегда должна быть соотнесена с прочими оценками. Сама практика соотнесения самооценки с оценками внешних асессоров очень важна, и в долгосрочной перспективе стимулирует развитие навыков самонаправленного обучения.

Еще одну группу возможных асессоров составляют соученики (Prins et al., 2005; Sluijsmans et al., 2002a; Topping, 1998). Взаимная оценка может рассматриваться как ступенька от внешней оценки к самооценке. Внешняя оценка помогает развить и навыки самооценки (Van Zundert et al., 2010). Есть и более тривиальная причина использования взаимной оценки, связанная с практичностью процесса оценки. Очевидно, что частая оценка учебных задач — трудоемкая работа, невыполнимая при большом количестве учащихся. Поэтому «Десять шагов» поощряют использование самооценки и взаимной оценки для замены некоторых оценок, проводимых учителями и другими лицами, при условии что баланс не склоняется в сторону самооценки и взаимной оценки (Konings et al., 2019; Sluijsmans et al., 2002b, 2004).

Лист оценки портфолио

Форма листа оценки портфолио (Sluijsmans et al., 2008) основана на портфолио как матрице стандартов и задач (см. рис. 5.4 в предыдущей главе). Она использует постоянный набор стандартов для оценки эффективности, хранит результаты оценки, полученные с помощью различных методов и асессоров, и позволяет проводить оценивание, ориентированное и на стандарты, и на задачи. В таблице 6.6 приведен пример листа оценки портфолио, каждая строка которого соответствует одной учебной задаче.

В первых четырех столбцах указаны номер класса задачи, номер задачи, формат оценки задачи (то есть вид задачи и способ ее оценки) и асессор. Следующие восемь столбцов относятся к восьми стандартам, по которым проходит оценивание работы. Это предполагает оценку, ориентированную на стандарты, при которой мы будем читать таблицу вертикально. Этот постоянный набор стандартов может относиться к критериям, ценностям и установкам как для рутинных аспектов поведения учащихся, так и для тех аспектов, которые относятся к разрешению проблем. В этом примере минимальные баллы, ориентированные на стандарты, установлены на различных уровнях – 4,7 для первого аспекта, 3,5 для второго аспекта, 2,5 для третьего аспекта и т. д. по шестибалльной шкале (в данном случае неважно, что означают эти стандарты). Выполнение каждой учебной задачи оценивается по всем аспектам, относящимся к задаче. Например, из таблицы 6.6 видно, что сторонний асессор HK (AHK) оценил первый стандарт (заштрихованный столбец) первой учебной задачи в 3 балла, что значительно ниже 4,7 – минимального значения для данного стандарта. Это значит, что выносится отрицательное решение и данный аспект остается точкой роста в следующих задачах. Учащийся самостоятельно оценил первый стандарт второй учебной задачи в 5 баллов, это дает средний балл за первые две учебных задачи 4,0. Это все еще ниже 4,7, минимума для данного стандарта, то есть первый аспект остается точкой роста. Сторонний асессор GS (AGS) оценил первый стандарт третьей учебной задачи в 6 баллов, что дает средний балл за три первых учебных задачи 4,7. Теперь среднее значение равно минимальному значению, то есть над улучшением этого аспекта можно уже не работать. Остальные семь аспектов успеваемости (т.е. остальные семь колонок таблицы 6.6. оцениваются аналогичным образом. Результаты оценивания, ориентированного на стандарты, в основном показывают, на каких аспектах работы нужно, а на каких не нужно сосредоточиться в выбранных учебных задачах. Таким образом, они показывают, какая учебная задача или какие задачи из базы: а) требуют применения стандартов, которые еще не выполнены; б) не требуют применения стандартов, которые уже выполнены.

Таблица 6.6 Пример листа оценки портфолио

Последние три столбца в таблице 6.6 касаются оценок, ориентированных на задачи. Здесь мы читаем таблицу горизонтально. Минимальный балл, ориентированный на задачи, является средним значением индивидуальных минимальных баллов по всем стандартам, относящимся к этой учебной задаче. Средний балл является средним значением всех измеренных баллов оценки по этой конкретной учебной задаче. Продолжая предыдущий пример, средний балл оценки асессора HK для первой учебной задачи составляет 3,0 (см. затененный столбец), рассчитанный путем суммирования индивидуальных баллов (15,0), разделенных на количество баллов (5,0). Этот балл ниже минимального балла 3,74 для этой учебной задачи (также рассчитанного по пяти измеренным аспектам). Это приводит к отрицательному решению, что означает, что следующая задача должна снова включать поддержку учащегося. Учащийся самостоятельно оценивает вторую учебную задачу со средним баллом 2,8, который остается ниже минимального балла, ориентированного на задачи, 3,71 (среднего значения минимальных баллов по всем восьми стандартам). Это говорит о снижении производительности, и в результате следующее задание предоставит дополнительную поддержку: это будет отработанный пример вместо задания на завершение. Асессор GS дает среднюю оценку 3,8 за третье учебное задание, что выше минимального балла, ориентированного на задачу. Следовательно, следующее учебное задание будет обычным заданием без поддержки или руководства. Коллега дает среднюю оценку 3,7 за четвертое, неподдерживаемое задание, что все еще немного ниже минимального балла, ориентированного на задачу. Следовательно, следующее задание снова предоставит поддержку и руководство. Асессор HK дает среднюю оценку 4,0 за пятое задание, что выше минимального балла, ориентированного на задачу. Следовательно, следующее задание является обычным заданием без поддержки. Асессор AH дает среднюю оценку 4,3 за шестое, неподдерживаемое задание, что значительно выше минимального балла, ориентированного на задачу. Следовательно, следующее учебное задание будет более сложным и частью второго класса заданий.

Этот пример показывает, что оценки, ориентированные на задачи, имеют решающее значение для выбора учебных задач с правильным количеством поддержки/руководства и на правильном уровне сложности. Поддержка уменьшается, когда результаты оценки, ориентированной на задачи, улучшаются, поддержка увеличивается, когда результаты оценки, ориентированной на задачи, ухудшаются, и поддержка прекращается, когда результаты оценки, ориентированной на задачи, превышают стандарт (см. рис. 2.3 в главе 2). Оценка, ориентированная на задачи, неподдерживаемых задач имеет решающее значение для определения желаемого уровня сложности. Учащийся переходит к следующему классу задач или уровню сложности только тогда, когда результаты оценки для неподдерживаемых задач превышают минимальный балл, ориентированный на задачи. Этот процесс повторяется до тех пор, пока учащийся успешно не выполнит обычные, неподдерживаемые задачи в самом сложном классе задач. Таким образом, он дает уникальную траекторию обучения, оптимизированную для отдельного учащегося.

Дополнительный скаффолдинг для обучения навыкам выбора задач

Выбирать учебные задачи может интеллектуальный агент (адаптивное обучение, например с использованием листа оценки портфолио) или сам обучающийся (обучение по запросу). Обучение по запросу будет эффективно только в том случае, если учащиеся уже обладают навыками самонаправленного обучения, необходимыми для выбора подходящих учебных задач. Если это не так, навыки выбора задания можно привить в процессе обучения с помощью дополнительного скаффолдинга (см. Kostons et al., 2012). Это требует совместного контроля выбора задания, когда ученик и преподаватель (система) совместно планируют оптимальную индивидуальную траекторию обучения (Corbalan et al., 2009b). Затем ответственность за выбор учебных задач постепенно переходит к учащемуся (Kicken et al., 2008).

В скаффолдинге различают встроенную поддержку задач и руководство для решения проблем (см. шаг 1 в главе 4). Такое же различие можно провести и для дополнительного скаффолдинга. Встроенная поддержка задач может, например, обеспечиваться ограничением количества учебных задач, которые может выбрать учащийся. Количество заданий, из которых может выбирать учащийся, не должно быть ни слишком малым, ни слишком большим. Этот оптимум должен увеличиваться по мере дальнейшего развития навыков самонаправленного обучения — другими словами, количество заданий на выбор и количество решений, которые нужно принять, всегда должны находиться в зоне ближайшего развития учащегося. Модель совместного управления, в которой интеллектуальный агент делает предварительный выбор подходящих учебных задач (контроль системы), а учащийся затем делает окончательный выбор (самостоятельное обучение, ср. таб. 2.1), позволяет постепенно передавать ответственность за выбор заданий от системы к учащемуся и помогает учащемуся развивать навыки самонаправленного обучения, необходимые для выбора заданий. В таблице 6.7 описаны четыре этапа образовательной программы, которая постепенно передает учащимся контроль выбора заданий, аналогичные скаффолдингу со встроенной поддержкой задач.

Таблица 6.7 Дополнительный скаффолдинг встроенной поддержки задач — постепенное увеличение количества учебных задач на выбор учащихся для развития навыков выбора заданий

Обычно встроенная поддержка задач должна быть дополнена руководством по выбору задания. Затем преподаватель или система предлагает учащемуся повторно проанализировать сделанный выбор и его результаты с учетом особенностей контекста, стандартов, требующих улучшения, объема оказанной поддержки/руководства и уровня сложности задач (Raaijmakers et al., 2017). Для того чтобы предоставлять руководство, необходимо знать результаты работы ученика, его прогресс и точки роста — вся эта информация имеется в портфолио. Поэтому руководство часто предоставляют на регулярных коуч-сессиях с учеником, на которых обсуждается портфолио. Эти коуч-сессии служат двойной цели. Во-первых, на них проводится повторная проверка предыдущих учебных задач, определяются конкретные пункты для улучшения, оценивается общий уровень успеваемости учащегося (Van den Boom et al., 2007; Van der Klink et al., 2001). Во-вторых, что не менее важно, они позволяют посмотреть вперед и выбрать будущие задания для работы над точками роста и повышения общего уровня выполнения.

Электронные портфолио, как описано в шаге 2 главы 5, могут освободить как тренера, так и обучающегося от многих административных обязанностей и расчетов. Они обеспечивают систематический обзор выполненных задач и результатов их оценивания, ориентированного на стандарты и на задания, например с помощью листа оценки портфолио. Кроме того, портфолио автоматически обнаруживают возможные расхождения в оценках, сделанных разными методами или разными асессорами (включая самооценку и оценку коллегами), и используют их в качестве исходных данных для обсуждения на коуч-сессиях. Например,когда учащиеся видят противоречия между самооценкой и сторонней оценкой, это помогает им переосмысливать и развивать свои собственные навыки самооценки, при наличии достаточной обратной связи нужного типа (см. главу 10). Таким образом, электронные портфолио помогают учащимся смотреть на себя со стороны Beckers et al., 2016). Они также позволяют им заглядывать в будущее, поскольку готовят их к будущим учебным задачам, включая информацию о стандартах, особенностях контекста, поддержке/руководстве, сложности. Это также поддерживает процесс планирования или предварительной подготовки (Lehmann et al., 2014). Поэтому коучи и учащиеся могут использовать для выбора будущих учебных задач электронные портфолио, которые лучше всего помогают улучшить конкретные аспекты эффективности, а в конечном итоге и повысить общую эффективность.

В ходе коуч-сессий следует уделять особое внимание систематическому подходу к процессу выбора задания. Модель, представленную на рисунке 2.3, или лист оценки портфолио можно рассматривать как систематический метод решения проблем, на котором может быть основан дополнительный рабочий лист учебного процесса. Этот рабочий лист или объяснения преподавателя помогают обучающемуся определить условия выбора заданий с разной степенью сложности, заданий с разной степенью поддержки и задач, позволяющих сосредоточиться на тех или иных точках роста. В принципе, руководство может иметь форму процедурных рекомендаций, предоставляющих учащимся те же алгоритмические правила, что применяются при выборе заданий с контролем системы («выбор заданий» в этом случае фактически является повторяющимся навыком). Но учащиеся будут использовать приобретенные навыки выбора задания более эффективно, если предоставить систематический метод решения проблем и общие правила выбора задания (Taminiau et al., 2013, 2015). Наконец, важно снижать объем руководства по мере развития у учащихся навыков самонаправленного обучения, постепенно уменьшая как частоту встреч с преподавателем, так и степень детализации консультаций.