5.5 Оценки эффективности

Цели обучения определяют, помимо прочего, стандарты приемлемой эффективности, которые состоят из соответствующих критериев, ценностей и установок. Эти стандарты необходимы, поскольку они дают учащимся информацию о желаемых результатах работы на выходе и, в сравнении с фактическими результатами, о реальном качестве их выполнения учебных задач (Fastré et al., 2010; Hambleton et al., 2000). «Десять шагов» в первую очередь ориентированы на оценку выполнения целостных задач, а не на оценку приобретенных знаний и частичных задач, поскольку учащиеся в первую очередь учатся выполнять эти целостные задачи (то есть первый компонент модели), а приобретают знания и выполняют частичные задачи только потому, что это помогает им улучшить выполнение целостных задач. Более того, основное внимание в «Десяти шагах» уделяется формирующему оцениванию, главной целью которого является повышение качества обучения, поскольку обучение важнее, чем успеваемость как таковая. Таким образом, в этом разделе базовые навыки или аспекты работы, которые пока не соответствуют стандартам, рассматриваются не как недостатки, а как точки роста учащегося. В главе 15 будет подробно описана программная оценка образовательных программ, основанных на «Десяти шагах», включая итоговую оценку знаний и частичных задач.

Рубрикатор

Стандарты для оценки результатов обучения обычно включаются в оценочные формы или рубрикаторы, в которых указаны все аспекты или базовые навыки, подлежащие оценке, стандарты приемлемого выполнения этих навыков и шкала значений для оценки каждого стандарта (Fastré et al., 2013, 2014). Кроме того, рубрикаторы могут включать определения и примеры для разъяснения значения конкретных базовых навыков и стандартов. В таблице 5.3 приведен пример некоторых рубрикаторов, содержащих неповторяющиеся, повторяющиеся и подлежащие автоматизации повторяющиеся аспекты работы. Все это — базовые навыки сложного навыка «создание видеоконтента» (рис. 5.1)

Таблица 5.3 Пример частичной оценки сложного навыка «производство видеоконтента».

Для неповторяющихся аспектов деятельности, таких как «Работа с актёрами/выступающими на камеру», стандарты будут принимать форму критериев, значений и установок. Если критерии относятся к минимальным требованиям, которые либо выполняются, либо нет («да/нет»), то для ценностей и установок обычно требуется шкала значений (например, «недостаточно», «почти достаточно», «едва достаточно», «вполне достаточно», «отлично»). Каждый пункт шкалы должен быть четко обозначен и прописан. Следует придерживаться двух правил:

Избегайте шкал, содержащих более шести пунктов, поскольку такие шкалы создают ложное ощущение точности, хотя экспертам трудно принимать такие тонкие оценочные решения.

Используйте столько пунктов, сколько необходимо для адекватного охвата диапазона, который нужно определить. В зависимости от критерия это может быть диапазон от «очень плохого» до «отличного» или просто умение либо неумение выполнять задачу. Для повторяющихся аспектов обучения стандарты должны быть относительно жесткими. В отличие от качества неповторяющихся аспектов, точность повторяющихся аспектов можно оценивать как «правильно» или «неправильно» — либо соответствующую определенным правилам, либо нет. Хорошо продуманные рубрикаторы учитывают все аспекты работы и обычно включают более одного стандарта для каждого аспекта или базового навыка (Baartman et al., 2006).

В дополнение к рубрикатору, как правило, следует использовать описательные отчеты («Пожалуйста, поясните свой ответ» в таб. 5.3). Качественная описательная информация имеет большой вес, она часто больше объясняет и ценится учащимися выше, чем простые числовые оценки (Govaerts et al., 2005). Например, совершенно ясно, что оценка навыка консультирования «неудовлетворительно» должна вызывать у обучающегося определенное беспокойство, но она ничего не говорит о том, что на самом деле сделал обучающийся и что ему нужно улучшить в будущем. Таким образом, для эффективного формирующего оценивания часто требуется описательная информация, которая по возможности должна быть добавлена к количественным оценкам.

Мониторинг прогресса

Рубрикатор может использоваться не только для оценки выполнения одной учебной задачи, но и, что более важно, для мониторинга прогресса выполнения учебных задач. Важно отметить, что для оценки всех учебных задач в рамках образовательной программы необходимо использовать один постоянный набор стандартов и, соответственно, одни и те же рубрикаторы. В начале работы над первой задачей учащийся пытается достичь соответствующих стандартов для самых простых вариантов задач при достаточной поддержке и руководстве. В конце работы над первой задачей учащийся должен уметь выполнять простейшие варианты без поддержки и руководства и в соответствии со стандартами. Так продолжается до начала работы над финальной задачей, где учащийся пытается достичь тех же стандартов для самых сложных версий задач с достаточной поддержкой и руководством. В конце он должен выполнять самые сложные версии задач без поддержки и по тем же стандартам.

Таким образом, в ходе обучения меняется не уровень стандартов, а сложность учебных задач и степень поддержки и руководства, предоставляемых учащимся для выполнения этих задач. Должен быть достигнут один конкретный стандарт — сначала для простых задач с поддержкой, а затем для все более сложных задач без поддержки. Сам стандарт остается неизменным. Это создает два важных преимущества:

Учащихся можно познакомить со всеми стандартами с самого начала программы, что дает хорошее представление о конечном уровне успеваемости, которого они должны достичь в конце программы. Таким образом, обучающиеся знают, к чему стремиться.

Это гарантирует, что оценки основаны на широком и разнообразном образце учебных заданий, что важно для получения надежных оценок. «Одна мера производительности не является мерой производительности», и большинство исследований приходят к выводу, что надежные оценки производительности требуют не менее 8–10 заданий (Kogan et al., 2009).

Рисунок 5.5 представляет собой матрицу стандартов-задач в виде схематического представления собранных оценок. В столбцах указаны учебные задачи, а X указывает, по каким стандартам оцениваются задачи. Многие из задач будут содержать поддержку и руководство, но в конце каждого класса задач или уровня сложности будут также неподдерживаемые задачи (на рисунке 5.5 T3, T7 и T10). В строках указаны стандарты производительности. Иерархический порядок стандартов следует иерархии навыков (на рисунке 5.5 указано четыре иерархических уровня, но их может быть больше). Матрица стандартов-задач иллюстрирует три принципа: (a) различие между оценкой, ориентированной на стандарты и на задачи, (б) увеличение числа соответствующих стандартов, когда задачи становятся более сложными, и (в) возможность уравновесить увеличение числа соответствующих стандартов позже в целях обучения или подготовки путем оценки на более глобальном уровне.

Оценка, ориентированная на стандарт, фокусируется на одном конкретном стандарте: она дает информацию о том, как учащийся справляется и развивается по заданиям по одному конкретному аспекту производительности. Она отражает освоение учащимся отдельных аспектов производительности и дает особенно важную информацию для определения точек для улучшения. Напротив, оценка, ориентированная на задачи, учитывает все стандарты: она дает информацию о том, как учащийся справляется в целом и как общая производительность развивается по заданиям (Sluijsmans et al., 2008). Таким образом, она отражает освоение учащимся всего сложного навыка и больше подходит для принятия решений о прогрессе, например, готов ли учащийся перейти к следующему, более сложному классу заданий. Использование оценок, ориентированных на задачи и стандарт, для выбора новых учебных заданий является частью шага 3 из «Десяти шагов» и будет более подробно обсуждаться в следующей главе (раздел 6.5, «Индивидуализированные траектории обучения»).

Во-вторых, на рисунке 5.5 показано, что количество соответствующих стандартов увеличивается, когда задачи становятся более сложными. В последних столбцах больше крестиков, чем в первых. Хотя существует постоянный набор стандартов, это не означает, что каждую отдельную учебную задачу можно оценить на основе одного и того же набора стандартов. Не все стандарты актуальны для всех задач; для более сложных задач часто будет актуально больше стандартов. Например, составляющие навыки сложного навыка «создание композиции» включают «выбор объективов», «освещение сцены» и «управление камерой и оборудованием» (см. рис. 5.1). Каждый составной навык имеет свои цели и стандарты производительности. Однако предположим, что учащиеся снимают видео только с помощью смартфонов или видеокамер в первом классе задач. В этом случае стандарты для «выбора объективов» здесь неактуальны, потому что эти камеры не имеют сменных объективов. Все больше и больше стандартов будут становиться актуальными по мере того, как учащиеся продвигаются вперед и задачи становятся более сложными.

Рис. 5.5 Матрица «стандарты-задачи» для мониторинга процесса обучения.

Наконец, цели производительности и связанные с ними стандарты иерархически упорядочены в соответствии с иерархией навыков, что позволяет изменять уровень детализации оценок. Например, на рисунке 5.6 изображена часть стандартов для «производства видеоконтента», упорядоченных в соответствии с соответствующей иерархией навыков. Оценщики используют стандарты, связанные с составляющими навыками, находящимися высоко в иерархии, для оценки производительности на глобальном уровне, стандарты, расположенные ниже в иерархии, для оценки производительности на промежуточном уровне и стандарты на самом низком уровне иерархии для оценки производительности на очень подробном уровне (ср. иерархические уровни стандартов в левой части рисунка 5.5). Например, для глобальной оценки рассматриваются только стандарты на уровне составляющих навыков «создание производственного плана», «производство отснятого материала» и «создание конечного продукта». Оценка среднего уровня учитывает стандарты, которые являются частью целей производительности для составляющих навыков ниже в иерархии: в дополнение к стандартам для «производства отснятого материала», например, стандарты для «взаимодействия с людьми, которых снимают», «сотрудничества с командой» и «съемки видео» также принимаются во внимание (например, создание дружественной атмосферы [значение], четкое общение с командой [критерий], подгонка композиции [значение] и т. д.). Для высокодетализированной оценки также принимаются во внимание стандарты, которые являются частью целей производительности на самых низких уровнях иерархии: в дополнение к стандартам для «съемки видео», например, также принимаются во внимание стандарты для «создания композиции» и «выбора объективов» (например, следование общепринятым правилам кадрирования, таким как правило третей [значение]; а свойства выбранного объектива, такие как диафрагма или выдержка, соответствуют художественным требованиям [критерий]). В целом, очень подробные оценки будут ограничены теми составляющими навыками, которые еще не освоены учащимися или для которых учащимся еще предстоит улучшить свои результаты. Это позволяет уравновесить тот факт, что все больше и больше стандартов становятся актуальными позже по мере продвижения обучения: стандарты, которых учащиеся уже достигли, затем оцениваются только глобально.

Рис. 5.6 Уровень детализации оценок, связанных с иерархией базовых навыков, с соответствующими им целями и стандартами эффективности.

Портфолио развития

Портфолио развития предоставляют прекрасные возможности для реализации только что изложенных принципов (Kicken et al., 2009a, 2009b; Van Merriënboer & van der Vleuten, 2012). Кроме того, электронные портфолио развития (Beckers et al., 2019; Beckers et al., 2016, 2019) могут брать на себя административные обязанности и вычислительные задачи для предоставления обзоров и резюме, давать оценки, ориентированные на стандарты и задачи, переключаться на более глобальные оценки, когда учащийся достигает определенных стандартов, и т. д. Портфолио развития включает в себя рубрикатор для оценки успеваемости учащегося по (как поддерживаемым, так и неподдерживаемым) учебным задачам. Оценщик может выбирать соответствующие аспекты успеваемости для каждой задачи, например, из иерархического списка с глобальными целями наверху и более подробными целями ниже в иерархии. В портфолио каждая цель включает рубрикатор (т. е. критерии, ценности, установки) для приемлемой производительности и соответствующие рубрики оценки, позволяющие оценщику оценить рассматриваемый аспект производительности. Этот процесс повторяется для всех соответствующих аспектов оцениваемой учебной задачи, а если оценивается несколько задач, то для всех задач. Для повышения информативной ценности портфолио рубрикатор должен включать как количественные оценки конкретных аспектов производительности, так и повествовательные отчеты. Оценщик может предоставить эти отчеты в отдельном текстовом поле и может включать мультимедийную информацию, такую ​​как устные сообщения, фотографии и видеофрагменты, загруженные в портфолио. Здесь также следует использовать одно и то же портфолио развития с теми же рубрикатором и теми же стандартами, чтобы учащиеся были ознакомлены со всеми соответствующими стандартами с самого начала. Хотя учащиеся не будут оцениваться по всем стандартам сразу, окончательные уровни достижений программы сообщаются с самого начала, помогая учащимся работать над ними.

Например, на рисунке 5.7 представлен снимок экрана электронного портфолио развития, используемого для студентов-парикмахеров (STEPP — Structured Task Evaluation and Planning Portfolio; Kicken et al., 2009a, 2009b). После каждого учебного задания — как правило, укладки волос клиента или реалистичной модели — оценщик обновляет портфолио развития с помощью электронного устройства. При желании они обновляют портфолио после нескольких заданий. Портфолио описывает каждую выполненную задачу с точки зрения ее сложности, определяемой классом задач, к которому она принадлежит, и ее уровнем поддержки и руководства. Это может варьироваться от самостоятельно выполненных задач, задач, выполненных частично работодателем или тренером и частично учеником, или даже задач, выполненных более опытным студентом или тренером и только наблюдаемых учеником (т. е. пример моделирования). Оценщик также может загружать цифровые фотографии прически клиента до и после лечения. Для оценки эффективности выполненного задания оценщик выбирает в левой части экрана составляющие навыки, соответствующие выполненному заданию (см. левую часть рисунка 5.7).

Рис. 5.7 Скриншот электронного портфолио развития для студентов-парикмахеров.

Базовые навыки сложного навыка «укладка волос» иерархически упорядочены и включают, например, мытье и мытье шампунем, стрижку, перманентную завивку и окраску, а также общение с клиентами, продажу средств по уходу за волосами, работу с кассовым аппаратом, запись на прием и т. д. Щелчок правой кнопкой мыши по выбранному базовому навыку показывает цель производительности для этого навыка, включая стандарты приемлемой производительности (т. е. критерии, ценности, установки). Оценщик выбирает соответствующий аспект на желаемом уровне детализации, щелкая левой кнопкой мыши, открывая оценочную шкалу для этого аспекта в правой части экрана. Это также позволяет сначала оценить глобальные аспекты и только при желании разворачивать их для оценки более конкретных аспектов, пока не будет достигнут самый высокий уровень детализации (т. е. самый низкий уровень иерархии). Это дает возможность использовать высокий уровень детализации для оценки новых или проблемных аспектов выполненной задачи и одновременно использовать более глобальный уровень для оценки уже освоенных аспектов задачи. На выбранном уровне детализации оценщик заполняет оценочную шкалу, время, потраченное на этот аспект производительности, и в отдельном текстовом поле баллы за улучшение. Этот процесс повторяется для всех аспектов, относящихся к оцениваемой учебной задаче, и если оценивается более одной задачи, он повторяется для всех задач. В следующей главе будет обсуждаться использование портфолио для индивидуализации последовательности учебных задач. В этом случае несколько оценщиков могут обновлять портфолио: учитель, сам учащийся (самооценка), коллеги (оценка коллег), а также работодатель, клиенты и другие заинтересованные стороны.

5.6 Резюме

Если вы устанавливаете цели производительности, то вам нужно начать с общей цели обучения и сначала описать все соответствующие составляющие навыки и их отношения в иерархии навыков.

Если вы создаете иерархию навыков, то вам нужно различать вертикальные отношения, где навыки ниже в иерархии обеспечивают или являются предпосылкой для навыков выше в иерархии, и горизонтальные отношения, где смежные навыки упорядочены по времени.

Если вы указываете цель производительности для составного навыка, то вам нужно четко указать, что учащиеся могут делать после обучения (глагол действия), при каких условиях они могут это делать, какие инструменты и предметы они должны использовать и какие стандарты применяются для приемлемой производительности.

Если вы указываете стандарты приемлемой производительности, то вам нужно провести различие между критериями, которые должны быть соблюдены (например, минимальные требования к скорости и точности), ценностями, которые должны быть приняты во внимание (например, выполнение определенных правил, соглашений и положений), и отношением, которые должен демонстрировать исполнитель задания (например, дружелюбие, готовность помочь).

Если вы классифицируете цели производительности, то вам нужно провести различие между неповторяющимися составляющими навыками (включая решение проблем, рассуждение и принятие решений), повторяющимися составляющими навыками (включая применение правил или использование процедур) и навыками, которые являются как неповторяющимися, так и повторяющимися (распознавание того, когда правила/процедуры не работают для переключения в режим решения проблем, рассуждения и принятия решений).

Если вы классифицируете цели производительности как повторяющиеся, то вы должны далее различать не подлежащие автоматизации составляющие навыки (требующие представления процедурной информации) и подлежащие автоматизации составляющие навыки (также требующие частичной практики выполнения задач). Осуществимость является важным соображением, поскольку достижение полной автоматичности часто является чрезвычайно трудоемким процессом.

Если вы разрабатываете оценки производительности, то вам нужно построить рубрикатор для всех аспектов производительности, включая описания стандартов и шкалы, которые позволяют оценщику оценивать их. Добавление повествовательной информации к оценкам будет очень полезным для учащихся.

Если вы используете оценки производительности для мониторинга прогресса учащихся, то вам следует применять постоянный набор стандартов, различать оценки, ориентированные на стандарты и задачи, и различать уровни оценки от узкоспециализированных до глобальных. Полезные инструменты для этого – электронные портфолио развития.

Ключевые понятия

Автоматизированные повторяющиеся базовые навыки; базовый навык; базовый навык с двойной классификацией; иерархия навыков; карта компетенций; конечная цель; неповторяющийся базовый навык; оценка, ориентированная на задачу; оценка, ориентированная на стандарт; оценка производительности; повторяющийся базовый навык; портфолио; разложение навыка; рубрикатор; стандарты; формирующая оценка; цель производительности.