Оценка поддерживающей информации на двух нижних уровнях пирамиды Миллера предназначена для оценки стратегических и концептуальных знаний. Этот тип оценки имеет очень давнюю историю и преобладает во многих видах образования (Shumway & Harden, 2003). В основном используется письменная оценка, но она может принимать и другие формы, например устный экзамен. Можно провести различие между оценками когнитивных стратегий («Что бы вы сделали в ситуации X?») и оценками ментальных моделей («Как можно описать X?» «Как устроен X?» «Как работает X?»). Наконец, тестирование успеваемости — это подход, полностью соответствующий «Десяти шагам», поскольку он позволяет оценить рост междисциплинарных знаний на протяжении всей образовательной программы.
Для оценки когнитивных стратегий можно использовать примеры с открытыми вопросами. Используемые кейс-стади будут описывать реальные жизненные ситуации, включая всю соответствующую информацию и детали, необходимые для ответа на открытые вопросы. Вопросы могут быть такими: «Что бы вы сделали в этой ситуации?», «Почему вы поступили бы именно так?», «Существуют ли определенные эмпирические закономерности, которые могут помочь вам найти приемлемое решение в этой ситуации?», «Какие распространенные ошибки допускаются в этой ситуации?» Вопросы появляются внутри или в конце описаний кейс-стади. В целом лучше использовать много разнообразных коротких кейс-стади с ограниченным количеством вопросов, касающихся важных решений, чем одно большое кейс-стади с большим количеством вопросов. Использование большего количества кейс-стади с критическими вопросами повышает надежность и точность оценки, а различные варианты кейс-стади позволяют надежно определить, усвоил ли учащийся все, что должен был. Для всех вопросов необходимо разработать систему подсчета баллов. В идеале к выставлению оценок привлекаются несколько экспертов.
Упростить подсчет баллов может использование закрытых, а не открытых вопросов. Примерами могут служить тест ситуационных суждений и тест на соответствие ситуации. В тесте ситуационных суждений учащийся сталкивается с набором реальных сценариев, после объяснения каждого сценария дается ряд возможных реакций (обычно около пяти), учащиеся должны оценить сценарий и выбрать одну или несколько подходящих реакций. Такие тесты могут использоваться для оценки профессионального поведения (Schubert et al., 2008). Тесты на соответствие ситуации описывают аутентичные клинические ситуации, в которых учащиеся должны интерпретировать данные для принятия решений (Charlin et al., 2000), они предназначены для оценки рассуждений и принятия решений в двусмысленных и неопределенных ситуациях. Баллы определяют степень соответствия суждений учащихся суждениям группы экспертов. В медицине, например, такие тесты могут использоваться для оценки клинических рассуждений и принятия решений (Dory et al., 2012).
Для оценки ментальных моделей чаще всего используются эссе и открытые вопросы. В отличие от когнитивных стратегий, где учащихся спрашивают, как подойти к конкретной ситуации, здесь открытые вопросы, скорее, описывают явления или идеи (концептуальные модели) — как все организовано, структурировано, построено (структурные модели) или как функционируют процессы или машины (причинно- следственные модели). Таким образом, акцент делается не на оценке фактических знаний, а на знании взаимосвязей. В таблицах 7.1 и 7.2 выделены виды взаимосвязей, которые учащийся должен уметь объяснять. Также надо понимать отличия различных видов вопросов и эссе. Преимущество полных эссе и вопросов с кратким ответом, в отличие от открытых вопросов, заключается в том, что их легко комбинировать с источниками информации, что позволяет оценивать не только знание предмета, но и общие академические навыки (например, письмо, анализ, синтез, эффективное мышление). Еще один метод оценки ментальных моделей — попросить учащегося составить концептуальную карту (майнд- мэп) области знаний. Это экономичная по времени альтернатива написанию эссе или ответам на короткие вопросы, а качество концептуальных карт легче оценить (см., например, Turns et al., 2000).
При оценке ментальных моделей закрытые вопросы помогут упростить подсчет баллов, но разработать хорошие закрытые вопросы далеко не просто. Наиболее распространенный формат — тест с несколькими вариантами ответов, в котором нужно выбрать один правильный ответ из нескольких (обычно трех или четырех) возможных. Другой формат — тест с расширенными вопросами на соответствие, в котором необходимо выбрать больше правильных ответов из нескольких возможных (обычно 10–25). Две основные проблемы при разработке закрытых вопросов для оценки концептуальных знаний заключаются в том, чтобы сформулировать вопросы, показывающие не просто фактические знания, а понимание и осмысление, и сформулировать неприемлемые варианты ответов, выглядящие правдоподобно. Именно поэтому для оценки ментальных моделей не рекомендуются вопросы типа верно/неверно.
Эта форма оценки поддерживающей информации хорошо согласуется с «Десятью шагами». Впервые она была введена в контексте проблемно-ориентированного обучения (Van der Vleuten et al., 1996). Тестирование успеваемости — это комплексный тест, проверяющий знания по всем предметам или дисциплинам, отражающий итоговый уровень освоения всей учебной программы, а не только ее части (например, блока или курса). Это соответствует идее поддерживающей информации, как она определена в «Десяти шагах»: весь междисциплинарный объем знаний, позволяющий учащимся выполнять реальные задачи. Например, в инженерной программе, в которой знания по математике, мехатронике (комбинация электроники и механики), термодинамике, энергетике и материаловедению преподаются потому, что они помогают учащимся работать над инженерными проблемами (то есть учебными задачами), тест на успеваемость будет включать вопросы или пункты из всех этих областей.
Тест на успеваемость периодически проводится для всех студентов учебной программы, независимо от года обучения. Например, в четырехлетней учебной программе тест может проводиться четыре раза в год для всех студентов, что означает, что каждый студент должен пройти тест 16 раз. Для каждой оценки все студенты получают идентичный тест; таким образом, первокурсник выполняет точно такой же тест, как и студент четвертого курса. Для каждого нового теста предметы выбираются случайным образом из очень большого пула предметов. Для одного учащегося минимальный балл может составлять, например, 6% для первого теста, 12% для второго, 18% для третьего, 24% для четвертого (в конце первого года обучения) и так далее до 96% для шестнадцатого, заключительного теста. Таким образом, результаты тестирования успеваемости показывают рост знаний на протяжении всей четырехлетней учебной программы — так же, как портфолио показывает рост сложных навыков или компетенций. В идеале точки роста, которые показывает портфолио, могут быть связаны с результатами тестов, что означает, что недостатки студента в работе связаны с недостатком знаний по одному или нескольким предметам, и ему можно посоветовать пересдать или продолжить изучение этих предметов. Формат тестирования успеваемости имеет и ряд других преимуществ по сравнению с традиционными финальными тестами. Например, это не позволяет специально подготовиться к тесту, тем самым предотвращая запоминание и поверхностное обучение (подробнее см. в Wrigley et al., 2012).