15.4 Итоговая оценка частичных задач и процедурной информации

Согласно «Десяти шагам» преподавание и оценка частичных задач на уровне «может показать, как» должны быть ограничены автоматизированными повторяющимися навыками. Тогда итоговая оценка этих частичных задач будет иметь дополнительную ценность. «Десять шагов» не рекомендуют оценивать остальные типы частичных задач, а также процедурную информацию. Такие оценки нередко встречаются в существующих образовательных программах, но они страдают от тех же проблем, что и обучение, основанное на частичных, а не целостных задачах. Более подробно мы остановимся на этом в следующих подразделах.

Оценка частичных задач в «Десяти шагах»

Стандарты автоматизации повторяющихся базовых навыков, для которых в «Десяти шагах» предусмотрена частичная практика, в основном сосредоточены на точности, скорости и умении распределять время — именно они важны при итоговой оценке частичных задач. Но в образовательной практике этим часто пренебрегают. Например, когда дети в начальной школе изучают таблицу умножения, задачи типа 3 × 4 и 7 × 5 должны оцениваться в первую очередь на скорость, а не только на точность, поскольку умножение чисел меньше 10 обычно классифицируется как автоматизируемый повторяющийся базовый навык. Задачи типа 23 × 64 и 573 × 12, напротив, должны оцениваться на точность, поскольку умножение чисел больше 10 обычно классифицируется как обычный повторяющийся базовый навык. Другой пример: когда студенты- медсестры и врачи учатся проводить сердечно- легочную реанимацию, которая обычно классифицируется как автоматизируемый повторяющийся навык, их следует оценивать в первую очередь по скорости и способности распределять время (при условии, что они делают это правильно) — например, по способности следить за обстановкой и давать указания во время выполнения реанимационных мероприятий.

Отдельная оценка частичных задач, которые всегда относятся к повторяющимся навыкам, имеет некоторую дополнительную ценность по сравнению с оценкой выполнения целостных задач, потому что она может показать, когда учащийся достиг стандартов и может прекратить практиковать частичные задачи. Другими словами, итоговая оценка части задачи может быть использована в качестве начального требования к практике выполнения всей задачи. Например, медсестры и врачи, обучающиеся методу искусственного дыхания, могут быть допущены к работе в отделении неотложной помощи больницы, где они сталкиваются с критическими целостными задачами только после того, как успешно достигнут стандартов скорости и распределения времени при обучении искусственному дыханию. Однако это не означает, что автоматизированные повторяющиеся аспекты выполнения целостных задач больше не нужно оценивать! Выполнение части задачи в отдельности отличается от ее выполнения в контексте целостной задачи, поскольку последнее требует координации части задачи с другими аспектами целостной задачи. Таким образом, потребуется оценка выполнения всей задачи на уровне «может сделать», включая ее будущие автоматизированные повторяющиеся аспекты.

Избыточность оценки процедурной информации

В «Десяти шагах» процедурная информация относится к потенциально автоматизированным повторяющимся базовым навыкам, которые могут отрабатываться как части задач и как аспекты целостных задач, а также к обычным повторяющимся базовым навыкам, которые отрабатываются только как аспекты целостных задач. Для будущих автоматизированных повторяющихся базовых навыков уровни «знает» и «знает, как» не означают скорости и возможности распределения времени. Например, можно знать алгоритм умножения, но это не означает, что можно сразу дать ответ на задачу 36 × 87 — его (3132) еще нужно вычислить. Для обычных повторяющихся базовых навыков уровни «знает» и «знает, как» не означают точности. К примеру, футбольный болельщик, который смотрит игру по телевизору сидя на диване у себя дома, часто может точно объяснить, что должен сделать игрок и как это нужно сделать, но сам далеко не всегда может выполнить эти действия. Таким образом, итоговая оценка процедурной информации не имеет никакой дополнительной ценности по сравнению с оценкой выполнения всей задачи и (или) оценкой частичной практики. Хорошая оценка эффективности делает оценку процедурной информации исключительно важной. Это не означает, что формирующая оценка качества приобретенной процедурной информации не может иметь никакой ценности, например, когда возникновение ошибок можно объяснить типичными ошибками (раздел 11.3) и (или) заблуждениями (раздел 12.3).

Проблемы с оценкой неповторяющихся частичных задач

Согласно «Десяти шагам» только автоматизируемые частичные задачи отрабатываются и оцениваются отдельно. Все остальные частичные задачи отрабатываются только в исключительных случаях (см. главу 6, где частичные задачи использовались для обратной цепочки рассуждений методом снежного кома и в последовательности «целое — часть»), но даже в этом случае они не более чем ступеньки на пути к практике целостных задач и поэтому учитываются в итоговой оценке. Тем не менее во многих существующих учебных программах практика и оценка на уровне «может показать, как» происходит с помощью частичных задач, которые согласно «Десяти шагам» не могут быть классифицированы как автоматизируемые повторяющиеся. В учебных программах по медицинским профессиям, например, используются объективные структурированные клинические экзамены (Harden et al., 1975) как подход, основанный на объективном тестировании и непосредственном наблюдении за работой студентов во время запланированных клинических встреч. Такой экзамен включает тестовые станции, на которых испытуемые должны выполнить конкретные клинические задачи в течение определенного периода времени (см. рис. 15.4). Для завершения экзамена студенты проходят через ряд станций (от двух до 20), каждая из которых измеряет только определенные аспекты выполнения всей задачи. Чаще всего это запланированные клинические встречи, на которых студент взаимодействует со стандартным симулированным пациентом. Обученный наблюдатель оценивает, как учащийся составляет историю болезни, проводит физическое обследование или диагностические процедуры, консультирует пациента и т. д. В стандартизированной форме оценки или контрольном списке указаны критерии оценки и система подсчета баллов для каждой станции. Чем больше пунктов в контрольном списке отмечено как выполненные, тем выше балл.

Рис. 15.4 Объективный структурированный клинический экзамен с серией тестовых станций

У объективных структурированных клинических экзаменов есть минимум три проблемы, схожие с проблемами использования неповторяющихся частичных задач для обучения: аутентичность, контекст и вариативность. Что касается аутентичности, объективные структурированные клинические экзамены, как правило, больше сосредоточены на том, что должен сделать учащийся (формат ответа), чем на характере задачи (формат стимула). Но достоверность оценки в большей степени определяется форматом стимула, чем форматом ответа (Schuwirth & van der Vleuten, 2004). Как и хорошие учебные задачи, хорошие задачи на оценку должны быть аутентичными и основываться на реальных задачах. Классический объективный структурированный клинический экзамен в этом смысле работает плохо, поскольку он организован как ряд станций, оценивающих навыки фрагментарно (например, станция 1: осмотр брюшной полости, станция 2: общение с пациентом и т. д.) и в контексте скорее образовательном, чем профессиональном. Это далеко не соответствует реальной ситуации, которую такой экзамен должен имитировать.

Это подводит нас ко второй, смежной проблеме — к проблеме контекста. Как только что было сказано, выполнение отдельных частей задачи отличается ее выполнения в контексте — в частности, от ее выполнения вместе с другими задачами вместе с другими людьми, например, с коллегами. Предположим, что учащийся в рамках объективного структурированного клинического экзамена успешно прошел станцию 1 (осмотр брюшной полости) и станцию 2 (общение с пациентом). Означает ли это, что обучающийся умеет общаться с пациентом и способен объяснить ему, что он делает во время осмотра брюшной полости? Ответ прост – нет. Одновременное выполнение обеих задач требует координации и увеличивает сложность и, следовательно, когнитивную нагрузку. Если врачи должны это уметь (т.е. если полное задание именно такое), то задачи должны отрабатываться и оцениваться вместе. Если это не реализовано должным образом в учебной программе, может сложиться ситуация, когда студенты хорошо справляются с курсами и оценками коммуникативных навыков в школе, но не могут правильно общаться с пациентами или клиентами, когда им приходится совмещать это с другими задачами на практике.

Третья проблема, проблема вариативности, заключается в том, что выполнение учащимся только одной задачи на оценку, увы, ничего не говорит о том, сможет ли он выполнить другую аналогичную задачу на оценку. Это называется проблемой специфичности содержания, которая, как было показано, является основной проблемой объективного структурированного клинического экзамена (Petrusa, 2002). Первопричина внедрения такого экзамена, а именно повышение надежности оценки путем объективизации и стандартизации оценки, себя не оправдала. Чтобы повысить надежность оценки, следует увеличить вариативность, оценивая ряд задач, отличающихся друг от друга по тем же параметрам, по которым отличаются друг от друга реальные задачи. Например: осмотр живота с одновременным объяснением того, что вы делаете (пункты 1 и 2) родителям новорожденного, ребенку, подростку, пожилому человеку, беременной женщине, пациенту с отеками и т. д. Если вариативность практики в наборе учебных задач необходима для развития компетентности, то вариативность в наборе оценочных задач необходима для надежного измерения компетентности. Семь раз отмерь — один раз отрежь! Мы должны быть крайне осторожны с оценками по одной задаче — не только потому, что они ненадежны, но и потому, что учащиеся быстро узнают об этих оценках и начинают запоминать контрольные списки, лишая оценки смысла (Van Luijk et al., 1990). Все три проблемы, связанные с оценкой неповторяющихся частичных задач (в отличие от автоматизируемых повторяющихся задач), решаются учебным планом с целостными задачами, в котором для итогового оценивания могут использоваться неподдерживаемые/неуправляемые учебные задачи в портфолио (см. главу 5, шаг 2).