Тестирование умений и навыков: основные принципы Дуглас Уилмс



Скачать 122.02 Kb.
Дата30.04.2016
Размер122.02 Kb.
Тестирование умений и навыков: основные принципы
Дуглас Уилмс, профессор университета Британская Колумбия, Канада

Успех тестирования (а оно, как известно, все больше применяется в процессе обучения) в значительной степени зависит как от различного рода обстоятельств, так и от принципов его использования. Тесты могут и направить и отвлечь внимание учащихся от цели обучения, побудить их сосредоточиться на ограниченных аспектах содержания курса или привлечь внимание к важным сферам, дать надежную информацию или, напротив, снабдить информацией искаженной.

Следующие принципы тестирования умений и навыков дадут нам твердую основу для создания тестов и их эффективного использования.

Первое: надо четко определить результаты, соответствующие целям обучения

Тесты могут быть предназначены для того, чтобы оценить ряд результатов обучения, таких, как знание специфических фактов, терминов, понимание концепций и принципов, умение применять их. Целью тестирования может быть и определение умственных способностей. В любом случае, прежде чем составить тесты, наметим и четко определим, какие знания должны быть оценены. Они, в свою очередь, должны логически вытекать из целей и задач всего курса обучения.

Последовательность наших шагов в этом направлении такова:

1. Установить цели курса обучения.

2. Конкретизировать эти цели (например, учащийся должен понимать значение общих терминов).

3. Для каждой цели определить точные результаты, которые надо получить как доказательство, того, что цель достигнута. Это дается в виде заданий. Например, ученик должен уметь:

а) дать определение терминов своими словами;

и) различать основные термины;

в) эффективно использовать термины в самостоятельных предложениях.

Задания должны быть четкими. Если мы хотим, чтобы учащиеся смогли "дать определение термина своими словами", мы просто даем им термины и просим написать их определения. Тест оценивает конкретные знания учащегося в конце процесса обучения, и для того, чтобы он был наиболее полезен, эти результаты должны быть четко определены и должны верно отражать цели курса обучения. Поэтому поговорим о том, как формулировать конкретные цели.

Второе: тесты должны оценивать характерные образцы учебных задач

Тестирование - это всегда проблема выбора. Мы никогда не можем задать все вопросы, которые хотели бы. В конце процесса обучения имеются сотни фактов и терминов, которые, по нашему мнению, должны знать учащиеся, но из-за ограниченного времени и других причин мы можем включить в тест только их малую часть. Или мы можем изучить тему, содержащую принципы, имеющие многочисленное применение в конкретных ситуациях, но вот оценить только некоторое количество этих применений.

Таким образом, в тесты почти всегда включено ограниченное количество заданий, и задача составителя использовать системный подход для подбора таких заданий, которые бы адекватно отражали знания учащихся в той или иной сфере.

Подбор характерных образцов заданий может быть проиллюстрирован простым примером. Предположим, что учащемуся надо дать определение сотне новых терминов. Но из-за ограниченного времени мы можем включить в тест только 20 пунктов. Репрезентативный подбор этих терминов может быть получен следующим образом: распределить 100 слов в алфавитном порядке и выбрать каждое пятое слово. Такой отбор даст нам возможность сделать обобщение о знаниях учащегося. Мы можем предположить, что ученик, правильно определивший 90 процентов слов в тесте из 20 пунктов, вероятно, сможет дать определение и 20 процентам из тех 100 слов, из которых были выбраны образцы.

Конечно, методика подбора репрезентативных образцов заданий обычно значительно сложнее, чем наш простой пример. Поскольку тесты обычно составляются так, чтобы определить разнообразные знания, требуются более тщательно разработанные инструкции.

Третье: Тесты должны включать виды заданий, которые наиболее подходят для определения требуемых знаний.

Знания курса или темы определяется заданиями, которые мы принимаем как доказательство того, что цели обучения достигнуты. Ключом эффективного тестирования является подбор наиболее подходящих заданий, настолько тщательное их составление, чтобы выявить необходимый ответ, исключив влияние не относящихся к делу факторов. Это идеальная ситуация, и в классном тестировании мы можем только к ней стремиться. Основная классификация теста умений и навыков следующая:

А. Задание-ответ (ученик дает ответы).

1. Школьное сочинение - подробный ответ.

2. Школьное сочинение - ответ на узкую тему.

3. Краткий ответ (слово или фраза).

4. Заполнение (заполнить пропуски).

Б. Задание-выбор (Ученик выбирает ответ).

1. Верный - неверный (или альтернативный ответ).

2. Соответствие.

3. Множественный выбор. Наибольшую трудность представляют ответы на вопрос в виде школьных сочинений. Такой тип задания (например, "опишите роль оценки в преподавании") и дает учащемуся почти неограниченную свободу в подборе информации, в организации ответа и оценке идей. Следовательно, ответ в виде школьного сочинения может быть полезен для определения общих знаний, как "способность подбирать подходящий материал, организовать и оценить идеи", но мало что дает для оценки точных ответов. Он не подходит для определения знаний конкретных фактов, так как из-за свободы выбора их может и не быть в ответе. Для оценки специфических знаний следует использовать тест с более сложной структурой.

Сочинение на узкую тему более конкретно, ограничено в объеме и организации ответа. Оно полезно для понимания специфических фактов, но не подходит при оценке "способности организовать идеи".

Остальные задания-ответы, еще сильнее ограничивая ученика, не дают полной оценки знаний.

А вот задание-выбор может быть использовано для оценки разных знаний, от простых до сложных. Задание "правильно-неправильно" состоит из утверждений, касающихся фактов, принципов, законов, анкет и интерпретаций; ученику нужно отметить, верно или неверно то или иное утверждение. Упражнения на соответствие представляют ряд посылок и ответов, которые должны соответствовать друг другу. Это могут быть термины и определения, правила и примеры. Задания множественного выбора - обычно проблема или вопрос и несколько альтернативных решений, из которых надо выбрать правильный ответ. Несмотря на специфическую природу каждого из упражнений, учащиеся могут дать на них только ограниченные ответы. Они должны определить верное и неверное предположение, подобрать соответствующему правилу правильный пример или из множества вероятных решений проблемы выбрать наиболее точное. При этом они не могут дать свое определение проблемы или частично правильные ответы, не имеют возможности продемонстрировать знания, не относящиеся к заданию.

Таким образом, чем больше контроля в заданиях выбора, тем вероятнее, что ответы на задания будут соответствовать результатам обучения, которые должны быть оценены.

Четвертое: Тесты должны соответствовать требованиям к результатам

Как было сказано выше, тестирование может проводиться с разными целями. Оно может быть использовано для оценки:

1) уровня знаний в начале обучения (установочный тест);

2) усвоения знаний в течение обучения (учебный тест);

3) трудностей обучения и их причин (диагностический тест) или

4) тест умений и навыков в конце обучения (итоговый тест).

Первичный тест предназначен для определения требуемых знаний, имеет небольшой уровень трудности. Он может затрагивать минимум необходимых знаний или умений. Например, тест на сложение может быть дан перед изучением темы умножения, или тест об основных статистических методах может быть дан в начале изучения методики исследования. Такой тест составлен для того, чтобы определить, какие необходимые знания уже имеются у учащегося. Фактически, он не отличается от итогового теста в конце обучения.

Учебный тест используется для мониторинга учебного процесса, он затрагивает раздел, тему или главу и пытается определить все важные результаты этого раздела. Особое значение придается владению техникой оценивания и обеспечению обратной связи с учащимися. Следовательно, учебный тест состоит из обширного ряда специфических заданий, касающихся ограниченного раздела обучения. Так как это обучающие тесты, их уровень трудности обычно ниже, чем у итоговых тестов, которые даются в конце обучения.

Диагностический тест содержит относительно большее количество заданий для каждой области, которая тестируется. Так как назначение этих тестов - точно указать трудности в обучении, внимание фокусируется на ответах учащихся на специальные вопросы или группу вопросов и общий результат менее важен. Тест обычно сосредоточивается на общих ошибках, которые делают, а не пытается широко представить результаты обучения. В тесте по употреблению грамматики, например, серия упражнений на употребление глаголов lie или lay может быть использована, чтобы определить характерные ситуации, которые вызывают у учащихся трудности. Так как эти тесты составляются для тех, у кого есть проблемы в обучении, у них небольшой уровень трудности.

Итоговый тест (или обобщающий) создается для того, чтобы оценить широкую область знаний, предполагаемую в конце обучения. Исчерпывающий и репрезентативный отбор - важная черта этого теста, так как результаты используются для назначения класса или сертификата мастерства. Для того, чтобы адекватно определить знания, итоговый тест обычно содержит задания, уровень трудности который выше, чем в других тестах.

Принципы и методика составления теста одинаковы для разных типов тестов, но отбор материала и уровень трудности должны видоизменяться в зависимости от назначения теста.

Пятое: Тесты должны соответствовать задачам обучения

Все оценки теста содержат некоторую погрешность (из-за разнообразия факторов, таких как условия тестирования или ответы студентов), но погрешность можно значительно уменьшить правильным составлением теста. Вообще, чем длиннее тест, тем выше его достоверность. Более длинные тесты дают более адекватные результаты для оценки и тщательно составленные задания дают более точную картину выполнения теста.

Если задача тестирования, скажем, в том, чтобы распределить учащихся по уровню знаний, то большая достоверность может быть получена составлением теста с большим количеством заданий 50% уровня трудности (50% учащихся дают правильные ответы), и тем, как различаются задания по высокому и низкому уровню знаний. Методика определения уровня сложности будет описана ниже. Здесь только заметим, что для достоверного распределения учащихся по уровню знаний необходим обширный круг вопросов и заданий.

Если цель тестирования - выявить, какое задание ученик может или не может выполнить то в таком случае баллы за выполнение тестовых заданий не играют существенной роли. Для получения нужных результатов нам необходимо иметь четкое соответствие заданий теста основным задачам обучения, использовать по каждой теме достаточное количество заданий.

Шестое: Тесты должны помогать в учении.

Тесты могут влиять на обучение, и давать информацию об эффективности преподавания. Они имеют положительное влияние, если верно отражают цели обучения, адекватно оценивают пройденный материал, адаптированы к соответствующим требованиям и, наконец, если составлены так, что дают нам достоверные результаты.

Необходимо словом и делом довести до учащихся, что основная цель тестирования - это улучшить их обучение. Поэтому еще до того, как мы запустим помеченные тесты в дело, необходимо точно определить их взаимосвязь с целями обучения, путем обратной связи с учащимися установить, что необходимо скорректировать тесты как полезный инструмент.

Седьмое: Рекомендации стандарта и критериев тестирования

Тесты умений и навыков используются для:

1) распределения учащихся по уровню знаний;

2) определения тех задач, которые ученик может или не может выполнить.

Результаты теста первого типа определяют положение учащегося в классе по отношению к другим (например: "Он третий из 35 учащихся"). Этот метод интерпретации выполнения теста называется рекомендацией стандарта.

Результаты теста второго вида выражаются языком специфических знаний и умений, которые каждый ученик может демонстрировать (например: "Он может определить все части микроскопа и продемонстрировать, как они используются"). Этот метод интерпретирования результатов теста называется рекомендацией критериев тестирования. Оба метода необходимы. Первый показывает нам как каждый тест соотносится с другими. Второй определяет, что может делать каждый человек без сравнения с другими.

Строго говоря, термины стандарта и критериев тестирования относятся только к методу интерпритирования результатов теста. Следовательно, оба метода интепретирования могут быть применены к одному и тому же тесту. Например, мы можем сказать: "Джоан превзошла 90% учащихся (интерпретация стандартов тестирования), правильно выполнив 20 из 25 химических уравнений" (интерпретация критериев). Оба метода интерпретации, вероятно, важны, однако тест может быть создан и для какого-нибудь одного из методов.

Обычно при определении стандарта используются тесты с большим количеством заданий, чтобы можно было распределить учащихся по уровню знаний. В таких тестах предпочтение отдается более трудным заданиям. С другой стороны, при определении критериев в тест включаются задания, которые имеют отношение к результатам обучения, степень его сложности значения не имеет.

В таблице дано краткое изложение общих характеристик тестов, которые непосредственно созданы для какого-нибудь из методов интерпретации. Надо помнить, однако, что здесь дело в том, чему именно придается значение. Например, тесты стандартов обычно используются, не только для определения результатов обучения. Так же как тесты критериев обычно используются, не только для определения знаний. Обзор характеристик каждого вида тестов в таблице 1 показывает существующие отличия.



Таблица 1

Краткий анализ двух основных подходов к тестированию умений и навыков



Восьмое: Тесты должны быть обоснованными и надежными

Обоснованность относится к назначению результатов теста, а надежность - к его постоянству, обе концепции важны.

Рассмотрим два важных качества, необходимые при составлении и использовании тестов.

Методы определения обоснованности. В очень широком смысле, обоснованность касается степени использования результатов тестов. Например, результаты теста могут быть использованы для определения знаний, которые индивидуум может демонстрировать или предсказать чей-то возможный успех в будущей деятельности. Вопросы обоснованности в первую очередь касаются тех заданий, которые оцениваются тестом и, во вторую очередь, как тесно баллы тестов соотносятся с другими оценками. Таким образом, "вопросы обоснованности - это вопросы выводов" (Американская ассоциация Психологов, 1974).

Концепция обоснованности, исследуемая в тестировании, может быть подразделена на следующие пункты:

1. Обоснованность по отношению интерпретации результатов теста (не самого теста).

2. Обоснованность, заключенная из имеющихся доказательств (не оценки).

3. Обоснованность, характерная для конкретного использования (выбор, место, оценка обучения и т.д.)

4. Обоснованность, выраженная степенью (например, высокая, средняя, низкая).

Стандартная и широко применяемая система (Американская Ассоциация Психологов, 1974) подразделяет обоснованность на следующие основные типы:

1) обоснованность содержания;

2) обоснованность критериев (предварительных и сопутствующих);

3) обоснованность составления.

В таблице 2 дано описание каждого типа.


Таблица 2

Основные типы обоснованности



Методы определения надежности. Надежность относится к постоянству результатов теста, то есть насколько постоянна одна оценка по отношению к другой. Так как при оценке всегда есть некоторая погрешность, то в выполнении тестов может быть определенное количество вариаций. Мера надежности дает оценку изменениям при разных условиях. Надежность теста обычно определяется коэффициентом надежности или стандартной погрешностью оценки. Так как и в том, и в другом методах при оценке надежности имеется непостоянство результатов, данная методика полезна с тестами-стандартами.

Мы можем, например, провести один и тот же тест дважды в группе с интервалом во времени (метод тестирования и ретестирования), провести две эквивалентные формы теста в близкой последовательности (метод эквивалентных форм), провести две эквивалентные формы теста с интервалом во времени (тестирование - ретестирование с методом эквивалентных форм) или один раз провести тест и подсчитать постоянство ответов в тесте (метод внутреннего постоянства). Каждый из этих методов определения надежности дает разную информацию (Американская Ассоциация Психологов, 1974), следовательно, коэффициенты надежности, полученные ими, неравнозначны. Прежде, чем решить, какие методы использовать, мы должны определить, какой вид надежности нам нужен. Четыре основных метода оценки надежности и тип информации, который каждый из них дает, показаны на таблице 3.
Таблица 3



Примечание: Надежность оценки должна также рассматриваться при оценивании заданий. Это обычно делается двумя преподавателями, и затем сравниваются две оценки. Соглашение между преподавателями, однако, не может заменить методы оценки надежности, показанные в таблице.

© Журнал «Директор школы», №6, 1994


База данных защищена авторским правом ©refedu.ru 2016
обратиться к администрации

    Главная страница