Тестовые технологии в образовании - Основные понятия. Терминология. 2. Классификация тестов 3. Нормативно-ориентированнное и критериально ...
←
→
Транскрипция содержимого страницы
Если ваш браузер не отображает страницу правильно, пожалуйста, читайте содержимое страницы ниже
Тестовые технологии в образовании УГАТУ 1. Основные понятия. Терминология. 2. Классификация тестов 3. Нормативно-ориентированнное и критериально – ориентированное тестирование
Функции педагогического контроля УГАТУ
• Контролирующая
• Обучающая (потребности практиков. АОС –
автоматизированные обучающие системы)
• Мотивирующая
• Развивающая (формирует умения и навыки применять
знания, развивает память и мышление)
• Диагностическая (выявление пробелов. Три уровня
усвоения содержания – воспроизведение знаний,
использование знаний в знакомой ситуации по образцу,
применение знаний в незнакомой ситуации)
• Прогностическая
Уфа 15 апреля 2009 Тестовые технологии в образовании 2Надежность теста УГАТУ
Надежность – это
• точность оценки с помощью данного теста;
• согласованность результатов, полученных при
каждом повторном выполнении теста одним и тем же
испытуемым;
• устойчивость результатов к действию посторонних
факторов.
Абсолютной тестовой надежности не существует,
погрешности допускаются, однако чем они выше, тем
ниже эффективность теста.
Уфа 15 апреля 2009 Тестовые технологии в образовании 3Надежность теста УГАТУ
Надежность можно проверить следующими методами:
• тест-ретестовая надежность подразумевает многократное
выполнение одного теста и корреляционное сравнение
полученных результатов.
• разделенная надежность определяется при делении теста на
две части и сравнение результатов выполнения двух частей по
отдельности (рассмотрим в теме «шкалирование результатов»)
• эквивалентная надежность выявляется путем предъявления
испытуемому теста и его альтернативного варианта.
Полученные результаты также сравниваются между собой.
Количественно надежность изменяется от 0 до 1
Уфа 15 апреля 2009 Тестовые технологии в образовании 4Валидность УГАТУ
Валидность (псих.словарь) – степень соответствия
теста своему назначению измерять то, для чего он
создан; действительной способности теста измерять
ту характеристику, для диагностики которой он
заявлен.
Количественно валидность теста может выражаться
через корреляции результатов, полученных с его
помощью, с другими показателями.
Высокая корреляция результатов будет означать
высокую валидность — значит, новый тест
действительно измеряет заявленную характеристику
Уфа 15 апреля 2009 Тестовые технологии в образовании 5Виды валидности УГАТУ
• очевидная валидность (face validity). Такую
валидность видно, что говорится, "невооруженным
глазом" — оценивается общее соответствие теста
его назначению.
• концептуальная валидность (construct validity).
Степень соответствия теста, измеряющего какое-
либо свойство, общепринятым теоретическим
представлениям об этом свойстве. Как правило, эта
валидность оценивается экспертами.
• критериальная, или эмпирическая валидности
(empirical validity). Выбирается внешний критерий,
характеризующий объект измерения, с которым
сопоставляются результаты тестирования.
Уфа 15 апреля 2009 Тестовые технологии в образовании 6Виды валидности УГАТУ
• Содержательная валидность (content validity).
Полнота охвата тестовыми заданиями той области
знания, в которой оцениваются учебные достижения.
Эта валидность также оценивается с помощью
экспертных оценок.
• Сопоставительная валидность - критериальная
валидность, соответствие результатов измерения
данным тестом результатам измерения того же
объекта другими методами
• Прогностическая валидность
• Факторная валидность – корреляция между
результатом тестирования и факторами учебных
достижений
Уфа 15 апреля 2009 Тестовые технологии в образовании 7Классификация педагогических тестов УГАТУ
• По уровню контроля
• По формату предъявления
• По содержанию
• По целям тестирования и
методологии интерпретации
результатов
Уфа 15 апреля 2009 Тестовые технологии в образовании 8Классификация педагогических тестов
УГАТУ
Уровень контроля
– Входной (вступительный)
– Текущий (тематический) Контр. работы, защита
лабораторных работ, текущая аттестация
– Промежуточный (рубежный) курсовые работы и
проекты, зачеты, экзамены
– Итоговый (междисциплинарный экзамен,
госэкзамен в вузе, итоговая аттестация в школе)
Уфа 15 апреля 2009 Тестовые технологии в образовании 9Классификация педагогических тестов УГАТУ
Формат предъявления
– Бланковый. В основном автоматизированная
предварительная обработка (Сканирование
результатов)
– Компьютерный.
• Ординарный
• Адаптивный
Преимущества компьютерного – хранение банка заданий,
историй испытаний; возможности управления - настройки
формирования теста, процедуры тестирования (например,
контроль времени, порядок предъявления заданий и
ответов); автоматизированная обработка результатов и т.д.
Уфа 15 апреля 2009 Тестовые технологии в образовании 10Классификация педагогических тестов УГАТУ
По содержанию
– Гомогенный (все дисциплинарные тесты)
– Гетерогенный (полидисциплинарные
тесты Интернет-экзамена, вступительное
тестирование в магистратуру США,
междисциплинарный тест)
Уфа 15 апреля 2009 Тестовые технологии в образовании 11Классификация педагогических тестов УГАТУ
По целям тестирования
• Нормативно-ориентированные (norm-
referenced test ) тесты.
• Критериально-ориентированные тесты
– Domain-referenced test - тесты,
ориентированные на область содержания
– Mastery test - квалификационные тесты
Эти два подхода различаются на всех этапах разработки от
выбора содержания, методов конструирования, особенностей
применения, до интерпретации результатов, хотя используются
те же формы тестовых заданий и подобные инструкции для
испытуемых.
Уфа 15 апреля 2009 Тестовые технологии в образовании 12УГАТУ
Нормативно-ориентированный подход позволяет
сравнивать уровень подготовки отдельных испытуемых друг
с другом. Основная задача – дифференцировать уровень
знаний и умений испытуемых.
Критериально-ориентированный подход – измерение
уровня индивидуальных учебных достижений относительно
определенного критерия, функционально связанного с
полным объемом знаний, навыков и умений, которые должны
быть усвоены обучаемыми.
Индивидуальные результаты интерпретируются по
отношению к подготовленности самого экзаменующегося на
данной области содержания, а не сравниваются с
результатами других экзаменующихся из группы
Уфа 15 апреля 2009 Тестовые технологии в образовании 13Критериально-ориентированные тесты УГАТУ
• Domain-referenced test измеряет долю усвоенного содержания
учебного материала. Уровень учебных достижений каждого
испытуемого можно выразить в проценте от полного объема
области содержания теста.
• Mastery test измеряет степень овладения определенным умением
(навыком). Они применяются для определения в группе
испытуемых квалифицированных и неквалифицированных
(masters and nomasters) в какой-то области.
Начиная с 70-х годов критериально - ориентированные тесты
получили всеобщее признание и стали широко применяться в
сфере образования и профессиональной аттестации кадров.
Уфа 15 апреля 2009 Тестовые технологии в образовании 14Заблуждения УГАТУ
Термин "критериально-ориентированное тестирование"
является неудачным.
Он создает впечатление, будто существует некий
критерий, с которым сопоставляются результаты
тестирования.
Способность самого теста давать информацию об
испытуемых, то есть давать статус испытуемых по
отношению к данной области содержания, и делает
тест критериально – ориентированным.
Другое заблуждение - о связи критериально -
ориентированного теста с критериальной
интерпретацией педагогического измерения.
Уфа 15 апреля 2009 Тестовые технологии в образовании 15Отличия подходов 1 УГАТУ
Первое различие - это цель создания теста.
Нормативно-ориентированные тесты составлены специально для того,
чтобы получить возможность сравнения испытуемых в той области
содержания, для которой тест предназначен. Для этого
используются нормативные или стандартные шкалы.
Критериально-ориентированные тесты составлены для того, чтобы
аттестовать испытуемого в соответствии с областью определенных
знаний, умений и навыков. Результаты критериально-
ориентированного тестирования могут быть использованы для:
– оценки итогового уровня обученности испытуемого, соответствия этого
уровня государственным образовательным стандартам или программе
обучения;
– отбора студентов, достигших необходимого уровня обученности, в том
числе и профессиональной компетенции;
– оценки эффективности программы обучения в том или ином учебном
заведении.
Результаты критериально-ориентированного тестирования также могут
быть использованы для сравнения между собой уровней подготовки
студентов, однако в этом случае можно получить сравнительно
низкую надежность, если распределение баллов однородно и имеет
малую вариацию.
Уфа 15 апреля 2009 Тестовые технологии в образовании 16Отличия подходов 2 УГАТУ
Второе различие этих двух типов тестов состоит в уровне детализации
области содержания.
От разработчиков обоих типов тестов обычно требуется формирование
спецификации его содержания.
Создатели критериально-ориентированных тестов должны, как правило,
подготовить значительно более детализированную спецификацию
содержания, чем составители нормативно-ориентированных тестов.
Критериально-ориентированный подход – измерение «широты охвата»
Критериально-ориентированный подход ≡ облет территории
месторождения, измерение геофизических параметров
Нормативно-ориентированный подход – измерение «глубины» в наиболее
значимых точках.
Нормативно-ориентированный подход ≡ бурение разведочных скважин
Уфа 15 апреля 2009 Тестовые технологии в образовании 17Отличия подходов 3 УГАТУ
Третье различие лежит - проведение статистической обработки результатов
тестирования.
Обработанные (или шкалированные) баллы по результатам нормативно-
ориентированного тестирования базируются на статистических данных
нормативной группы, то есть специфической достаточно большой выборке
испытуемых. В большинстве случаев для этого типа тестов применяются
специальные нормативные шкалы.
Каждый индивидуальный балл для данного теста (рейтинг или ранг) имеет
однозначное соответствие с процентильным эквивалентом, определенным на
нормативной группе. Если для индивидуального балла данного испытуемого
процентильный эквивалент равен 75, то это означает, что у 75% тестируемых
из нормативной группы результаты тестирования были такие же или хуже.
Обработанные индивидуальные баллы по результатам критериально-
ориентированного тестирования не относятся к какой-либо нормативной
группе или выборке испытуемых. Индивидуальный балл испытуемого
интерпретируется по отношению к доле учебного успешно освоенного им
материала. Чаще всего балл студента отражает процент правильно
выполненных заданий и выражается в шкале процентов.
Уфа 15 апреля 2009 Тестовые технологии в образовании 18Отличия подходов 4 УГАТУ
Четвертое основное различие - технологии анализа и отбора тестовых
заданий.
В нормативно - ориентированных тестах статистические показатели
тестовых заданий (уровень трудности и различающая способность)
играют определяющую роль в отборе заданий.
В общем случае задания со средним уровнем трудности и высокой
различающей способностью вносят существенный вклад в вариацию
индивидуальных баллов испытуемых.
Надежность теста будет выше, если вариация тестовых баллов
увеличится.
В критериально - ориентированных тестах статистические
характеристики (уровень трудности и различающая способность)
заданий не являются основной причиной для их включения в состав
теста, или наоборот исключения из него.
Главное условие отбора заданий в критериально - ориентированный тест
- это их соответствие спецификации и элементу содержания.
Статистические характеристики тестовых заданий используются для
составления параллельных форм критериально - ориентированных
тестов и для выбора оптимального стандарта оценивания.
Уфа 15 апреля 2009 Тестовые технологии в образовании 19Характерные особенности нормативно-ориентированных и критериально-
ориентированных тестов
УГАТУ
Нормативно - ориентированные Критериально - ориентированные
тесты тесты
1. Цель тестирования: 1. Цель тестирования:
возможность сравнения уровня возможность аттестации
подготовки испытуемых друг с испытуемого в соответствии с его
другом в той области содержания, уровнем усвоения определенной
для которой тест предназначен. области содержания.
Пример использования: конкурсный Пример использования: итоговая
отбор кандидатов на обучение. аттестация уровня обученности
студентов, уровня профессиональной
подготовки кадров.
2. Используемые шкалы: 2. Используемая шкала - в основном,
нормативные (или стандартные) шкала процентов с выбранными
шкалы. Необходимо указание критериальными баллами. Особое
среднего значения и стандартного внимание уделяется методике
отклонения в выбранной шкале. оптимального выбора критериального
балла (или баллов).
Уфа 15 апреля 2009 Тестовые технологии в образовании 20Характерные особенности нормативно-ориентированных и критериально-
ориентированных тестов
УГАТУ
Нормативно - ориентированные тесты Критериально - ориентированные тесты
3. Распределение индивидуальных баллов: близко к 3. Распределение индивидуальных баллов:
нормальному, в большинстве случаев имеет вид произвольное, в большинстве случаев асимметричное и
: имеет вид:
4. Уровень детализации области содержания - 4. Уровень детализации области содержания -
несущественен. Авторы теста выбирают наиболее подробный. Авторы теста разрабатывают спецификацию
значимые элементы содержания. (план) теста, включающую все элементы содержания.
Затем по этой спецификации разрабатываются задания.
5. Нормативная группа испытуемых обязательна. 5. Нормативная группа испытуемых не является
Обработанные (или шкалированные) баллы по результатам необходимой. Индивидуальный балл испытуемого
нормативно-ориентированного тестирования базируются на интерпретируется по отношению к доле учебного
статистических данных нормативной группы, то есть материала успешно им освоенного. Чаще всего балл
специфической достаточно большой выборке испытуемых. студента отражает процент правильно выполненных
В большинстве случаев применяются специальные заданий и выражается шкале процентов.
нормативные таблицы, где каждый индивидуальный балл
для данного теста имеет однозначное соответствие с
процентильным эквивалентом, определенным на
нормативной группе.
Уфа 15 апреля 2009 Тестовые технологии в образовании 21Характерные особенности нормативно-ориентированных и критериально-
ориентированных тестов
УГАТУ
Нормативно - ориентированные тесты Критериально - ориентированные тесты
6. Статистический анализ и отбор тестовых заданий. 6. Статистический анализ и отбор тестовых заданий.
Статистические показатели тестовых заданий (в основном Уровень трудности и различающая способность заданий не
это уровень трудности и различающая способность) играют является существенными факторами включения в состав
важную роль в отборе заданий. Выбираются задания со теста. Главное условие отбора заданий - это их
средним уровнем трудности (от 0,3 до 0,7) и высокой соответствие спецификации и элементу содержания.
различающей способностью (большей 0,3). Статистические характеристики тестовых заданий
используются для составления параллельных форм
(вариантов) теста и для выбора оптимального
критериального балла.
7. Надежность теста. Оценивается либо путем нахождения 7. Надежность теста. Оценивается степенью постоянства
корреляции между результатами двух тестирований, либо принятия решения «зачет – незачет» при двукратном
методом расщепления теста на две половины при тестировании.
однократном тестировании.
8. Валидность. Наряду с содержательной валидностью для 8. Валидность. Особое внимание уделяется
тестов конкурсного отбора учащихся особое внимание содержательной валидности. В случае принятия важных
уделяется высоким показателям прогностической решений по результатам тестирования исследуются
валидности. критериальная и конструктная валидность.
Уфа 15 апреля 2009 Тестовые технологии в образовании 22Характерные особенности нормативно-ориентированных и критериально-
ориентированных тестов
УГАТУ
Нормативно - ориентированные Критериально - ориентированные
тесты тесты
Централизованное Итоговое централизованное
абитуриентское тестирование тестирование
Отбор в магистратуру Интернет-экзамен
Аттестация и аккредитация
образов. учреждений
Тестирование студентов при
текущей, промежуточной и
итоговой аттестации
Единый государственный экзамен ???
Уфа 15 апреля 2009 Тестовые технологии в образовании 23Вы также можете почитать
