--PAGE_BREAK--
продолжение
--PAGE_BREAK--Главный из указанных критериев – уровень академической подготовки – определяется качеством усвоения каждого и всей совокупности учебных курсов, составляющих содержание подготовки специалиста – бакалавра. Необходимость объективного выявления и оценки качества усвоения учебного материала в учебном процессе предъявляет особые требования к созданию и применению тестов.
2.1. Качество тестирования. Общие положения.
Назначение тестирования – обеспечить объективный контроль (текущий, рубежный, промежуточный, итоговый) усвоения теоретических и профессиональных (компетенция) знаний, умений и навыков по каждому учебному курсу и специальности в целом. Эта цель и соответствующие задачи решаются содержанием конкретных тестов, способами их внутренней организации и формами применения.
Любое тестирование знаний и поведения человека – есть процесс измерений в психологии, который относится к науке «психометрии». В соответствии с ее правилами при создании и применении любого теста «как инструмента измерения» должны тщательно соблюдаться требования «валидности», «точности» и «надежности». Любой тест нельзя допускать к применению без основательной проверки и доказательства его соответствия указанным требованиям. Несоблюдение этого условия создает иллюзию «легкости» создания теста и самого тестирования, и приводит к тому, что применение такого теста вводит в заблуждение относительно измеряемых результатов и их сопоставимости; поскольку очень часто на самом деле измеряется не то, что намеревались измерить; а если и измеряется, — то с недостаточной и неизвестной степенью достоверности результатов и значимости различий (без чего тестирование не имеет смысла). Это особенно актуально при переходе на кредитную систему образования, для которой сопоставимость и возможность суммирования результатов тестирования имеет решающее значение.
Поэтому при создании теста (на каждом этапе и по каждому его элементу) обязательны: независимое рецензирование, экспертная оценка, практическая проверка валидности и трудности теста (и каждого из его вопросов-заданий), точности и надежности измерений с обработкой результатов методами математической статистики.
Валидность теста (тестового задания, вопроса) – это ответ на вопросы «Что должен измерять и что на самом деле измеряет тест (отдельное его задание, вопрос и ответ)? Не произошло ли незаметное искажение или даже подмена заданной цели за счет неудачной формулировки вопросов, ответов, инструкции, отсутствия равных и одинаковых условий проведения, и т.п.?"
Точность теста – это оценка вероятности ошибки в измерении, степени достоверности получаемых оценок; вероятностная оценка значимости различий между тестовыми оценками. Только она дает возможность обоснованной дифференциации оценок. Например, что считать существенным различием и оценивать в 3 – 4 – 5 баллов, а какие различия, наоборот, считать несущественными и оценивать их одинаково.
Надежность теста – это заданная степень совпадения оценок по одному тесту при повторном, независимом тестировании одних и тех же людей разными людьми и в разное время; при сопоставлении получаемых оценок по данному тесту с оценками по другим тестам, измеряющим то же самое.
Трудность теста – это его способность обоснованно распределять тестируемых по различающимся уровням успешности (в самом простом случае – это оценки «удовлетворительно», «хорошо» и «отлично») за счет меняющейся сложности заданий.
Можно выделить три класса ошибок при создании тестов:
Ошибки моделирования объекта тестирования закладываются на стадии подготовки учебной программы. Они возникают как следствие произвольного толкования содержания программ, обусловливающего несопоставимость внутреннего (преподаватель, вуз) и внешнего (вуз, министерство) контроля качества образования.
Сама программа может не отвечать требованиям государственного стандарта подготовки специалиста; единицы ее содержания могут быть представлены в декларативной и неоднозначной формулировке; тестовые задания могут не совпадать со смыслом и логикой содержания программы и т.д.
Ошибки организации теста и процесса тестирования возникают в процессе создания и применения теста. Тестовые задания могут не совпадать со смыслом и логикой содержания программы, они могут измерять не то, что должны; произвольная процедура тестирования может влиять на результаты, искажая их и т.д. и т.п.
Ошибки исследования теста и толкования результатов — следствие произвольного толкования процедур создания и применения теста, а также интерпретации получаемых с его помощью результатов. Это обусловлено отсутствием соответствующих стандартов и доказательной проверки их соблюдения.
При непосредственном создании теста наиболее распространены пять ситуаций, обусловливающих его скрытую или явную непригодность (первичное выявление неадекватности теста достигается независимым рецензированием и экспертизой):
1. Формулируя тестовый вопрос-задание с несколькими ответами,
составитель нередко проявляет непроизвольную тенденцию отбирать и включать в вопросы информацию, требующую простого воспроизведения единичных, а часто и второстепенных фактов (понятия, названия, цифры, имена, даты и пр.), а также более привычную и лучше им самим освоенную. В результате тест работает на простое воспроизведение значительно упрощенного и искаженного содержания учебного курса, серьезно завышая оценки.
Это обусловлено высокой сложностью работы, которая на первый взгляд представляется легкой, но на деле требует высокой квалификации, большого труда и сосредоточенности. В самом деле, простым по форме вопросом-заданием нужно выявить глубину понимания и усвоения конкретного элемента учебной программы; одновременно нужно подобрать простой, но емкий и точный правильный ответ; при этом нужно сформулировать еще несколько неверных ответов, каждый из которых был бы очень правдоподобным. Кроме того, нужно сделать эти задания разной степени трудности и предусмотреть простую оценку ее различия. К тому же тест содержит большое количество таких вопросов-заданий.
Эту ошибку легко выявить процедурой обратной сверки: по формулировкам тестовых вопросов-заданий составляется список фактически тестируемых единиц, который сверяется с единицами содержания каждой темы учебной программы. Обнаруженное несоответствие устраняется по критерию совпадения единиц содержания и единиц тестирования.
2. Формулировка вопроса может быть такой, что содержит
подсказку (наводящий вопрос), — это позволяет дать правильный ответ тому, кто знает материал ниже заданных требований.
3. Формулировка вопроса и ответов может быть недостаточно
определенной, неоднозначной (допускающей различные толкования), так что неверный ответ может выбрать и тот, кто хорошо усвоил материал.
4. Варианты ответов могут быть подобраны так, что, даже не зная
материала, можно логически отсеять часть или все неверные ответы (например, при вариантах ответов, явно относящихся к другой теме или сфере знаний).
5. Чрезмерно ограниченное число ответов на один вопрос в
закрытом варианте теста (выбор ответа из готового их списка).
При этом имеет место высокая вероятность угадать правильный ответ, совершенно не зная материала.
Остановимся на этом подробнее, поскольку это относится к важной проблеме обеспечения точности теста.
Например, при дихотомическом выборе ответа (да-нет, правильно-неправильно) вероятность угадать верный ответ составляет 50%. То есть, если тест состоит из 100 вопросов, то можно утверждать, что число правильно угаданных ответов будет около 50. Такой тест можно применить только при условии, что достаточно усвоить половину материала; но и тогда, для удовлетворительной оценки (типа «зачтено») нужно требовать 100 правильных ответов (иначе нет гарантии действительного усвоения половины курса).
Исходя из сказанного, минимально допустимое число ответов на один закрытый ответ равно «пяти». Вероятность случайного угадывания правильного ответа здесь равна 0,20 (20%), а точность измерения – 0,80. Хотя она ниже, чем общепринятая в математической статистике (0,95), но вполне приемлема для большинства тестов на измерение знаний с недифференцированной оценкой типа «усвоено – не усвоено». Однако, при необходимости введения различных уровней усвоения такое построение теста непригодно.
Для иллюстрации этого утверждения попытаемся построить соответствующую шкалу оценок. При требовании знать 51 % материала для оценки удовлетворительно, обучающийся должен набрать по тесту 63,75 % правильных ответов (это гарантирует нас от случайного угадывания 20% ответов). 60 % усвоения требует 75 % правильных ответов.
75 % усвоения – 94 % верных ответов, а 80 % — 100 % точных ответов. Очевидно, что такой тест не обладает достаточной различительной способностью для высокого уровня усвоения («отлично» получат те, кто усвоил менее 80 % курса, или вообще – никто, поскольку шкала не позволяет различать высокие оценки). К этому следует добавить, что уровень усвоения курса в 51 % можно признать удовлетворительным только в тех случаях, когда учебный курс призван сформировать лишь общие представления в какой-то области знания. В сфере освоения профессиональных знаний и умений, а также при освоении новой деятельности эта «планка» должна быть поднята значительно выше (невозможно принять удовлетворительным освоение наполовину количества основных грамматических форм или минимального словаря изучаемого языка; или – половину действий, составляющих какую-то целостную осваиваемую деятельность).
Из изложенного следует, что точность теста должна быть выше, чем 0,80. Иначе говоря, нужен выбор не из пяти, а из 20 и более ответов (точность 0,95 и выше). Такой тест трудно составить, с ним неудобно работать тем, кто проходит тестирование (невозможно удержать в памяти и легко обозревать возможные ответы, выбор ответа требует очень много времени и усилий, что приводит к ошибкам).
Выход состоит в том, чтобы каждая тестируемая единица была представлена несколькими однородными вопросами (батареей) с выбором из пяти ответов на каждый вопрос. Так, при двух вопросах на тестируемую единицу, — два правильных ответа обеспечивают точность оценки 0,96. При трех вопросах на тестируемую единицу: два правильных ответа гарантируют точность 0,88, а три – 0,992. При четырех вопросах: два верных ответа дают точность 0,76; три – 0,968. При пяти вопросах - три правильных ответа дают точность 0,95 (наилучший вариант для тестируемых, поскольку снижается возможность случайной ошибки или неверного ответа из-за неудачной формулировки ответа составителем теста).
При таком конструировании теста сначала необходимо оценивать усвоение каждой тестируемой единицы (по принципу «усвоено или нет»), а затем – оценивать усвоение по всему тесту (процент правильных ответов из их общего числа вопросов или процент усвоенных единиц из числа всех единиц теста). Это дает хорошо дифференцированную шкалу оценок.
Разновидности тестов. Сплошное и выборочное тестирование. Наиболее распространены простые и сложные тесты с однородной и дифференцированной трудностью заданий. Простой тест состоит из примерно одинаковых по трудности вопросов-заданий и обычно предназначен для оценки усвоения типа «зачтено – не зачтено». Его преимущество в относительной легкости составления, простоты применения и компьютеризации. Такой вид теста в настоящее время является преобладающим. Он используется для оценки усвоения знаний и отдельных действий на уровне «понимание и воспроизведение» в процессе текущего контроля и строится по принципу «одна единица содержания учебного курса – один тестовый вопрос – пять вариантов ответа». Его недостаток – малая пригодность для получения дифференцированных оценок при промежуточном и итоговом контроле (усвоения теоретических знаний на уровне осмысления и применения, а также практического освоения отдельных видов профессиональной деятельности).
Сложный тест предназначен для более глубокого контроля и получения интегрированных и хорошо различаемых оценок. Главная особенность и достоинство такого теста – контролируемое изменение трудности тестовых заданий, позволяющее четко дифференцировать обучающихся по успешности обучения. Это качество обеспечивается двумя способами построения (и применения) теста. В первом случае подбирается три группы заданий, различающихся по уровню сложности и соответствующих оценкам «удовлетворительно», «хорошо» и «отлично». Обучающимся дается возможность выбрать подходящий уровень трудности. Во втором случае всем обучающимся предъявляется один тест, все задания которого различаются по сложности. Предполагается, что более подготовленные студенты справятся с большим числом заданий, и произойдет естественное ранжирование их успешности (практически все тестируемые получат разные оценки в отличие от предыдущего способа, при котором тестируемые распределяются только на три группы).
Термин сплошное тестирование означает способ контроля, при котором тестируются все единицы содержания учебного курса (или его части), независимо от общего их числа. Он должен быть обязательным для промежуточного и итогового контроля (проводимого службой Регистратора или деканатом), а также частично – для текущего и рубежного, в тех случаях, когда обязательно усвоение каждой без исключения единицы содержания («промежуточный контроль» означает экзамен или завершающую работу после окончания изучения учебного курса; «итоговый контроль» – итоговый по дисциплине или междисциплинарный выпускной экзамен, или выпускную работу по специальности).
Термин выборочное тестирование означает способ контроля, при котором тестируется относительно небольшая часть единиц содержания курса (обычно 10 %), отобранная из их общего числа (списка) случайным образом (лучше всего – компьютером). Предполагается, что полученная приблизительная оценка усвоения курса имеет допустимую точность для самоконтроля обучающимися, текущего и (реже) рубежного контроля со стороны преподавателя.
2.2. Тестирование теоретического учебного курса
При создании и применении тестов необходимо учитывать различия в структуре, особенностях проявления (фиксирования) и усвоения теоретических и практических знаний, познавательной деятельности по их применению, а также практической деятельности по освоению иприменению профессиональных умений и навыков.
Структура знаний и деятельности различна (см. п. 3.1.). Назначение теоретического курса – сформировать модель какой-то части мира (специфическое знание) и научить применять ее (сформировать соответствующие умения и навыки в решении познавательных задач практики). То есть его содержание неоднородно. Это влечет за собой качественное различие соответствующих единиц содержания в учебной программе, различие способов обучения и способов фиксирования его результатов.
Иначе говоря, для тестирования теоретического курса необходимо два различных теста: один – для оценки знаний (на уровне «понимание-воспроизведение» и с оценкой «усвоено на приемлемом уровне – не усвоено»); другой – для оценки умения их применять (на уровне «системного осмысления знания и применения по образцу – свободного применения – творческого применения» и с дифференцированной оценкой 3-4-5 баллов). Формально объединив их, получим один комбинированный тест.
2.3. Тестирование практического учебного курса
Назначение практического курса – сформировать модель новой деятельности (практическое знание) и научить выполнять ее (сформировать практические действия — умения и навыки ее выполнения в рамках профессиональных обязанностей).
Структура такого практического знания: осознание целей деятельности как конкретных форм представления результатов; представление о каждом действии – его назначении и способах выполнения; представление об алгоритме деятельности как целостной и фиксированной последовательности действий. Элементы этой структуры (единицы знания) должны быть единицами содержания учебной программы, единицами обучения и единицами тестирования. Нужен тест контроля практического знания.
продолжение
--PAGE_BREAK--Программа должна также зафиксировать в качестве единиц обучения (и тестирования) практическое освоение всех действий и деятельности в целом (умение выполнять каждое действие в отдельности, выполнять деятельность как целостный процесс, фиксировать ее конечные результаты в заданной форме). При этом обязательно должен быть освоен (и протестирован) каждый элемент. Следовательно, нужен второй тест – для контроля освоения целостной деятельности под контролем сознания (уровень умения). Два указанных теста, при успешном их выполнении (оба с оценкой «усвоено»), выявят приемлемый уровень усвоения деятельности (оценка «удовлетворительно»).
Только после этого можно применить еще один тест для получения более высокой, дифференцированной оценки «хорошо» или «отлично».
Таким образом, тестирование практического курса предполагает наличие и применениетрех различных по содержаниютестов. В зависимости от реальных различий в качественной структуре содержания конкретного учебного курса, их может быть и больше трех. В любом случае, формально объединив частные тесты под общим названием курса, получим один комбинированный тест.
2.4. Требования к содержанию и форме теста Структура теста:
1. Инструкция по назначению и правилам применения.
2. Критерии оценки (предмет оценки по каждой теме или курсу в
целом).
3. Вопросы-задания (закрытые, полуоткрытые, открытые).
4. Ответы-ключи (выбор из списка готовых ответов, ввод ответа из
не предъявляемого списка, ввод свободного ответа).
5. Шкалы оценок (по каждому критерию темы или курса в целом).
Требования к содержанию теста:
1. Критерии оценки:
1.1. По каждой отдельной теме или курсу выделяется предмет оценки (что оценивается – специфическое знание, его качественная характеристика, вид деятельности и т.п.);
1.2. По каждому критерию формируется отдельная база данных («вопросы-задания» — «ответы-ключи») и приводится балльная шкала оценки;
1.3. При частичном тестировании по одному критерию указывается как балльная шкала оценки, так и «процентная доля курса», выделяемая для этой части тестирования.
2. «Вопросы-задания»:
2.1. Обеспечивается полный и равномерный охват содержания курса: не пропущено ничего существенного по каждой теме — теоретические знания, умения и навыки; профессиональные знания, умения, навыки (компетенция). При этом по каждой теме (учебная программа курса) указывается перечень существенных единиц содержания, являющихся одновременно единицами тестирования. Каждая единица тестирования должна быть представлена в тесте одинаковым числом вопросов-заданий.
2.2. Соблюдается простота, однородность и однозначность формулировок: вопросы формулируются короткими простыми предложениями, на одном уровне обобщенности, при равном объеме понятий; один вопрос-задание относится к одному критерию и одной смысловой единице информации – единице тестирования.
2.3. Обеспечивается минимизация и обоснованность формулировок: - вопросы формулируются только по существенным идеям и фактам (должны быть исключены частные и второстепенные аспекты, относящиеся к пояснениям, описаниям контекста, детализации и иллюстрации существенных сообщений);
- существенными идеями (сообщениями) считаются базовые
(стержневые) структурные элементы главной идеи, конкретизирующие назначение курса или темы (целостные смысловые единицы того, что должно быть усвоено);
- существенными фактами считаются сообщения, содержащие конкретные данные о действительном, практическом основании существенных идей, положений (цифры, статистика и другие сведения объективного характера), представляющие собой необходимый и достаточный минимум их доказательства или опровержения.
2.4. Содержание тестовых заданий подбирается с учетом уровня
трудности (сложности). Обоснованность ее градаций должна обязательно проверяться (с коррекцией соответствующих формулировок) в группировках «сильных» – «средних» — «слабых» учащихся.
Для варьирования заданий по трудности можно использовать выделенные системной дидактикой пять уровней усвоения знания:
- Уровень общего знакомства с материалом. Это задания, в
которых требуется опознать единицы знания с помощью опоры (выбрать правильный ответ из нескольких представленных вариантов ответа или установить соответствие элементов одного списка элементам другого).
- Уровень воспроизведения (алгоритмический). Это задания,
требующие вспомнить и воспроизвести материал по памяти без внешней опоры (варианты заданий: подстановки – вставить в заданную структуру ответа недостающие и пропущенные или исправить искаженные элементы; способ конструирования или восстановления по памяти порядка какого-либо действия с последующим его выполнением; способ типовой задачи – выполнение действия по определенному алгоритму, формуле, схеме; способ восстановления алгоритма – вспомнить и воспроизвести последовательность какого-то процесса, деятельности).
- Уровень эвристический (частичного поиска). Это задания на
самостоятельный перенос известного алгоритма действий в заданные конкретные условия (варианты заданий: дополнить формулировку вопроса посредством применения общего правила для заданной ситуации; построить ответ, алгоритм с изменением условия; решить задачу, изменив алгоритм типового процесса и применив его в заданной ситуации).
- Уровень творческого применения знаний. Это задания, требующие
самостоятельной рационализации, моделирования или конструирования. Их результатом могут быть алгоритмы, схемы, карты и т.д. К таким заданиям прилагаются требования к форме представления результатов, параметры, условия и другие ограничения, которым должны соответствовать творческие разработки.
- Уровень исследования. Это задания трех видов: на проверку и
уточнение известного знания, на его дополнение и развитие, на получение нового, не имеющего аналогов, знания. Такие задания, помимо знаний конкретного учебного курса, предполагают определенное владение понятийным аппаратом и методологией научного исследования. Как и в предыдущем пункте, здесь тоже задается организующий комплекс необходимых условий и ограничений.
Примечание: материал этого пункта (пять уровней усвоения) представлен Пырлик Л.Я., гуманитарный колледж, г. Астана.
2.5. Вопросы-задания строятся как закрытые (в большинстве), полуоткрытые и открытые. Закрытые – предполагают выбор из предъявляемого списка ответов. Полуоткрытые – предлагают самостоятельно ввести ответ, осуществляя выбор из известного, но не предъявляемого списка ответов (например, напечатать перевод слова с иностранного языка по известному словарю). Реже применяется открытый вариант - с произвольной формой развернутого ответа. Хотя он и обладает наилучшими возможностями для выявления результатов усвоения, его трудно оценивать (необходимо создавать специальную шкалу с произвольными ограничениями, которую сложно и не всегда возможно обоснованно формализовать) и приходится использовать трудоемкий способ ручного тестирования.
3. «Ответы-ключи»:
3.1. Обеспечивается однозначное соответствие формулировки ответа и сути задания (вопроса): с одной стороны, — каждый ответ в списке обязательно содержит существенные признаки распознавания идеи (действия) правильного ответа; а с другой, — формулировка ответа в соответствующем списке исключает прямое или косвенное искажение этой идеи (действия), ее двусмысленное толкование.
3.2. Формулировки в списке возможных ответов должны
максимально снижать возможность случайного угадывания правильных ответов и исключать возможность его логического «вычисления» без подлинного знания:
- каждая тестируемая единица темы должна быть представлена
двумя – пятью вопросами (заданиями) с выбором из пяти (или более) возможных ответов для каждого из них;
- все формулировки в списке возможных ответов должны быть
построены на изменении (в тексте правильного ответа) существенных признаков тестируемой идеи (действия), без использования суждений, не относящихся к ней (чтобы было невозможно чисто логически отсеять формулировки, явно не относящиеся к сути вопроса);
- эти формулировки должны иметь одинаковую логическую структуру и состоять из простых по составу и относительно коротких предложений;
- вопросы (задания) должны предъявляться по одному и в
случайном порядке (во избежание запоминания правильных ответов по их привычному расположению в списке вопросов, или их логического «вычисления» посредством сопоставления ответов при использовании печатного бланка). Эти условия легко выполнить при компьютерном тестировании. Для соблюдения указанных условий при использовании ручного тестирования формулировки инструкций и вопросов, их порядок в списке, организация материала в бланках для фиксирования ответов должны отрабатываться с помощью экспертной оценки и не допускать
произвольного изменения в практике тестирования.
4. Шкалы общих оценок:
4.1. Принимается единая базовая шкала оценок, построенная как вычисление процентной доли усвоенного по отношению к числу всех единиц содержания курса (или вопросов-заданий) теста:
________________________________________________________________________
A + замечательно 100 5 5 5 отлично
A отлично 95 – 99 4,75 5 5 отлично A - почти отлично 90 – 94 4,5 4 4 очень хорошо
B + очень хорошо 85 – 89 4,25 4 4 хорошо
B хорошо 80 – 84 4,0 4 3 уд-но, (выше ср.)
B – почти хорошо 75 – 79 3,75 3 3 уд-но (средне)
C + вполне удов-но 70 – 74 3,5 3 3 удовлетв-но
C удовлетворительно 65 – 69 3,25 3 0 неуд-но (провал)
C – почти удов-но 60 - 64 3,0 0 0
F провал 59 — 0 0,0 0 0
P прошел NA NA
Эта шкала делает сопоставимыми все результаты, позволяет накапливать и интегрировать (промежуточный и итоговый контроль) оценки любых тестов и форм контроля, в том числе, — тестирование по частям и в разное время. Процентная шкала применяется при любом тестировании.
4.2. Единая процентная шкала дополняется для каждого конкретного критерия и теста собственной шкалой балльной оценки (0; 3; 4; 5 баллов). Шкала баллов применяется при оценке усвоения всего курса в целом (промежуточный и итоговый контроль). Она устанавливает соответствие между достигнутой процентной долей усвоения и ее оценкой в баллах (это необходимо для расчета показателей среднего балла, проходного балла, рейтинга, и т.д.).
4.3. При каждом частичном тестировании (текущий и рубежный контроль) обязательно указывается выделенная для него доля процентной шкалы (для пересчета текущего процента по теме или другой части курса в одну общую долю усвоения курса). Балльная оценка может применяться и в этом случае, однако она не фиксируется в банке данных Регистратора (то есть используется только в текущей работе по усмотрению преподавателя).
4.4. Оценка по тесту производится в три, четыре или пять шагов:
- оценка правильности сделанного выбора ответа на каждый
вопрос теста;
- оценка усвоения каждой единицы тестирования (оценка
«усвоено» по курсу или его части фиксируется при зачете всех тестируемых единиц; оценка «не усвоено», — если не зачтена хотя бы одна единица). Применяется в тех случаях, когда курс может считаться усвоенным только при приемлемом уровне усвоения каждой единицы теста без исключения (пример: деятельность не может считаться освоенной, если не освоено хотя бы одно из составляющих ее действий). Соответственно, если не зачтена хотя бы одна единица, то по тесту выставляется оценка «0»;
- общая оценка как доля правильных ответов на все вопросы теста в процентах (для дифференциации оценки уровня усвоения);
- перевод процентной оценки в баллы;
- суммирование балльных оценок промежуточного и итогового контроля в форме подсчета их средне-арифметического значения (в том случае, когда курс выносится на выпускной экзамен или завершается выпускной работой по специальности).
5. Шкала для оценки усвоения отдельных единиц тестирования:
5.1. Если тест строится из двух или трех вопросов на каждую единицу тестирования (с пятью вариантами ответов), то она считается усвоенной при двух правильных ответах.
5.2. Если тест строится из четырех или пяти вопросов (заданий) на каждую единицу (с пятью вариантами ответов), — то она считается освоенной при трех правильных ответах.
5.3. Если тест конструируется иначе, то должна быть обеспечена вероятность случайного угадывания правильного ответа не более 0,05, а также – статистическое обоснование делений балльной шкалы оценок (различия процентной шкалы для оценок «3», «4» и «5» баллов должны быть не менее статистически значимых).
2.5. Обязательные этапы и процедуры при создании теста и обнаружении его неадекватности 1. Формирование проекта — теоретической модели объекта тестирования и структуры теста:
— формулировка цели и назначения теста; выделение единиц тестирования; принятие решения о построении шкалы для единиц тестирования; формулировка комплекса заданий (вопросов) и закрытых ответов (или интерпретации и оценке открытых ответов) по каждой единице тестирования и тесту в целом; подготовка инструкции о процедуре тестирования. Существенным здесь является требование избыточности на 30- 40 % количества вопросов-заданий по каждой единице тестирования по сравнению с заданным окончательным их числом для последующей отбраковки «плохих», непригодных формулировок;
— экспертная оценка теоретической модели объекта тестирования (целей курса, обоснованности выделения единиц тестирования, валидности и точности тестовых заданий и закрытых ответов, шкал оценки), принятой организации и процедуры тестирования;
— устранение замечаний, отсев и доработка формулировок и процедур.
2. Пилотажное исследование валидности и точности теста, его
заданий и ответов:
- практическое проведение тестирования на достаточной по объему выборке обучающихся для получения статистически достоверных результатов;
- проведение тестирования в той же выборке на основе других способов тестирования (экспертная оценка усвоения каждой тестируемой единицы на основе индивидуального собеседования экспертов с каждым обучающимся; сравнительное тестирование посредством «расщепления» исходного теста; тестирование посредством другого, проверенного теста и т.п.);
продолжение
--PAGE_BREAK--