--PAGE_BREAK--Причина такого положения – практическое незнакомство большинства преподавателей с основами тестовой теории, незнание основных ее положений. Особенно пагубно это незнание сказывается на качестве тестов, разрабатываемых в нашей стране. Нередко автор теста, если его выполнили все или почти все испытуемые группы, расценивает свою работу как успех. У этой тенденции есть свои печальные следствия. Тестовые оценки, полученные со значительной ошибкой измерения, порождают у преподавателей многочисленные сомнения в возможностях педагогических тестов. В сущности, здесь виноваты не тесты, а отсутствие должного профессионализма их разработчиков, но об этом почему-то никто не думает, особенно в тех случаях, когда ругают педагогические тесты.
При правильном положении вещей последние две строки матрицы должны быть удалены, и матрица тестовых результатов примет вид, приведенный в табл. 2.2.
Таблица 2.2. Матрица результатов после удаления строк
Номер испытуемого i
Номер задания у
1
2
3
4
5
6
7
8
9
10
1
1
1
1
1
1
1
0
0
0
0
2
1
1
0
0
0
0
0
0
0
0
3
0
0
0
0
0
0
0
1
0
0
4
1
1
0
1
1
1
1
1
1
1
5
1
0
1
0
1
1
0
0
0
0
6
1
1
1
0
0
0
0
1
0
0
7
1
1
1
1
0
1
0
0
0
0
8
1
1
1
1
0
0
0
0
0
0
9
1
1
1
1
1
1
1
1
1
0
10
1
1
1
1
1
0
1
0
0
0
Третий шаг. Третий шаг связан с подсчетом индивидуальных баллов испытуемых и количеством правильных ответов испытуемых на каждое задание теста. Индивидуальный балл испытуемого получается суммированием всех единиц, полученных им за правильно выполненные задания теста. Например, 4-й испытуемый выполнил правильно 9 заданий, поэтому его индивидуальный балл равен 9. В строке ответов 2-го испытуемого стоят всего две единицы — его индивидуальный балл Х2 = 2. Для удобства полученные индивидуальные баллы Xi(i= 1, 2,..., 10) приводятся в последнем столбце матрицы результатов (табл. 2.3).
Таблица 2.3.
Матрица результатов с индивидуальными баллами испытуемых и количеством правильных ответов на задания теста
Число правильных ответов на задания Х также получается суммированием единиц, но уже расположенных по столбцам. Например, в 1-м столбце стоят 9 единиц — число испытуемых, правильно ответивших на 1-е задание, равно 9. На последнее, 10-е задание ответил правильно только один ученик, поэтому Х10= 1. Число правильных ответов на каждое задание также помещается в матрицу результатов, обычно оно располагается в последней строке под номером соответствующего задания теста (см. табл. 3).
Четвертый шаг. На четвертом шаге осуществляется упорядочение матрицы результатов тестирования. Для этого производят перестановку столбцов, располагая числа Л в порядке убывания. Затем меняют местами строки матрицы так, чтобы верхняя строка соответствовала обучаемому с минимальным индивидуальным баллом. Значения Xiрасполагают сверху вниз в порядке возрастания. Упорядоченная матрица данных тестирования приведена в табл. 2.4.
Пятый шаг. На пятом шаге производится графическая интерпретация эмпирических данных. Эмпирические результаты тестирования можно представить в виде полигона, гистограммы, сглаженной кривой (процентилей, огивы) или машинописного графика.
Для построения кривых необходимо упорядочить результаты эксперимента. Их можно записать в виде несгруппированного ряда произвольной формы (табл. 2.5), ранжированного ряда (табл. 2.6), частотного распределения (табл. 2.7) или распределения сгруппированных частот (табл. 2.8).
Таблица 2.5. Несгруппированный ряд
Номер
1
2
3
4
5
6
7
8
9
10
Балл
6
2
1
9
4
4
5
4
9
6
Таблица 2.6. Ранжированный ряд
Ранг
1
2
3
3
3
4
5
5
6
6
Номер
3
2
5
6
8
7
1
10
4
9
Балл
1
2
4
4
4
5
6
6
9
9
Таблица 2.7. Частотное распределение
Балл
1
2
4
5
6
9
Частота
1
1
3
1
2
2
Таблица 2.8. Сгруппированное частотное распределение
В табл. 2.5 содержатся индивидуальные баллы испытуемых, взятые из последнего столбца матрицы эмпирических результатов выполнения теста (табл. 2.3). В табл. 2.6 эти же баллы расположены в порядке возрастания слева направо и приводятся места (ранги) испытуемых, соответствующие их индивидуальным баллам. Таблица 2.6 удобна для подведения итогов тестирования в повседневной работе педагога, поскольку в небольшом классе такого распределения вполне достаточно для сообщения тестовых результатов ученикам. Балл 6 обеспечивает 1-му испытуемому ранг 5 в группе из 10 учеников. Аналогичным образом можно интерпретировать любую оценку ученика в терминах рангов. Очевидно, что равным баллам приписываются равные ранги. Если список учеников является длинным, то для определения рангов требуется много времени и сил.
Список учеников с полученными тестовыми баллами можно сократить, классифицируя оценки по распределению частот, как, например, в табл. 2.7. В этом случае в верхней строке размещаются только различные оценки, а внизу под каждой оценкой — число ее повторений, которое называется частотой и обычно обозначается символом N.
Сумма всех частот для данного примера N = 1+1+3+1+2+2=10, т.е. равна числу учеников в тестируемой группе.
Для большой группы – скажем, в 100 или более учеников – используют сгруппированное частотное распределение (табл. 2.8). Для построения распределения оценки объединяют в группы. Каждая такая группа называется разрядом оценок. В случае полного размещения оценок по разрядам говорят о распределении сгруппированных частот баллов учеников. Например, для матрицы из табл. 2.4 образовано 3 разряда, представленных в табл. 8. Хотя четкого правила выбора количества разрядов нет, но все же обычно их число стараются варьировать в пределах от 12 до 15. Занижение числа разрядов (менее 12) может существенно исказить результаты тестирования, а его завышение (более 15) затрудняет работу с таблицей.
Полигон частот. По ряду частотного распределения можно осуществить графическое представление результатов тестирования в виде полигона частот, построенного (рис. 2.1). Для построения полигона частот по горизонтальной оси откладываются тестовые баллы, а по вертикальной – частота появления каждого балла у тестируемой выборки учеников.
Рис. 2.1. Полигон для распределения табл. 7
Гистограмма представляет собой последовательность столбцов, каждый из которых опирается на единичный (разрядный) интервал, а высота его пропорциональна частоте наблюдаемых баллов. Например, для рассматриваемого примера табл. 7 гистограмма приведена на рис. 2.2. Середина столбца совмещается с серединой интервала разряда, который выбран длиной в один балл.
Рис. 2.2. Столбиковая гистограмма
В данном случае в качестве разрядного выбран единичный интервал.
Гистограмма может быть построена и для сгруппированных данных. В этом случае она выглядит так, как на рис. 2.3 (нижняя гистограмма для гипотетического набора данных), где для сравнения вверху приведена гистограмма для несгруппированных данных.
SHAPE \* MERGEFORMAT
Рис. 2.3.Гистограммы распределения несгруппированных и сгруппированных данных
Для сравнения двух или более распределений обычно используют полигоны частот, так как при наложении гистограмм получается довольно запутанная картина. Например, с помощью полигонов можно сравнить результаты выполнения теста учащимися различных, в данном случае трех, классов, имеющих одинаковое количество учеников (рис. 2.4).
Рис. 2.4. Гистограмма эмпирического распределения
На рис. 2.4 отчетливо проглядывает значительное сходство в результатах тестирования у первых двух классов, имеющих довольно похожие полигоны распределения оценок.
Шестой шаг. На шестом шаге оцениваются меры центральной тенденции совокупности результатов, полученные при выполнении теста. Меры центральной тенденции предназначены для выявления «центрального положения», вокруг которого в основном группируется множество значений рассматриваемого распределения данных. Если предположить, что множество результатов расположено на прямой, то «центральное положение» имеет точка, вокруг которой по тому или иному признаку группируются все результаты выполнения теста. При анализе результатов тестирования можно использовать разные подходы к определению центра распределения. Наиболее простой способ основан на выявлении моды распределения.
Мода– это такое значение, которое встречается наиболее часто среди результатов выполнения теста. Например, для данных табл. 2.7 модой является балл 4, потому что он встречается чаще (3 раза) любого другого значения балла. Не всякое распределение имеет единственную моду.
Среднее выборочное(среднее арифметическое) определяется суммированием всех значений совокупности и последующим делением на их число. Для совокупности индивидуальных баллов ??
Х2,..., XNгруппы ?? испытуемых среднее значение Xбудет
(1)
Среднее арифметическое индивидуальных баллов испытуемых для рассматриваемого выше примера матрицы (табл.3 или 4) будет
Вычисление среднего значения легко произвести на любом калькуляторе или ПЭВМ. Процесс вычисления значительно упрощается, если отдельные значения в совокупности повторяются, как, например, в табл. 7. Для данных таблицы сумма всех результатов определяется умножением каждого значения балла на его частоту и последующим суммированием полученных произведений. Тогда среднее значение будет
В отличие от моды на величину среднего влияют значения всех результатов. Таким образом, среднее арифметическое характеризует всю совокупность значений. Оно обобщает индивидуальные особенности составляющих распределения, в нем уравниваются отдельные значения рассматриваемой величины.
Получаемые результаты в процессе разработки теста требуют специальной интерпретации и размышления.
Интерпретация мер центральной тенденции. Меры центральной тенденции в определенной степени помогают при оценке качества теста в том случае, когда она проводится по результатам апробации теста на репрезентативной выборке учеников. Обычно считают, что хороший нормативно-ориентированный тест обеспечивает нормальное распределение индивидуальных баллов репрезентативной выборки учеников, когда среднее значение баллов находится в центре распределения, а остальные значения концентрируются вокруг среднего по нормальному закону, т.е. примерно 70% значений в центре, а остальные сходят «на нет» к краям распределения, как на рис. 2.5.
Рис. 2.5. Нормальная кривая распределения индивидуальных баллов
Если тест обеспечивает близкое к нормальному распределение баллов, то это означает, что на его основе можно определить устойчивое среднее значение баллов, которое принимается в качестве одной из репрезентативных норм выполнения теста. Обратный вывод, вообще говоря, неверен: устойчивость тестовых норм вовсе не предполагает обязательного нормального распределения эмпирических результатов выполнения теста.
Может сложиться представление о том, что существует жесткая связь между нормальным распределением частот и практически любыми эмпирическими данными по тесту.
На самом деле это не так, поскольку нормальная кривая – это изобретение математиков, которое в сглаженном, идеальном виде описывает реальный полигон частот. На практике никогда не была и не будет получена совокупность данных, распределенных точно по нормальному закону. Просто иногда полезно, допуская определенную ошибку, утверждать, что эмпирические данные распределены по нормальному закону, и описывать полигон частот сглаженной кривой.
Нормальное распределение унимодально и симметрично, т.е. половина результатов, расположенная ниже моды, в точности совпадает с другой половиной, расположенной выше, а мода и среднее значение равны. Отсутствие полной симметрии в полигоне частот на практике приводит к смещению моды относительно среднего значения.
В малых выборках мода, как и среднее значение, теряет свою стабильность, хотя причиной нестабильности может служить и неправильный подбор по трудности заданий в тесте. Например, если по репрезентативной выборке получилась гистограмма с бимодальным распределением (рис. 2.6), то среднее значение распределения, находящееся в центре, никак не может служить нормой выполнения теста. Скорее всего, тест был сконструирован неудачно, что послужило причиной отсутствия нормального распределения эмпирических результатов выполнения теста.
Рис. 6. Гистограмма бимодального распределения
Смещение среднего значения влево или вправо, как на рис. 2.7 и 2.8, говорит о слишком трудной либо соответственно слишком легкой подборке заданий теста.
Таким образом, правильно сконструированный нормативно-ориентированный тест на репрезентативной выборке учеников должен обеспечивать близкое к симметричному распределению индивидуальных баллов, когда мода и среднее значение примерно равны, а остальные результаты расположены вокруг среднего по нормальному закону.
продолжение
--PAGE_BREAK--