История развитиясистемы тестирования в России и за рубежом
План
1. Возникновениетестирования.
2. Первыепедагогические тесты.
3. Развитиетестирования в России.
4. Современнаятеория тестов (IRT).
Возникновениетестирования
Всякаяпопытка определить точное время возникновения тестов напоминает стремлениегеографов найти точное начало большой реки, вытекающей множеством ручейков изобширного болота. Примерно так же обстоит дело и с тестами. Для изученияистории тестов вначале потребовалось изучить предысторию – то самое болото, изкоторого и вытекает их подлинная история.
В ДревнемЕгипте искусству жрецов обучали только тех, кто выдерживал систему определенныхиспытаний. Вначале кандидат проходил процедуру, которую можно было бы сейчасназвать собеседованием. При этом выясняли биографические данные, уровеньобразованности, оценивали внешность, умение вести беседу. Затем проверялиумения – трудиться, слушать, молчать. Проводили испытания огнем, водой иугрозой смерти. Тем, кто не уверен, что выдержит все тяготы длительногообразования, предлагалось подумать – с какой стороны окончательно закрыть засобой дверь в храм – с внутренней или внешней?
Сообщается(там же), что эту суровую систему испытаний и отбора успешно преодолел в молодыегоды Пифагор. Вернувшись после учебы в Грецию, он основал свою школу, допуск вкоторую открывал только после серии различных испытаний, похожих на те, которыевыдержал он сам.
Пифагорподчеркивал важную роль интеллектуальных способностей, утверждая, что «неиз каждого дерева можно выточить Меркурия». И потому придавал значениедиагностике, в первую очередь, именно этих способностей, что делалось с помощьютрудных математических задач.
Как считают,Пифагор обращал также внимание на походку и на смех молодых людей, утверждая,что манера смеяться служит самым хорошим показателем характера человека. Онвнимательно относился к рекомендациям родителей и учителей, тщательно велнаблюдение за каждым новичком, особенно после того, как последнего приглашалисвободно высказываться и, не стесняясь, смелее оспаривать мнение собеседников(там же).
В IIIтысячелетии до н.э. в Китае существовала должность правительственногочиновника. Соответственно, появились и первые элементы профотбора на этудолжность. Отбору способствовала атмосфера торжественности и внимания к молодымлюдям, осмелившимся держать государственные экзамены на занятие по этойдолжности. В китайском обществе эти экзамены воспринимались почти какпразднество. Тему экзамена нередко давал сам император, и он же проводилпроверку знаний претендентов и на заключительном этапе конкурса.
Одной изсамых распространенных форм диагностики способностей человека в те времена былафизиогномика – искусство распознавания характера и способностей человека по еговнешнему виду. Гиппократ, впервые употребивший это название, считал физиогномикунаукой. Тогда же появились первые учебники и практические руководства пофизиогномике, а также и первые специалисты.
Имеетсянемало свидетельств применения различных испытаний в Древнем Риме и Спарте. ВСпарте была создана и успешно осуществлялась система воспитания воинов, в Риме– система обучения гладиаторов. «Люди– писал Платон, – рождаются неслишком похожими друг на друга, их природа различна, да и способности к томуили иному делу также… Поэтому можно сделать все в большем количестве, лучше илегче, если выполнять одну какую-нибудь работу соответственно своим природнымзадаткам».
В Афинахобсуждался вопрос о зависимости могущества государства от способностей лиц, имуправляющих. В работе Платона «Государство» на вопрос о том, какихправителей нужно выбирать, Сократ отвечает: «Надо отдавать предпочтениесамым надежным, мужественным, и по возможности, самым благообразным; крометого, надо отыскивать людей не только благородных и строгого нрава, но иобладающих также свойствами, подходящими для такого воспитания. У них… должнабыть острая восприимчивость к наукам и быстрая сообразительность. Надо искатьчеловека с хорошей памятью, несокрушимо твердого и во всех отношенияхтрудолюбивого» (там же).
Нередкорезультаты испытания интеллектуальных способностей становились предметом гордости.Сообщается, например, что индийский царь Девсарам, желая испытать мудростьиранцев, прислал им шахматы. Предполагалось, что иранцы вряд ли сумеютразгадать суть этой игры, и потому они должны были, по условию, отослать вИндию подать. Однако визирь Важургмихр понял правила игры и, в свою очередь,изобрел игру, называемую сейчас нарды. Эту игру он послал в Индию, и тамвыяснилось, что разгадать правила этой игры индийцы не смогли.
Различныеконкурсы и экзамены устраивались и в средневековом Вьетнаме. Всего за два года,в период с 1370 по 1372 г. удалось провести переаттестацию всех гражданскихчиновников и военнослужащих, что позволило улучшить работу государственногоаппарата. В результате этого Вьетнам стал сильным и жизнеспособнымгосударством. Особое внимание было уделено созданию боеспособного офицерскогокорпуса. В ХV в. экзамены были там упорядочены.Они проводились по этапам и турам. Лауреаты получали подарки от короля, ихимена вносились в «золотой список», который вывешивался у Восточныхворот столицы, об их победах на конкурсе сообщалось в родную общину. Именанаиболее отличившихся участников высекались на специальных каменных стелах,установленных в Храме Литературы (там же).
Еслииспользование письменных контрольных работ и экзаменов в странах Востока уже вте годы считалось вполне нормальным и естественным делом, то этого нельзясказать о странах Запада. Там возникали трудности психологического характера,вызванные попытками замены привычных устных форм контроля письменными.Например, в Англии сто лет ушло на слом консервативных традиций,препятствовавших применению письменных контрольных работ в учебном процессе, иеще сто лет на то, чтобы последние начали использоваться на приемных ивыпускных экзаменах.
Впрочем, былиисключения. В той же Англии ценность письменных работ быстрее других оценилОрден Иезуитов, увидевший в них средство повышения мотивации учебной работы.Используя свое влияние, Орден распространил практику применения письменныхработ во многих других странах. Ответная реакция на это в первую очередь проявиласьв Америке. Сообщается, что там, в 1762 г., состоялось открытое выступление студентовЙельского университета против использования письменной формы экзаменов, из-закоторых им приходится много зубрить.
В 1884г. вСША вышла первая книга с тестовыми материалами, содержавшая задания и ответы кним с оценкой по пятибалльной шкале. В этой книге содержались задания поматематике, истории, грамматике, навигации, давались примерные тексты сочиненийвместе с методом количественной оценки сочинений. Это был первый в историислучай использования простейших статистических расчетов в педагогическойработе.
Быстрораспространявшись в США, такая форма контроля знаний имела не только многосторонников, но и противников. Сообщается, например, о школьном инспекторе изЧикаго, запретившем в 1881г. проводить письменный контроль и обязавшемосуществлять перевод учащихся в очередной класс не на основе проверок, аопираясь исключительно на мнения учителей и директоров школ. Распространилосьмнение, что никто лучше учителя не сможет оценить способности ученика, и потомуэкзамены и всякие другие формы контроля являются издевательством над здравымсмыслом. Этим было положено начало общественному движению против какого-либоконтроля в школе. Пик такого движения в США пришелся на конец XIX века (1880-егоды), после чего вновь стали появляться предпосылки для формированияблагожелательного отношения к контролю знаний.
Потребность всоздании общественно-государственной системы контроля знаний была осознана вСША в 1885 году. В Нью-Йорке начал действовать экзаменационный совет – один изнемногих советов, которые смогли разработать методы объективного контролязнаний. Начало общегосударственной системы оценки знаний положило создание тамв 1900 году комитета по проверке знаний абитуриентов колледжей в США.
В Россииконца XIX – начала XX века вопрос разработки тестов и их применения не ставилсяи не обсуждался. “Проверка знаний, – писал один из авторов, – представляетсямне по опыту самым скучным, бесполезным и даже вредным занятием. Она терпима,как необходимое зло, только там, где от учителя требуют ежемесячных отметок каксредства контроля не только над учениками, но и над учителем”. Однако с тойпоры в российской педагогике стихийно сформировались две противоречащиетенденции: одна за контроль знаний учащихся, другая – против.
Приведенныйздесь краткий исторический экскурс позволяет сделать вывод о необходимостирассматривать испытания как важную часть жизни многих – если не всех – народовмира, со времен древнейших цивилизаций и до наших дней. Однако можно ли наосновании приведенных данных говорить о раннем историческом периодевозникновения тестов? Если согласиться с наиболее распространёнными сейчасопределениями теста, даваемыми как перевод с английского слова «test»(испытание, проверка, проба), то на поставленный вопрос надо будет ответитьутвердительно. А если не согласиться? Тогда надо допустить, что настоящие тестыпоявились позже, в конце XIX-начале XX века. Первые педагогические тесты
Родоначальникомтестового движения можно назвать известного английского ученого ФренсисаГальтона. В 1884–85 годах он проводил серию испытаний для посетителей своейлаборатории. Туда приходили дети и взрослые, возраст испытуемых варьировал от 5до 80 лет. За небольшую плату там определялись быстрота реакции, вес, жизненнаяемкость легких, сила кисти (сжимание известного каждому ручного динамометра;это изобретение Ф. Гальтона) сила удара кулаком, становая сила, рост, остротазрения. Кроме того, оценивались способности запоминать буквы и различать цвета,ряд физиологических возможностей организма и некоторые психические свойства. Пополной программе было обследовано 9337 человек.
Гальтонотмечал, что методически упорядоченное тестирование требует определенных условийэксперимента. Это был существенный отход от тысячелетней практики испытаний ипроверок, основанных на интуиции. Применительно к тестам значение деятельностиГальтона можно сравнить с тем, что сделал для физической науки своими остроумнымиэкспериментами Галилей. Набиравший силу радикальный эмпиризм рассматривалсярядом ученых конца XIX века как приемлемая альтернатива идеализму, аэксперимент – как настоящий фундамент науки. Хотя не все аппаратурные испытанияГальтона можно назвать тестами с позиции сегодняшнего дня, он сделал первый шагна пути создания объективных методов оценки способностей и свойств личности.
Другимвкладом Гальтона является выдвижение идеи статистической обработки результатовэксперимента. Сопоставляя по осям абсцисс и ординат средний рост родителей сростом их взрослых детей, то есть, откладывая точки на плоскости, он обнаружилтакой, казалось бы, естественный факт – чем выше был рост родителей, тем выше,в среднем оказывался и рост детей. Но затем его наблюдательный ум заметил, чтоу очень высоких родителей дети были, как правило, несколько ниже, в то времякак у родителей, рост которых был ниже среднего, дети оказывались нескольковыше ростом. Поскольку в этом проглядывало явное стремление потомства к среднемуросту, обнаруженная таким образом закономерная тенденция была истолкована им вкачестве общего закона природы, закона сохранения вида, и названа«регрессией к среднему.
Дж. Кэттеллпервым, вероятно, увидел в тестах средство измерения, казалось бы, неизмеряемых свойств личности. В работе, опубликованной в 1890 г., он дал список50 лабораторных тестов, к которым имелась стандартная инструкция. В той жеработе подчеркивался научно-лабораторный характер испытаний. В частности,указывалось, что лабораторию следует хорошо оборудовать, во время тестированияв нее не допускаются зрители; все испытуемые одинаково инструктируются, онидолжны хорошо усвоить, что и как нужно им делать. Кроме того, делалисьрекомендации по подсчету баллов.
Большинствозаданий Кэттелла и Гальтона можно сейчас назвать психомоторными заданиями,потому что их тестам явно не доставало стандартизации процедуры тестирования иправил интерпретации результатов. Надо ли говорить, сколь непривычной оказаласьидея измерения для педагогики и психологии конца XIX века. Практическиепотребности изучения способностей были сформулированы тогда в виде важной дляпедагогики и психологии проблемы исследования индивидуальных различий.Исследование этой проблемы и дало импульс к появлению первых тестов
Измерение спомощью тестов казалось тогда (а многим педагогам по гуманитарным дисциплинамкажется и по сей день) делом если не странным, то претенциозным. Обыденноесознание исходит при этом из аналогии с физическими измерениями и рассматриваетподобные попытки как математизацию, чуждую для гуманитарных наук.
К концу ХIХвека в Европе сложились две традиции в контроле знаний. В одной (ее можноназвать условно назвать немецкой) упор делался на устные формы экзамена, вприсутствии комиссии, состоявшей по меньшей мере, из двух человек. На экзаменедавались один (редко два) сравнительно объемных вопроса, ответ на которыедолжен был свидетельствовать об уровне знаний всего курса. Другая традиция,которую можно назвать английской, – это письменная форма контроля, во времякоторого испытуемым давалось десять–двенадцать коротких заданий из разных тем.
Начиная спервого десятилетия XX века обыденное представление о тесте и его научное определениестали заметно отличаться друг от друга. Хотя всякий тест включает в себязадания как элементы испытаний, он не сводится только к этому, ибо сейчас это иметод научного исследования, включающий в себя ряд требований измерения. Накаждом этапе развития науки менялись требования к тестам и сами тесты.Игнорирование этого диалектического момента нередко приводило к упрощенчеству воценках тестов. Упрощенчество проявлялось, главным образом, во взглядах на тесткак на средство, совпадающее с другими распространенными формами оценки знаний– такими, как, например, зачет, экзамен. Но это неверно. Тест являетсясредством педагогического измерения, что выгодно отличает его от всех остальныхформ педагогического контроля.
Перваяпопытка научного измерения интеллектуальных способностей детей была сделана вначале XX века. Это произошло во Франции. Авторы созданного для этой цели тестаА. Бине и Т. Симон провели эмпирическую проверку заданий, претендующих навключение в тест. Для оценки работоспособности заданий теста авторыиспользовали два основных критерия: 1) эмпирическую меру трудности каждогозадания, определявшуюся на группах детей разного возраста и 2) информацию остепени совпадения результатов теста с мнением преподавателей. Для достижениясопоставимости данных, полученных ими с данными других исследователей иминимизации ошибок измерения, А. Бине и Т. Симон приложили к тесту стандартнуюинструкцию по проведению тестирования.
Перваямировая война активизировала разработку тестов для определения профессиональнойпригодности и для ускоренной подготовки лиц, обладающих нужными для военногодела знаниями и навыками, интеллектуальными и физическими качествами.Интенсивное техническое перевооружение промышленности ведущих капиталистическихгосударств в начале XX века актуализировало проблему „человек — техника“. Все острее стала осознаваться мысль о том, что не каждыйжелающий сможет управлять сложными техническими устройствами: для этогонеобходимы знания, способности и соответствующие навыки, а значит, нужны тесты,профессиональный отбор и профессиональная подготовка. По данным английскойстатистики, в первую мировую войну только 2% потерь авиации были связанынепосредственно с боевыми операциями; 8% было потеряно из-за дефектовматериальной части, а больше всего — 90% потерь было вызвано профессиональнойнепригодностью тех, кто пилотировал самолеты.
Войнасущественно обострила интерес к вопросам соотнесения способностей человека стребованиями профессий. „Всем стало ясно, — писал в те годы Г.Мюнстерберг, — что никакая расточительность ценных благ не носит стольпагубного характера, как расточительность… живых сил народа,распределяющихся в полной зависимости от случая.… Совершенно не обращаетсявнимание на соответствие между трудом и работником“. Тем самым былаподготовлена почва для развертывания научно-исследовательских работ по тестовымметодам оценки личности. В США был создан первый вариант так называемогогруппового теста, который позволял быстро оценить пригодность призывников квоинской службе в различных родах войск. Созданный тест рассматривался кактайное оружие, поэтому все испытания, масштаб исследований и результаты не разглашались.На основании этих исследований производилось отчисление „негодныхлиц“, назначение на „черные работы“ неспособных к строю,комплектование унтер-офицерских и офицерских школ, выравнивание частей поуровню интеллектуальности, набор в специальные части и т.п.
Первые тесты дляобъективного контроля знаний, умений и навыков появились в начале XX века. Онибыстро завоевали популярность среди преподавателей вузов и школ в Англии и США,а позже в России и СССР. Примерно с этого времени их стали в США называтьпедагогическими. Именно эти тесты вызывали настороженное к себе отношение усторонников традиционной, „чистой“, без тестов, педагогической наукии практики. Такая же настороженность проявлялась и по отношению к педологии,широко опиравшейся на тесты. Появление в это время нового прикладногонаправления, педологии, не было исторической случайностью. Это было неизбежно,как появление других прикладных наук. Хотя педология претендовала на статус фундаментальнойнауки о комплексном развитии ребенка она, если судить по ее методам ирезультатам, была все-таки прикладной педагогикой, необходимо дополнявшейтогдашнюю отечественную педагогику в ее самом слабом месте — в связи науки спрактикой образования и обучения. Однако вместо сотрудничества педагогики ипедологии началось политическое избиение последней, окончившееся не научной, аполитической же „победой“ сторонников „чистой“ педагогики.На волне революционных преобразований „победили“ сторонники изгнанияиз школы тестов, любого контроля знаний и, вместе с этим, педологии. Педологиястала первой в списке наук, которые позже назовут репрессированными.
В те годы были, однако, идругие выступления — в пользу тестов. Так, известный психолог М.Я. Басов говорил:»Я думаю все же, что эта долгая, подчас острая критика тестовой методики… в конце концов, приведет не к ниспровержению, не к упразднению этойметодики, а, напротив, к ее упрочнению и к ее утверждению в определенныхграницах, в которых она, очевидно, имеет полное право на применение исуществование". Поскольку в то время тесты получили признание и развитиетолько в рамках прикладных направлений — педологии и психотехники, размежеваниеэтих направлений с педагогикой и психологией проходило, в первую очередь, поотношению к тестам. Помимо этого, обе стороны вели затяжные дискуссии свзаимными обвинениями. Педагогика и психология обвинялись в схоластике, узкомакадемизме, в неспособности воспринять новое и в отрыве от практики.Прикладники, в свою очередь, осуждались за узкий практицизм, противоречащийдуху науки, за отрыв от педагогики, психологии; они обвинялись также в голомэмпиризме, подражании западным образцам и в чрезмерном увлечении тестами.
Разрыв междуфундаментальным и прикладным направлениями был до недавнего времени характерендля многих других наук, но не везде он протекал столь болезненно, как впедагогике. Для представителей «чистой науки» прикладность не имелазаметной ценности. В 30-х годах ученые Кембриджа, как вспоминает Ч. Сноу, большевсего гордились тем, что их научная деятельность ни при каких мыслимыхобстоятельствах не может иметь практического смысла. Методы и результатыпедологии лежали в сфере прикладной деятельности, в то время как усилиятрадиционной педагогики были направлены на создание общей теории. Эти же годыхарактеризуются широким использованием тестов в других странах. Во Франции онистали применяться для дефектологических целей и для профориентации, в США тестыиспользовались при приеме на работу, в вузы, для оценки знаний школьников истудентов, для проведения социально — психологических исследований. Быласделана первая попытка объективно сравнить знания студентов различных колледжейштата Пенсильвания. Но и критика не успокаивалась. Она начинала приобретать всеболее широкий размах и выходить за рамки чисто научных дискуссий.
В США противиспользования тестов выступали представители основных групп населения — взрослые и дети, белые и негры, рабочие и управленческий персонал, а такжепредставители национальных меньшинств. Исследования по социальным последствиямтестирования выяснили, что 37% опрошенных возражали против использования тестовпри поступлении на работу, 50% — при продвижении по службе, 25% — противиспользования тестов в школе. Случаи нарушения этики в использовании тестовоказались столь злободневными, что ими вынужден был заняться конгресс, устроившийспециальные слушания по этому делу. В результате было принято решение,осуждающее неэтичное использование тестов. В августе 1966 г. в сенате СШАобсуждалось предложение о полном запрещении тестов, но это предложение не былоподдержано большинством.
В зарубежной литературевыделяется несколько источников критики тестов. Первый источник Бримусматривает в личностном портрете критиков. В числе последних чаще другихоказываются те, кто не склонен к интроспекции, авторитарен в межличностныхотношениях, нетерпим к мнению других и возражает против всяких социальныхперемен. Как правило, в США эти лица примыкают к правым политическим группам,требующим запрещения тестов. Второй источник критики видит в системе социальныхценностей, имеющей свои корни в отношении к вопросам равенства людей. Если вобществе одобряется принцип открытого соревнования его членов, то в каждомпоколении на передовые позиции выдвигаются наиболее талантливые люди. В такомобществе каждый имеет возможность внести свой вклад в соответствии со своимиспособностями. Последние должны быть оценены, и потому ориентация на этотпринцип создает благоприятное отношение к тестам. Третий источник, по мнению Кеттела,является следствием эмоционального и сентиментального отношения людейэстетического и нарцисстического типа ко всякой попытке представить«уникальную, художественную личность», как он пишет, в виде формул ит.п.
Тесты применялись в двухосновных сферах: в образовании и в сфере профотбора-профориентации. Затронутыетестами столь важные сферы жизни и прямое влияние результатов тестовогоконтроля на судьбы миллионов людей породили широкую гамму мнений в пользу ипротив тестов. Большой энтузиазм тех, кто их применял, и не меньший пессимизмтех, кто видел несовершенство этого метода или пострадал в результате егонеправильного использования, породили во многих странах, в том числе и в СССР,письма в правительственные органы и в газеты с требованием запрета тестов.
Застой в разработкетестов и их применении продолжался около сорока лет — с середины 30-х до конца70-х годов, после чего вновь стали появляться публикации по этой проблеме,направленные как в пользу тестов, так и против них. Типичные аргументыоппонентов тестового метода сводились, в обобщенном виде, к следующимутверждениям:
— тесты используются вкапиталистических странах, где с их помощью решаются вопросы расовой иклассовой дифференциации;
— применение тестовунижает достоинство личности, особенно в случаях, когда получаемые баллыоказываются ниже среднего уровня;
— никакие методыизмерения не могут заменить преподавателя и его личный опыт;
— в педагогике нет и неможет быть точной единицы измерения, и потому не следует терять время, силы исредства на разработку неточных методов.
В этихутверждениях много спорного, и даже ошибочного. Что касается применения тестовдля целей расовой и классовой дифференциации, то вряд ли здесь надо винитьтесты. Как всякое средство, они могут быть использованы в пользу или во вред, взависимости от идеологии, политики, компетенции, целевых установок и т.п. Овозможном унижении достоинства личности, наклеивании ярлыков и т.п. можносказать, что для предотвращения неприятных последствий такого рода, если этовообще возможно при культурной работе, разработаны специальные правилаобращения с тестами и испытуемыми. В этих правилах все возникающие вопросыэтического характера предусмотрено решать в пользу личности. Соблюдениеэтических норм является непременной частью профессиональной подготовки тех, ктоработает с тестами. Тестовые методы не призваны заменять преподавателя и еголичный опыт, а наоборот, призваны помогать ему, освободив его от рутиннойработы и дать, тем самым, ему возможность сосредоточиться на повышении качествапреподавания. Во-вторых, хотя точность педагогических измерений и не можетсравниться с точностью физических измерений, преимущества первых, тем не менее,достаточно очевидны, они описаны повсеместно.
В то время как в нашейстране обсуждался вопрос, быть тестам или не быть, в США ставились другиевопросы: как повысить качество тестов, как сделать результаты тестированиянезависимыми от группы испытуемых и от того или иного набора заданий? К началувторой мировой войны там уже был накоплен большой опыт разработки тестов. Войнадала сильный толчок авиастроению. Соответственно, понадобились сотни тысячпилотов, штурманов, механиков, стрелков-радистов, специалистов по наладкенавигационного оборудования. Каждая из перечисленных профессий требоваланаличия определенных способностей — интеллектуальных, физических, психомоторных,и все эти способности надо было быстро и эффективно оценить. Для участия в этойработе были мобилизованы ученые, занимавшиеся вопросами измерения в психологиии в социологии. По начальному образованию это были, в основном, математики,занимавшиеся вопросами соответствующих психологических или социологическихизмерений. С началом войны почти все кадры так называемых психометриков былинаправлены в специально созданную воинскую часть на авиабазе Рандольфильд, дляпроведения там, на основе многостороннего тестирования, профессиональногоотбора и классификации готовящегося по всей стране персонала из числа летчиков,штурманов, мотористов и т. д. Поскольку война диктовала короткие срокипроведения исследования, а тестов не хватало, вся работа по профотбору,созданию и по проверке качества тестов велась параллельно. Например, из 550тысяч человек, подвергнутых тестовому контролю в одном, 1942 году, примернотолько половина была допущена к обучению отмеченным профессиям.
Между тем общественностьпродолжала высказывать сомнения в качестве используемых тестов. Поэтому былорешено провести эксперимент. В рядах самих экспериментаторов не былоединодушия, поскольку предстояло проверить эффективность их собственной работы.Среди аргументов, выдвигавшихся против эксперимента, были: нужен ли он втрудное военное время; а вдруг вскроются недостатки тестов, кажущихся сейчасвполне работоспособными, а главное, уже утвержденных руководством...".
Экспериментальная группасостояла из 1143 человек, отобранных в случайном порядке из числа лиц,прошедших тестирование по полной программе и зачисленных на курсы подготовкивоенных летчиков, независимо от показанных ими результатов в тестировании.Контрольную группу составили свыше 230000 человек, допущенных к обучению в 1943году в зависимости от полученных ими тестовых баллов. Результаты сравненияоказались следующими: в экспериментальной группе только 23 процента смоглизакончить курс обучения, в то время как среди отобранных с помощью тестовпроцент успешно окончивших летные школы оказался более 60. Различия, какговорят статистики, оказались весьма достоверными. Поскольку обучение военноголетчика стоит дороже подготовки профессора, а отчисление неудачниковпроводилось, как правило, не ранее того, как курсанты проходили примерно третьючасть срока подготовки, нетрудно было представить себе масштабы экономиисредств за счет использования тестов. Один из активных участников процессаотбора военных специалистов подсчитал, что на каждый доллар, затраченный на этупрограмму, бюджет сэкономил тысячу долларов.
Другой проектиспользования тестов в США был направлен на изучение и совершенствованиеметодов адаптации призывников к военной службе. В частности, он преследовалцель поднять боеспособность американских солдат за счет снижения у них чувствастраха. В соответствии с учением З. Фрейда, это чувство относилось к скрытым,или, иначе, латентным свойствам личности. Отсюда и название общей методологии исследованиятаких свойств — латентно-структурный анализ (от англ. Latent StructureAnalyses, или сокращенно, LSA). Эта методология нацелена на выявление латентныхкачеств и факторов поведения посредством математико-статистических моделей измерения.Было проведено широкомасштабное социально-психологическое исследование«American Soldier», призванное повысить боеспособность солдат за счетвыявления и устранения тех скрытых факторов, которые влияют на поведение солдатв боевой обстановке.
Понятие«латентная», или, как иногда пишут в нашей литературе,«скрытая» переменная невольно вызывает ассоциацию с метафизическимучением о неких скрытых от непосредственного восприятия«сверхфизических» сущностях каждой вещи или явления, взятых вне ихсвязей и отношений в окружающем их мире. Основываясь на этой ложной ассоциации,можно было бы, как делалось раньше, вообще не рассматривать идею латентно-структурногоанализа, считая ее очередным проявлением антидиалектизма в науке. Однако такойход мышления привел бы к ошибке, ибо научное мышление опирается не столько наассоциации, сколько на рациональность. А это, прежде всего, есть сферапринципов, допущений и процедур, обеспечивающих объективность, логическую принудительностьи результативность в процессе познания.
Смысл введения латентнойпеременной требует краткого разъяснения. Она представляет собой простейшуюформу реализации идеи существования скрытого фактора, влияющего на результатыиспытуемых. Результаты теста всегда содержат в себе ошибки измерения,затрудняющие оценку истинного значения тестового балла на латентной переменной.Поскольку латентная переменная появляется в результате концептуализации, онавсегда остается гипотетической переменной, на которой с большей или меньшейточностью оцениваются истинные результаты испытуемых. Латентная переменнаяпредставляет собой концептуальную модель интересующего исследователя качестваиспытуемых.
Попытки судить оневидимых вещах по видимым проявлениям имели место еще в глубокой древности.Так, например, Платон утверждал, что истинная астрономия занимается неизучением движения наблюдаемых небесных тел, а изучением законов движения звездпо математическому небу; несовершенным изображением последнего является видимоенебо. В эпоху Возрождения скрытые качества рассматривались как некие силы,присущие всем вещам, причем каждая вещь представлялась как нечто двойственное:чувственно воспринимаемый предмет и внутреннее «скрытое качество»,которое вызывало изменение наблюдаемых свойств. Эта идея вновь пробила себе дорогув науке середины ХХ века.
Развитие тестирования в России
Можносказать, что Россия конца XIX века позаимствовала в основном немецкий вариантпроверки знаний. Но в те годы здесь о тестах никто еще ничего не написал.Похоже, что в стране их не было.
В Россииконца XIX — начала XX века вопрос разработки тестов и их применения для оценкизнаний не ставился и не обсуждался. Как свидетельствуют первые отчетыСанкт-Петербургского педагогического общества, еще в 1872-1875гг. шли дискуссиилишь о полезности и вредности балльных оценок.
Суть и духдискуссий передает отрывок из статьи О.Эрна: "… ни по одному изпоставленных вопросов члены педагогического общества не смогли прийти ксоглашению. Правда, под конец прений защитники баллов готовы были почтиуступить своим оппонентам. Они соглашались признать, что оценка успеховучеников баллами во многих отношениях неудобна и вносит в школу много нежелательныхэлементов; они решались даже отказаться от системы отметок, но только под однимусловием: они требовали, чтобы им точно и определенно было указано, чемпредполагается заменить баллы". Позиция сторонников изгнания балльнойоценки из российской школы отчетливо была выражена словами членапедагогического общества Миропольского:… «смерть баллам грозит неминуемая;не нынче, завтра, дни их сочтены». Участник тех дискуссий К. Сент-Илерпоставил ряд вопросов, касающихся применения отметок (баллов) в школе. Основнымиз вопросов был: следует или не следует успехи учеников выражать цифрами?Определенного ответа на него не было получено.
Соответственно,не велась научная работа в этой области. Но уделялось внимание улучшениюкачества контроля знаний. В конце XIX века в печати обсуждался вопрос овведении экзаменов. В циркуляре по Санкт-Петербургскому учебному округу “Опроизводстве испытаний зрелости без послаблений”, сообщалось, что во многихгимназиях испытания зрелости производятся крайне снисходительно, с весьмабольшими послаблениями. А это обстоятельство, в свою очередь, весьма неблагоприятноотзывается на всем ходе учебного дела, приучая воспитанников поверхностноотносится к усвоению преподаваемых им наук в надежде на ожидаемые послабленияна испытаниях. В этом же циркуляре имеются поразительно точные слова отребованиях к содержанию контрольных материалов: “не обременяя требованиямимелких и второстепенных подробностей… необходимо удостовериться в знаниисущественно-важного в каждом предмете”.
В мае 1918года было принято Постановление Народного Комиссариата по просвещению РСФСР, вкотором были отменены все экзамены – вступительные, переходные и выпускные. Вместес этим была отменена и балльная система оценки, как там написано, “познаний иповедения учащихся во всех, без исключения, случаях школьной жизни. Перевод изкласса в класс, и выдача свидетельств должны производиться на основании успеховучащихся, по отзывам педагогического совета об исполнении учебной работы. 2августа 1918 года был принят декрет Совета Народных Комиссаров РСФСР “Оправилах приема в высшие учебные заведения”, в котором утверждалось буквальноследующее: “Каждое лицо может вступить в число слушателей любого высшегоучебного заведения без предоставления диплома, аттестата или свидетельства обокончании средней или какой-либо школы”. Позже было подведено и обоснование подрешение об отмене экзаменов: “путем экзамена нельзя составить правильноепредставление о знаниях и об умственном развитии учащихся” и что “экзаменоказывает разрушительное действие на учащихся и студентов”, “имеет столькосмертных грехов, что вряд ли найдутся его защитники”.
Отход оттакого рода нигилизма наступило вначале в высшей школе, что случилось в 1924 году.Постановлением второй сессии ВЦИК было предложено “разработать вопрос о формахпроверки пригодности кандидатов к поступлению в вуз, а также выработать новуюсистему проверки знаний и учета успеваемости студентов”. В 1932 году ЦК ВКП(б)в своем постановлении посчитал необходимым “установление в конце годапроверочных испытаний для всех учащихся. В этом же постановлении естьлюбопытный пункт. “Всякие сложные схемы и формы учета и отчетности запретить”.
Постепенно возрастал иуровень всеобщего обязательного образования, с 7 до 10 классов средней школы,то есть решалась задача народного образования. Под влиянием эгалитаристскихустановок в педагогической среде актуализировалось множество расхожих афоризмовтипа «незаменимых людей нет», «нет плохих учеников, есть плохиеучителя», «не высовываться» и т.п. В стране, устроенной поэгалитарному принципу, люди рассматривались как взаимозаменяемые«винтики» общественной машины, управляемой Вождем. С начала тридцатыхгодов созрела идея тотального контроля, в рамках которой в системе образованиявновь начали использоваться экзамены.
В середине тридцатыхгодов обнаружилась неадекватность системы оценки знаний задачам, поставленнымпартией перед советской школой. В Постановлении Совета народных Комиссаров и ЦКВКП(б) от 3 сентября 1935 г. утверждалось, что «установленнаянаркомпроссами система оценки успеваемости не дает представления о фактическихзнаниях учащихся и ведет, на практике, к понижению уровня учебы». Там жепоручалось отделу ЦК ВКП(б) разработать, обязательно для всех школ СССР, нормыоценки успеваемости учащихся, с тем, чтобы один и тот же уровень знаний одинаковооценивался во всех школах". Ввиду неспособности учебного отдела ЦК партии решитьэту методическую задачу поручение так и осталось невыполненным. Не решили её ивсе последующие поколения руководящих деятелей союзного и российскогообразования.
Надвигалась втораямировая война, для победы в которой требовались миллионы технически подготовленныхспециалистов. По всей стране открывались новые учебные инаучно-исследовательские институты, военные училища. Промышленность постепеннопереводилась на военные рельсы. Для отбора курсантов в летные училищасоздавались медицинские комиссии, которые и должны были заниматься вопросамиесли не профессионального отбора, то хотя бы отбраковкой тех, кто не годилсядля исполнения летной работы по показателям здоровья. Тестов как системы заданийвозрастающей трудности в этих комиссиях еще не было. В основном тамиспользовались различные пробы, измерения уровня давления крови, пульса,проверялись способность различать цвета, реакция на звук, нервная проводимость,устойчивость к головокружению. Посредством контрольных нормативов проверялась ифизическая подготовленность.
Возрождавшаяся послереволюционных потрясений советская школа открылась практически всем известнымтогда в мире педагогическим новациям, таким как Вальдорфские иМонтессори-школы, Дальтон-план и др. Среди этих новаций были и тесты. Расцветбыл, однако, недолгим. К началу 30-х годов все начало свертываться ивозвращаться к старым формам. В 1933 году было принято решение о проведениипервых в истории советского государства проверочных испытаний всех школьников.В руководящем документах по этому поводу специально отмечалась«недопустимость — как там было написано — нарочитого»срезывания" учащихся путем постановки особо трудных для них,«каверзных вопросов». Поскольку подобные явления происходили нетолько тогда, но происходят, в массовом порядке и сейчас на приемных экзаменахв вузы, то нечто подобное, но в современной формулировке, и с меройответственности, полезно было бы ввести и в «Порядок приема в государственныеобразовательные учреждения высшего профессионального образования», которымМинобразования пытается сейчас регламентировать процесс оценки знанийабитуриентов.
Введение массовогоконтроля знаний школьников совпало по времени с периодом укрепления режималичной власти Сталина, с его стремлением напрямую подчинить себе работу Наркомпросов.В связи с тем, что большинство его политических оппонентов благожелательноотносились к педологии и к идее тестирования, Сталин развернул борьбу противпедологов, считая их своими если не явными, то потенциальными противниками.Появление в то время педологии не было исторической случайностью. Это было также неизбежно, как появление и других прикладных наук. Хотя педологияпретендовала на статус фундаментальной науки о комплексном развитии ребенка,она была, если судить по методам и результатам, все-таки прикладнойпедагогикой, необходимо дополнявшей педагогику в ее самом слабом месте — связинауки с практикой образования и обучения. Однако вместо сотрудничествапедагогики и педологии началось политическое избиение последней, что окончилосьне научной, а скорее, политической «победой» сторонников «чистой»педагогики. Таким образом, педология стала первой в списке наук, которые позженазовут репрессированными.
Запрещение педологии, авместе с нею и тестов, стало одним из первых фактов идеологического давления нанеугодные науки, научные направления и на отдельных ученых. В числе пострадавшихот такого давления, а временами просто наглой и подлой травли, оказались авторывыпускавшихся в конце 20-х — начале 30-х годов сборников «Тесты: теория ипрактика». Это М.Я. Басов, М.С. Бернштейн, П.П. Блонский, А.П. Болтунов,С.М. Василейский. Воцарившаяся после запрета ситуация отрицательного отношенияк тестам, в которой последние отвергались, как говорится, с порога не давалапрактической возможности публиковать что-либо в их защиту. Всего в 1937 годубыло репрессировано более 300 ученых — педагогов и педологов. Былирепрессированы также наркомы просвещения Cоюза и всех республик, ихзаместители, начальники отделов и многие другие. В политической жизни страны резкоусилился субъективизм. Субъективизм в политике, а затем и в педагогике,препятствовал развитию любого объективного метода контроля, ибо в последнем усматриваласьугроза существованию командно-административной системы, с ее тщательнокультивируемым «отрицательным» подбором кадров, в соответствии скоторым каждое последующее поколение управленческих кадров оказывается хужепредыдущего. Это происходит, в частности, из-за того, что решающими признакомподбора становятся не знания и не способности, а послушность в выполненииприказов вышестоящих, часто некомпетентных, а то и психически нездоровых лиц.Послушными легко управлять. К сожалению, ошибочная кадровая политикапродолжается в России и сейчас.
Тесты возниклизначительно позже того периода, когда в Европе уже сложились первые педагогическиесистемы Коменского, Ушинского, Дистервега, Гербарта, Песталоцци и др. ИдеяГельвеция о всемогуществе воспитания была подхвачена Марксом и абсолютизированана российской почве с начала 30-х годов — в форме господствующей идеи советскойпедагогической науки, основным предметом и целью которой стало воспитание вдухе преданности известным лицам и идеям; остальные составляющие, такие, какобразование и обучение, могли быть только воспитывающими в том же духе.Побочным продуктом этой идеи стала так называемая «воспитательнаяконцепция» профориентации, цель и методы которой выродились в пропагандурабочих профессий и в противоречащее здравому смыслу отрицание тестов.
Тесты запретили в 1936году как «буржуазные и вредные», но истинные причины запрета — расстановка сил в политической борьбе того периода. Воцарившаяся после запретаситуация отрицательного отношения к тестам не давала практической возможностипубликовать что-либо в их защиту. И эта ситуация продолжалась в течениепримерно сорока лет. В течение всего этого времени печатались в основном статьио вредности тестов, о недопустимости использования последних в отечественнойпедагогической науке и практике. Соответственно, в этих условиях трудно былонайти желающих заниматься тестовой проблематикой и вводить ее в планынаучно-исследовательских учреждений, а также писать труды на«недиссертабельную» тему. Педагогика того времени потеряла интерес ктестам и к проведению эмпирических исследований; отчасти поэтому она в течениемногих лет оставалась одной из немногих общественных наук, лишенныхкачественного эмпирического базиса. С той далекой поры эмпирическое направлениепедагогических исследований так и осталось в неразвитом состоянии.
Хотя в тридцатых годахпрактическая работа по тестам затормозилась, научное изучение действительныхвозможностей этого метода в СССР полностью не прекращалось. Часть тестов применяласьпод видом контрольных заданий, испытаний. И наоборот, различные испытаниянередко назывались тестами. Практика тестирования характеризовалась серьезнымипротиворечиями, что привело к запрету применения тестов в сфере образования,профотбора и профориентации.
С тех пор отношение ктестам стало неоднозначным. Одни видели в тестовом контроле средство приниженияроли педагога, воспринимали тесты как средство выражения недоверия к традиционновыставляемым оценкам и потому проявляли определенную настороженность. Другиесчитали сами тесты виновными в различных нарушениях и потому отвергали идеютестового контроля знаний, как говорится, с порога. И только немногиерассматривали их как средство радикального преобразования учебного процесса всторону его объективизации — и становились энтузиастами этого метода. Какпрозорливо отмечал П.П. Блонский, тесты — это больше, чем средство контроля;это средство рационализации школьного дела, и хочется добавить, образования вцелом.
Поскольку тесты считалисьосновным методом педологии, то отказав в научности педологии, руководителипедагогической науки тех лет отказались признать также и научность тестов.Здесь было допущено сразу несколько ошибок, возможно, преднамеренных. Одна — вотношении к педологии, которая имела ряд интересных научных достижений, невписывавшихся в современную ей педагогику. Вторая ошибка — в признании тестов вкачестве специфического метода педологии. Хотя известно, что абсолютноспецифических частных методов (в которых бы не присутствовали элементыпознания, применяемые в других методах) нет. И третья ошибка — отказ в признаниинаучности тестового метода. Это сильно затормозило развитие самойпедагогической науки, лишив ее предпосылок для разработки самого эффективногометода контроля знаний.
В СССР условий для занятийтестами фактически не было.
Тестирование в СССР иРоссии периода пятидесятых — семидесятых годов нашего столетия можноохарактеризовать как застой. Над общественным устройством жизни довлелсубъективизм членов Политбюро ЦК КПСС. Субъективизм, как известно,мировоззренческая позиция, игнорирующая объективный подход к действительности,отрицающая объективные законы природы и общества. Он всегда препятствовалразвитию общества, а вместе с тем, и тестовых методов объективного контроля знаний.
В СССР много писалось овредности и буржуазности тестов, о недопустимости использования последних впедагогической науке и практике. Субъективизму и связанным с ним различным нарушениямпротивопоставляется такая система организации контроля, которая исключила быотрицательные проявления в принципе, опиралась бы на объективированные методы.Однако в рамках авторитарной педагогики контроль нередко становился средствомне столько побуждения, сколько принуждения к хорошей учебе, что вызывало нередконегативную реакцию учащихся.
Анализ положения дел стестовым контролем в СССР и в других странах показывал: многие страны опережалинас по масштабам практической работы, по финансированию научных исследований,по числу публикаций, по подготовке научных кадров, по уровню и качествуразвития теории тестов, по технической и программно-вычислительной оснащенноститестового процесса. Наиболее развитые в тестовом отношении страны — Нидерланды,США, Англия, Япония, Дания, Франция, Израиль, Финляндия, Канада, Австралия,Новая Зеландия и др. Нет никакой случайности в том, что в этот список попалистраны с высоким уровнем жизни населения. По мнению В.С. Аванесова, здесь связьопосредована цепочкой: применение тестов благотворно влияет на качествообразования; качество образования связано с качеством управления; качественноеуправление создает предпосылки для повышения качества жизни населения. Таковаудивительная связь тестов с качеством жизни.
Хотя интерес к тестам вСССР заметно вырос, ситуация с ними не только не улучшилась, а в некоторомотношении даже ухудшилась. Потому что кажущаяся простота создания тестов, всочетании с конъюнктурными интересами породили множество некачественныхсамоделок, дискредитирующих этот перспективный метод научной организациисамоконтроля и объективного педагогического контроля знаний. Тестированиестановилось своего рода модой, особенно в престижных школах, где тесты начинаютприменять вместо приемных и выпускных экзаменов. Отчасти это происходило из-затого, что наиболее распространенным и признанным в мире методом объективнойоценки знаний считался именно тест.
И это не случайно. Тестыдают возможность заметно улучшить образовательный процесс, потому что обладаютрядом преимуществ перед другими методами контроля знаний; являясь обязательнойчастью многих педагогических новаций, они снижают затраты на проверку знаний,помогают выявить индивидуальный темп обучения, а также пробелы в текущей иитоговой подготовке. В сочетании с персональными ЭВМ, тесты помогают перейти ксозданию современных систем адаптивного обучения и контроля — наиболеесовременных организации учебного процесса. Без тестов невозможен переход ксамой прогрессивному на сегодня обучению учащихся на основе, так называемой унас системы полного усвоения знаний. Именно в такой системе тесты и задания втестовой форме буквально пронизывают всю учебную деятельность преподавателей иучащихся. Обучение начинается с входного тестирования, сопровождается текущимконтролем с помощью заданий в тестовой форме и заканчивается объективнымтестированием учебных достижений. Кроме того, тесты позволяют наладитьсамоконтроль — самую полезную для обучения и гуманную форму контроля знаний, атакже организовать рейтинг — эффективное средство повышения учебной мотивации.
Современнаятеория тестов (IRT)
Педагогическое измерениелатентных качеств в западной литературе ассоциируется с Latent Trait Theory; этим названием утверждается специфическаянаправленность и даже уникальность данной теории для измерения именно латентныхкачеств. Однако это неверно. На самом деле все, без исключения, теории тестовнаправлены на оценку истинных компонентов измерений, явно не наблюдаемых.
И все теории исходят изаксиомы устойчивого существования истинных (латентных) компонентов измеренияиспытуемых. В начале 30-х годов классик Чикагской психометрической школы Тюрстонподчеркивал важность индекса надежности результатов измерения (rxt). Этот индекс является мерой связинаблюдаемых значений каждого варианта теста с истинными, ненаблюдаемымикомпонентами измерений. В силу приведенных аргументов название Latent Trait Theory нельзя признать правильным.
Вероятно, поэтому частоприменяется второе название Latent Trait Theory — Item Response Theory. Ввиду отсутствия приемлемого аналога названия этойтеории на русском языке российский тестолог В.С. Аванесов, как и большинство наЗападе, называет её современной.
В фокусе изучения IRT находится, строго говоря, не тесты,как системы заданий, а отдельные задания. Вот почему это скорее не теория«тестов», а математизированная теория анализа характеристик тестовых заданий.
Не случайно главным в IRT являются утверждение о зависимостивероятности правильного ответа испытуемого от уровня подготовленностииспытуемого и от параметров задания. Эту зависимость удобнее представлять ввиде логистической функции.
Числу рассматриваемыхпараметров ставится в соответствие одна-, двух- и трехпараметрическая моделиизмерения. Эти модели с надлежащей полнотой изложены в работах многих западныхисследователей. Одним их первых исследователем этих моделей измерения в Россиибыл В.С. Аванесов.
Хотя отдельные методы IRT (например, расчет информационнойфункции теста) применяются для оценки соответствия теста уровнюподготовленности испытуемых, это — следствие суммирования значений информационныхфункций отдельных заданий. Всё отмеченное позволяет предложить новый вариантперевода названия IRT на русскийязык как математико-статистической теории анализа тестовых заданий. Чтоблизко к смыслу названия оригинала и согласуется с излагаемой нижеклассификацией теорий педагогического измерения латентных качеств.