Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых

Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых Румянцева Н.М. При формирования мирового образования (образование пере¬стает быть внутренним делом отдельной страны) необходимо вырабо¬тать единые стратегии в оценке качества образовательных услуг. Сис¬тема оценивания знаний и умений, имеющаяся в каждой стране, уже не является статичной, замкнутой в себе самой. Однако реформирова¬ние системы образования невозможно без реформирования системы оценивания,

контроля качества образования. Важное значение в настоящее время приобретает культура оценки и оценивания качества обучения. Оценивание - это процесс сбора и обработки действенной и надежной информации, которая позволяет участникам образовательного процесса принимать решения, необхо¬димые для совершенствования работы и достижения лучших учебных результатов. Своеобразной базой данных для оценивания являются государст¬венные стандарты, программы для преподавателя и для студента.

Ме¬ханизмами же контроля и оценки эффективности образовательного процесса становятся тесты. Всем известно, что в настоящий момент в системе образования Рос¬сии параллельно с традиционной системой оценки и контроля резуль¬татов обучения сложилась новая парадигма - тестирование. Это вы¬звано потребностью общества в получении независимой, объективной информации об учебных достижениях обучаемых. Возросшие за последние десятилетия масштабы использования те¬стов

во многих странах мира привели к созданию компаний и служб, которые занимаются разработкой тестов, их распространением, орга¬низацией массового тестирования, а также регулярным сбором ин¬формации в целях мониторинга качества образования. Западные страны в настоящий момент значительно опережают российскую сис¬тему тестирования по подготовке научных кадров, по уровню разви¬тия теории тестовых методов, по технической и программно-вычис¬лительной оснащенности процессов разработки, применения, обра¬ботки и

хранения тестовых заданий. Такая ситуация отставания противоречит тенденции достижения высокого качества отечествен¬ного образования, хотя в последнее десятилетия наметились и пози¬тивные изменения в этой области. К примеру, почти 10 лет функцио¬нирует Российская государственная система тестирования по РКИ. Стратегии и тактики совершенствования систем контроля. Уве¬личение масштабов тестирования в образовании и разработка госу¬дарственных образовательных стандартов

порождают спектр проб¬лем, условий и требований, которые нацелены на совершенствование систем контроля и оценки качества подготовки обучаемых, оценки са¬мого процесса тестирования, повышения его эффективности путем адаптации в условиях немедленного реагирования на индивидуаль¬ные особенности подготовки испытуемых. Попытки привнести элементы адаптивности в процессы обучения и контроля насчитывают многолетнюю историю. В определенной сте¬пени можно считать, что основные установочные идеи адаптивности берут свое начало

в учении великого чешского педагога-мыслителя Яна Амоса Коменского. Разрабатывая новые формы и методы обуче¬ния, ученый пришел к выводу о приоритете тех учебных заданий, которые отвечают природным возможностям детей, утверждая тем са¬мым необходимость посильных заданий, стимулирующих успехи в обучении. В последующие десятилетия идеи Я.А.Коменского поддер¬живались в разных формах обучения большим количеством педаго¬гов, в числе которых

были и русские: К.Д.Ушинский, Л.Н.Толстой и многие другие, которые видели возможность оптимизации обучения и контроля каждого из учеников во введении различных игровых форм обучения, в активизации самообучения и самоконтроля, в изу¬чении психологических особенностей личности каждого обучаемо¬го. Таким образом, уже в конце XIX - начале XX веков в педагогике прослеживается установка на учет индивидуальных особенностей обучаемых, на развитие их самостоятельного и творческого отно¬шения к учению, предоставление

им возможности проявления сво¬их склонностей. Говоря современным языком, можно утверждать, что в указанный период были заложены первые фундаментальные идеи адаптивного обучения и контроля. Правда, получить должную реали¬зацию в то время эти идеи не смогли. Позднее, в 20-е годы XX века, когда в образовательной системе нашей страны наблюдался период критики формализма и схоласти¬ки, оставшихся в наследство от дореволюционной школы

России, идеи развития творческой самостоятельности обучаемых, самоконт¬роля результатов учебной деятельности получили широкое распро¬странение. К числу первых советских педагогов, видевших перспективу разви¬тия образовательного процесса не в отказе от контроля, не в искусст¬венном преобразовании личности обучаемого, а в повышенном внима¬нии к индивидуально-психологическим особенностям учащихся, мож¬но отнести С.Т.Шацкого и П.П.Блонского. Они полагали, что важнее всего создать деловые отношения между учителем

и учеником, кото¬рые возникают при выполнении заданий трудных, но посильных для обучаемых. Задача педагога, следовательно, состояла в том, чтобы отобрать эти трудные, но посильные задания, которые способствуют установлению атмосферы сотрудничества в процессе обучения и контроля. В наши дни она оформилась в виде основополагающих идей адап¬тивного обучения и контроля, где адаптивность достигается путем от¬бора оптимальных по трудности заданий для обучения и контроля ре¬зультатов учебной

деятельности учеников или студентов. В этой связи возникает серьезная проблема методологического ха¬рактера. Она связана с теоретическим обоснованием специальных ме¬тодов для выделения оптимальных по трудности заданий при органи¬зации контроля и обучения каждого ученика или студента. Решение проблемы предполагает поиски ответов на ряд вопросов, среди кото¬рых главным является установление связи между уровнем подготов¬ленности обучаемых и характеристиками заданий, выделяемых для эффективной

организации контроля и обучения каждого ученика или студента. Ситуация в области адаптивного тестирования. М.Б.Челышкова, известный ученый в области педагогических измерений и оценки зна¬ний учащихся, провела анализ многочисленных работ отечественных и зарубежных исследователей в области тестирования и пришла к выво¬ду о том, что в настоящий момент отсутствуют значимые результаты по установлению связи между уровнем подготовленности обучаемых и ха¬рактеристиками знаний,

выделяемых для эффективной организации адаптивного обучения. В своих исследованиях М.Б.Челышкова пишет о том, что если обратиться к практике, то также можно проследить от¬рицательную тенденцию, которая заключается в доминирующей об¬щей направленности традиционных процессов обучения и контроля на какого-то «среднего обучаемого», отсутствующего в реальной жиз¬ни. Общеизвестно, что все обучаемые разные. Поэтому тенденция на «усредненность» приводит к тому, что у

части более сильных учащих¬ся не возникает стимулов для получения новых знаний и их развития. Другая часть обучаемых, у которых более низкий уровень подготовки, оказывается не в состоянии овладеть новыми знаниями даже с помо¬щью преподавателя (Челышкова М.Б 2001, с. 10-15). Можно отметить, что в последние годы в практике образования складывается ситуация, под влиянием которой традиционное тести¬рование, осуществляемое с помощью стандартизированных тестов,

постепенно перерастает в современные, более эффективные формы адаптивного тестирования, которые основываются на отличных от традиционного теоретико-методологических основах и иных техно¬логиях конструирования и предъявления тестов. В нашей стране теоретические исследования по проблемам адаптив¬ного тестирования представлены еще явно недостаточно. Назовем име-На Некоторых ученых, работающих в этом направлении: Абрамян

Г.В Аванесов B.C Нардюжев В.И Челышкова М.Б Шмелев А.Г. За рубе¬жом с начала 90-х годов адаптивное тестирование получило широкое применение в сфере практики. Однако можно отметить, что в отечест¬венных и зарубежных научных работах по данной проблематике еще слабо представлены вопросы классификации адаптивного тестирова¬ния, его функции, теоретические вопросы адаптивного обучения и адаптивного тестового контроля.

Очевидно, что в настоящее время проблема адаптивных тестов чрезвычайно актуальна. У истоков адаптивного тестирования лежа¬ло стремление к повышению эффективности тестовых измерений, что, как правило, связывалось с уменьшением числа заданий, вре¬мени, стоимости тестирования и с повышением точности оценок, полученных испытуемыми по результатам выполнения теста. Исс¬ледователи видели возможность повышения эффективности в адап¬тации тестов, трудность которых учитывала

диапазон подготовлен¬ности тестируемых. Мы в полной мере согласны с нашей американской коллегой Бетти Ливер (Ливер Б 2001), которая считает, что адаптивным должно быть не только тестирование, но и сам процесс преподавания. В своем иссле¬довании на эту тему она подчеркивает, что в процессе обучения надо постоянно думать о том, что есть учащиеся-синтетики, а есть аналити¬ки; встречаются в группе импульсивные и рефлексирующие студенты; необходимо помнить о том, что индуктивных учащихся, например, уто¬мляют объяснение

преподавателя и расстраивает необходимость си¬деть в течение длительного времени, слушая рассказ учителя и не имея возможности попробовать сделать это самим. Дедуктивные учащиеся живут правилами, любят слушать объяснения преподавателя. Не стоит ожидать, пишет Б.Ливер, от учащихся с доминированием правого полу¬шария, что они будут контролировать правильность своей речи на ино¬странном языке, так как они этого не делают и на родном языке.

Виды деятельности и тесты, основанные на внутреннем контроле, будут вы¬полняться такими учащимися очень плохо. Учащиеся с доминировани¬ем левого полушария, напротив, слишком контролируют свою речь, и попытки вовлечь их в беседу, особенно на первых этапах изучения ино¬странного языка, редко имеют успех. Поэтому часто результаты стандартизированных классических те¬стов дают неверное представление о том, что учащийся знает или что он умеет делать. Учитывая учебные стили учащихся, преподаватели могут создать

собственные адаптивные тесты, дающие гораздо больше информации о способностях и знаниях учащихся, чем тесты стандартизированные. Так, тесты с открытыми вопросами, утверждает Б.Ливер, дают обучаемым синтетического типа возможность проявить свои творче¬ские способности и способности к синтезу. Тесты на решение опреде¬ленных задач позволяют учащимся-аналитикам применять свои спо¬собности к анализу. Письменные тесты дают достоверные результаты как для учащихся визуального типа, так и для

обучаемых кинетиче¬ского типа, а визуальные тесты, безусловно, лучше применимы для учащихся визуального типа. Импульсивные студенты хорошо справ¬ляются с традиционными тестами с ограниченным сроком выполне¬ния; рефлексирующим студентам потребуются тесты, в которых не за¬дан лимит времени. Для учащихся синтетического типа трудны тесты с возможностью множественного выбора вариантов ответа. Студен¬ты-аналитики, считает Б.Ливер, выигрывают от тех видов деятельно¬сти, которые позволяют им углубиться

в детали, проанализировать, сделать вывод. Таким образом, из сказанного выше следует, что аме¬риканские ученые активно используют данные психологии в обуче¬нии и оценке знаний и умений учащихся. Назовем факторы, формирующие, на наш взгляд, нынешнюю ситу¬ацию в сфере адаптивного тестирования в России и способствующие актуализации этого направления: • в общем и высшем российском образовании происходит резкое расширение объема содержания образования: информатизация всех уровней образования, увеличение

веса творческого аспекта в обуче¬нии на всех этапах образования; • очевиден и рост масштабов тестирования в образовательной си¬стеме нашей страны, где за последние пять лет количество школьни¬ков и студентов, прошедших через итоговое тестирование, возросло с 35 тысяч до 80 тысяч человек; • разработка нового поколения государственных стандартов, в ча¬стности по отдельным дисциплинам (имеем в виду РКИ), которые, в свою очередь, актуализировали проблему массовых измерений в от¬ношении уровня и качества

подготовки учащихся. Создание же государственных образовательных стандартов связывается, как нам кажется, с проблемой конкурентоспособности будущего специалиста, который должен обладать многоплановой, многоуровневой и многоаспектной компетенцией, в том числе в области иностранного языка и русского языка как иностранного. Тестирование, проводившееся русистами-практиками в течение по¬следних лет в Российском университете дружбы народов (ежегодно при переходе с одной образовательной ступени на другую

тестируется свыше 200 человек) показало, что, следуя принципам российской мето¬дики преподавания РКИ с ее личностно-ориентированным подходом к обучению и для повышения качества тестового контроля, для придания тестированию динамики необходимо учитывать индивидуальные осо¬бенности как самих испытуемых, так и особенности их подготовки. В этой связи одной из актуальных задач методики в последнее вре¬мя стала задача репрезентативного охвата содержания контроля в те¬стах по

РКИ. Практика тестирования показывает, что требования, за¬ложенные в государственных стандартах по русскому языку как ино¬странному и в соответствующих им тестах нередко рассогласованы с реальными возможностями учащихся. Так, в Российском университе¬те дружбы народов обучается большое количество студентов из стран Азии, Африки, Латинской Америки. Преподавателям-русистам хоро¬шо известны особенности данных учащихся и связанные с этим труд¬ности при обучении их русскому языку.

Порой эти люди не умеют не только писать, но и читать на родном языке, плохо владеют умениями общения. Задача преподавателей русского языка на этапе предвузовской подготовки, как правило, перерастает из практической в образо¬вательную. В силу этого достаточно сложно подготовить студентов из 160 стран мира, говорящих на 400 языках, к объективному и эффек¬тивному контролю. Безусловно, преподаватели-практики ищут пути повышения каче¬ства подготовки учащихся, стараются предотвратить

превращение обучения русскому языку в процесс подготовки к итоговому тестиро¬ванию. С этой целью создаются серии адаптивных тестов, что позво¬ляет учащимся привыкнуть к новым для большинства из них формам контроля, к новым заданиям открытой формы, в которых ставится за¬дача для студента-иностранца по определенным параметрам органи¬зовать свой ответ. Заметим, что иногда не всякий ответ носителя рус¬ского языка соответствует в полной мере требованиям

и параметрам, которые задаются в тестах для иностранных граждан. Об учете в контроле национально-ориентированного содержа¬ния обучения. Все более актуальной, на наш взгляд, становится проблема учета не стандартного, а национально-ориентированного со¬держания образования и обучения русскому языку в зарубежных странах. В разных странах сложился разный опыт преподавания рус¬ского языка, обусловленный особенностями образовательных

систем зарубежных стран. Наш анализ этой проблемы показал, что в так называемых восточ¬ных методиках (используются в странах Азии: Китае, Японии, Вьет¬наме и ряде других) обучение грамматике, лексике, чтению, письму превалирует над обучением устной речи. Допустим, что некоторые национальные «стереотипы» можно преодолеть за время интенсив¬ной учебной нагрузки по языку на подготовительном факультете, учитывая также, что студент живет в языковой среде.

А как быть со студентами, которые живут и обучаются у себя на родине, где прак¬тика преподавания определяется образовательными нормами не страны изучаемого языка, а родной страны? В качестве примера при¬ведем опыт тестирования, проведенного нами в Японии в универси¬тете города Саппоро. Наши контакты, пусть очень короткие, показа¬ли, что японцы - достаточно скромны, вежливы, тактичны, сдержан¬ны.

В их системе воспитания, которая складывалась веками, заложены такие традиции, как согласие с собеседником (обязатель¬ное согласие), правило мягко высказывать собственную точку зре¬ния, выслушивать мнение другого (японец старается выражать мне¬ние коллектива). Очевидно, поэтому трудно далась студентам сдача теста с заданиями такого типа: «Возразите собеседнику», «Укорите собеседника», «Выразите угрозу». Менталитет японцев не позволяет давать речевому партнеру такие жесткие установки.

Зарубежная пра¬ктика тестирования показывает низкую эффективность таких зада¬ний, как «Выразите восторг, восхищение чем-нибудь». В Китае, Япо¬нии, ряде других стран, где не принято выражать «бурные» эмоции, Речь человека (особенно при посторонних, особенно при иностран¬цах, особенно в присутствии преподавателя) очень сдержанна и так¬тична. Добиться реализации заложенной в тесте интенции такого рода довольно нелегко. Сложно также вовлечь, например, арабского или индийского студента в диалог об их отношении к холодному

оружию (материалы ти¬повых тестов), т.е. о том, нужно или не нужно применять его в особых, критических случаях. Этого просто может и не быть в житейском опыте учащихся. Более того, мы хорошо знаем, что во многих странах мира продажа оружия запрещена. Как в таком случае преподавателю-тестору достичь результатов в контроле навыков и умений испытуемого? Безусловно, для тестирования устной речи нужно тщательно под¬бирать темы, характерные для национального

менталитета, а не про¬тиворечащие ему. Адаптивное отношение к тестовому контролю выражается и в учете возрастных особенностей учащихся. Трудно объективно оце¬нить умения в устной речи у учащегося по следующему заданию: «Вас заинтересовала реклама или объявление в газете, рассказываю¬щее о том, как воспитывают детей в московском детском саду, так как вы хотите устроить своего ребенка в определенный детский сад. Позвоните по указанному в объявлении телефону и организуйте свой диалог на заданную тему».

Заметим, что, во-первых, не для всех ино¬странных студентов ясно, что такое российский детский сад, во-вто¬рых, на их родине устройство детей в детский сад предполагает часто совершенно иной набор вопросов, например, обязателен вопрос о стоимости этой услуги. Кроме того, встает вопрос - откуда студенту вообще знать о том, что спрашивают родители в таком случае. Наи¬более находчивые испытуемые свое неумение организовать предпо¬лагаемый диалог шутливо объясняли

так: «Будь я отец, я бы не по те¬лефону узнавал о том, где будет воспитываться мой сын или моя дочь, а поехал бы посмотреть на месте» (подобное «разрешение» во¬проса было предложено тестируемыми из Японии и др.). К сожале¬нию, в наших тестах встречаются такого рода «проблемные» для ис¬пытуемого и преподавателя-тестора задания. Конечно, многие недо¬четы заданий можно устранить, в частности, через ориентацию тестового материала не только на реалии

России, но и на реалии тех стран, студенты (учащиеся) из которых проходят тестирование. Адаптация в данном случае подразумевает как основательную под¬готовку учащихся, так и подготовку учебных и контрольных мате¬риалов в плане соотнесения речевых и культурных традиций раз¬ных стран. Тестирование, безусловно, должно быть адаптивным по своей национальной ориентации. Развитие же национально-ориен¬тированных тестов и их внедрение в систему тестового контроля, на наш

взгляд, призвано стать задачей недалекого будущего. Таким образом, опыт тестирования по русскому языку как ино¬странному учащихся разных национальностей, овладевающих языком как в России, в языковой среде, так и за рубежом, вне этой среды, убедительно подтверждает наш тезис о том, что тестирование по ино¬странному языку непременно должно учитывать индивидуальные особенности учащихся, прежде всего их национальность, особенности менталитета, культурные и исторические

традиции и т.д. В силу ука¬занных причин тестовые материалы должны быть адаптивными. Еще раз вернемся к разговору о совокупном объеме теста, как из¬вестно, включающего 5 субтестов: по лексике и грамматике, по гово¬рению, письму, чтению и аудированию. Мы подсчитали, что в неко¬торых тестах число заданий, включая линейные, т.е. относящиеся к одному тексту или к одному из заданий (например, по говорению: 1) просмотрите фрагмент фильма;

2) опишите ситуацию; 3) дайте описание действующих лиц; 4) выразите собственную оценку про¬исходящего и др.), объемно. Всегда ли эффективно достижение ка¬чества проверки через увеличение количества заданий? Очевидно, что количество далеко не всегда измеряет качество. Поэтому говоря о проблеме адаптивного тестирования, мы имеем в виду, кроме про¬чего и сказанного выше,

проведение теоретико-практических иссле¬дований по проблемам оптимизации процедуры тестирования. Под оптимизацией нами понимается такое построение уровневого кон¬троля, когда меньшим числом заданий удается быстрее и точнее оценить уровень и качество подготовленности тестируемых. Дума¬ется, что для решения этой проблемы потребуется еще немало уси¬лий, а самое главное - тесное сотрудничество практиков-тесторов с теоретиками. У нас пока еще мало теоретиков новой для научного обоснования

РКИ формы контроля. Возможно, руководство Голов¬ного центра тестирования, РОПРЯЛ выступят с инициативой по¬стоянных конференций, научных семинаров по вопросам теории лингводидактических тестов. Подводя итог сказанному, позволим сформировать вывод-опреде¬ление адаптивного тестирования. Итак, под адаптивным тестирова¬нием нами понимается процесс подготовки к контролю в форме тес¬товых методик через обучающие тесты градуированного (от простого к более сложному и уровневому) характера

и собственно контроль, корректно учитывающий индивидуально-личностные, национально и культурно ориентированные особенности иностранных учащихся, ов¬ладевающих русским языком в пределах и за пределами своей страны, в частности в среде изучаемого языка.