/>
В работе описывается авторское средство проектированияинтеллектуальных обучающих систем серии МОНАП. Процесс обучения рассматриваетсякак управляемый и контролируемый процесс решения учебных задач. Подробнорассматривается математическая модель управления процессом обучения,реализованная в авторских средствах. Для идентификации знаний обучаемогоиспользуется Байесовский подход. Адекватное управление процессом обученияосновано на стабилизации трудности учебных задач. В результате анализа ответаобучаемого МОНАП осуществляет на очередной шаг обучения задачу с оптимальнымзначением трудности для конкретного обучаемого.
В этой статье описывается история развития серииМОНАП: математической модели управления процессом обучения и авторских средств,основанных на этой модели. Описывается также ИОС GRAD, разработанная с помощьюавторских средств, основанных на МОНАП.
Для некоторых предметных областей средствапредоставляют полную автоматизацию разработки ИОС.
Рассматриваемые авторские средства включают подсистемумоделирования, обеспечивающую педагогу возможность комфортного проведениядидактических экспериментов, направленных на выбор оптимальных значенийпараметров модели управления обучением.
Введение
Развитие и совершенствование архитектурыинтеллектуальных обучающих систем (ИОС) находится в центре внимания многихисследователей [Conati C. & VanLehnK., 1996; Kinshuk & Patel,1997; Gertner A. et al.,1998; Yang & Akahory, 1999]. Одним из основных направлений проводимыхработ является решение проблемы адаптивного управления процессом обучения. Вслучаях, когда в алгоритмах управления используются дидактические принципыобучения, инвариантные к предметной области (ПО) обучения, разрабатываютсяинструментальные средства проектирования ИОС. Педагог, использующий такиесредства в конкретной ПО должен обеспечить параметрическую настройку этихпринципов к ПО и конкретным обучаемым для обеспечения адекватности управленияобучением в проектируемой ИОС.
Необходимая формализация основана на алгоритмическомподходе к процессу обучения. Этот подход направлен на решение следующихосновных проблем:
разработка решающих алгоритмов конкретных учебныхзадач и изучение обучаемыми применение этих алгоритмов;
разработка алгоритмов адаптивного управленияобучением, которые реализованы в ИОС.
Алгоритмы решения учебных задач, разработанныепедагогом на основе анализа изучаемой предметной области и описанныепосредством совокупности правил (операций): ЕСЛИ (условие), ТО (действие).
Инструментальные средства МОНАП предоставляютавтоматизацию проектирования ИОС, реализуя алгоритмы адаптивного управленияпроцессом обучения в выбранной ПО [Galeev I. et al., 1998; Galeev I.,1999]. Вместе с основной функцией МОНАП предоставляет автоматизациюпроектирования подсистемы объяснений. Подсистема объяснений формирует ответ навопрос обучаемого «ПОЧЕМУ?» в форме того правила в котором имела место ошибка,пока обучаемый решал учебную задачу. Здесь используется база данных, содержащаясовокупность, сформулированных педагогом.
Для различных категорий обучаемых в одной и той же ПОцелесообразно использовать различные среды, отличающиеся друг от другадидактическими характеристиками в рамках единой модели обучения. В этом случаенеобходимо поддерживать механизм наследования свойств, обеспечивающийсовместное использование данных различными ИОС. Требования реализованы втехнологии формирования семейства ИОС как сети, которая по существуминимизирует трудность формирования новых ИОС, принадлежащих семейству.
В этой статье также описан подход к проектированиюИОС, который предлагает альтернативу разработке предметно-зависимых подсистемИОС для некоторых ПО. Такой подход существенно уменьшает трудностьпроектирования новой ИОС.
Основные понятия
В результате анализа ряда теорий обучения выделенследующий ряд принципов организации обучения, инвариантных к ПО обучения.
Процесс обучения рассматривается как управляемый иконтролируемый процесс решения учебных задач. Определение свойств учебных задачи выдача подкреплений должны осуществляться на основе идентификации знанийобучаемого на каждом шаге обучения. В процессе обучения должен соблюдатьсяпринцип перехода от усвоения простого учебного материала к сложному. Переход кусвоению нового учебного материала осуществляется в случае успешного усвоенияпредыдущего материала. В процессе обучения должна осуществляться стабилизациясубъективной степени трудности учебных заданий для каждого обучаемого.
Формализация выделенных принципов осуществляетсяследующим образом.
Экспертом-педагогом разрабатывается алгоритмическоепредписание, описывающее пути решения учебных задач в заданной ПО обучения.Множество типов операций, выполняемых обучаемым при решении указанных задач исоответствующих алгоритмическому предписанию, обозначается через />. Свойства конкретной задачиопределяются вектором операций, используемых для ее решения: />, где /> — число операций />, применение которыхнеобходимо для решения задачи />. Всезадачи ПО обучения могут быть разделены на />классов,каждый из которых характеризуется соответствующим уникальным подмножествомтипов операций />, используемых привыполнении задач, принадлежащих /> -муклассу. В свою очередь задачи, принадлежащие />-муклассу, могут быть разнотипными, то есть отличаться друг от друга тем, что ихсвойства описываются различными векторами />и/>/>.
В качестве основного компонента модели обучаемогоиспользуется вектор />, где /> — вероятность правильногоприменения операции />на />-м шаге обучения определяетсякак: />. Мера трудности задания />вводится как средняя доляошибок, ожидаемых при выполнении задания:
/>,(1)
где />-математическое ожидание числа ошибок при выполнении задания (трудоемкостьзадания), то есть />, где /> - вероятность неправильногоприменения операции />на />-м шаге обучения.
В соответствии с принципом стабилизации субъективнойстепени трудности учебных заданий необходимо стремиться к тому, чтобы на каждомшаге обучения выполнялось неравенство: />,где /> - оптимальная мератрудности; /> — размер интервала.
С учетом введенных определений формулируется цельобучения:
/> (2)
где /> -требуемое значение вероятности правильного применения операции; /> — требуемая сложность задачив />-м классе задач; /> — время обучения.
Если достигнут требуемый уровень обученности, тообучения успешно заканчивается. Предусматривается возможность аварийногоокончания обучения в случае, когда процесс обучения не является эффективным,что оптимизирует затраты на его проведение. На каждом шаге обучения модельобеспечивает идентификацию знаний обучаемого и вынесение решения о продолженииобучения или его завершения (успешном или аварийном).
В настоящее время нами разрабатывается расширениемодели. Это даст возможность адаптивно формировать теоретический материал дляобучаемого.
Идентификация знаний обучаемого
Идентификация знаний обучаемого (определение значений />) осуществляется следующимобразом. Для каждой операции />вводится />гипотез />, соответствующих />состояниям обученности.Каждому />-му состоянию обученностисоответствует условная вероятность /> правильногоприменения операции /> в каждом из />её применений, равная />.
Гипотезы /> образуютполную группу несовместных событий, то есть имеет место: />, где /> - вероятность гипотезы /> для операции />.
На каждом шаге обучения наблюдается событие />, состоящее в правильномприменении />-ой операции /> раз из /> заданных.
Эта информация служит для пересчета распределениявероятностей гипотез /> с помощью формулыБайеса.
Каждый />-й шагобучения характеризуется априорным и апостериорным распределениями вероятностейгипотез о состояниях обученности /> и />, связанных между собойследующей зависимостью:
/> (3)
где /> -определяется по теореме Бернулли, то есть:
/> (4)
где /> — числосочетаний из /> по />.
Учитывая, что априорное распределение вероятностейгипотез на />-м шаге совпадает сапостериорным распределением на />-м шаге,то есть имеет место />, формулу (3) можнопереписать в виде который подчеркивает её рекурсивный характер (учитывается всяистория обучения), а именно:
/> (5)
Вероятность правильного применения операции /> на />-м шаге определяется поформуле полной вероятности:
/> (6)
Окончательная оценка /> получаетсяприведением значения, вычисленного по формуле (6), до введенных состоянийобученности.
Осуществление на />-мшаге обучения контроля ошибок и выдачи необходимых объяснений позволяет вестипрогнозирование вероятности правильного применения операций /> на /> -й шаг обучения:
/> где/> (7)
Адаптивное управление процессом обучения
При вынесении решения о необходимости продолженияобучения модель определяет задание, адекватное знаниям обучаемого, на очереднойшаг обучения, то есть обеспечивает индивидуальную минимизацию времени обучения.Для этого используется алгоритм стабилизации меры трудности учебных заданий,который можно представить в виде следующей последовательности шагов:
Шаг 1. По результатам />-гошага обучения определяются значения /> для всех />.
Шаг 2. Прогнозируются значения /> на />-й шаг обучения: />.
Шаг 3. В рассматриваемом классе задач пересчитываетсяпрогнозируемое на />-й шаг обучениязначение трудности задач того же типа />,что и на предыдущем шаге. Если выполняется условие:
/> (8)
то задача указанного типа вновь включается в учебноезадание, формируемое на />-й шагобучения.
Шаг 4. Если условие (8) не выполняется, то для всехтипов задач, рассматриваемого класса вычисляются отклонения их значенийтрудности от оптимального:
/>.(9)
Шаг 5. Если требуется уменьшить трудность, то естьимеет место: />то врассматриваемом классе осуществляется поиск задач такого типа, трудностькоторых /> имела бы минимальновозможное отклонение от оптимальной:
/> (10)
При этом трудоемкость задач искомого типа не должнавозрастать, то есть: /> Кроме того, еслидля задач различных типов имеет место симметричное отклонение их значенийтрудности от оптимального:
/> (11)
то в задание, формируемое на />-й шаг обучения, включаетсязадача такого типа, значение трудности которой ближе к значению />, то есть для которой, врассматриваемом случае, дополнительно выполняется: />.
В противоположном случае, когда требуется увеличитьтрудность, то есть имеет место: />, так жеиспользуется критерий поиска (10). При этом должны соблюдаться противоположныеограничения. Трудоемкость задач искомого типа не должна уменьшаться, то есть /> Если имеет место симметрияотклонения трудностей (11), то дополнительно должно выполняться: />.
Ограничением на область применения модели выступаеттребование организации пооперационного контроля деятельности обучаемого повыполнению учебных заданий.
Проведенный анализ разработанной модели обученияпоказал, что она удовлетворяет основным требованиям, предъявляемым кматематическим моделям (адекватности, сходимости, универсальности,экономичности) и может служить основой для разработки инструментальных средствпроектирования подсистемы модели обучения в ИОС.
Авторские средства проектирования ИОС
МОНАП – ядро авторских средств проектированияподсистемы управления процессом обучением в ИОС. Подсистема управленияпроцессом обучения, спроектированная посредством МОНАП на базе пооперационногоконтроля ответов обучаемого, рассчитывает уровни усвоения материала обучаемымдля каждой операции (правила), используя Байесовский подход, который позволяетучитывать предысторию обучения. На основе анализа ответов обучаемых МОНАПопределяет учебное задание с оптимальным значением трудности для конкретногообучаемого и отправляет эту информацию в подсистему формирования заданий. Этаподсистема генерирует или выбирает задание из базы данных на следующий шагобучения. Таким образом, ИОС, спроектированная посредством МОНАП организуетадаптивное управление процессом обучения, т.е. обеспечивает полнуюавтоматизацию следующих интеллектуальных функций:
идентификацию знаний обучаемого;
принятие решения о продолжении обучения, достижениицели обучения, аварийное завершение;
определение свойств учебной задачи адекватной знаниямобучаемого на следующий шаг обучения.
Подсистема управления обучением построена на основеследующих моделей:
модель предметной области;
модель обучаемого;
модель управления процессом обучения.
В МОНАП могут быть выделены два основных компонента:
сервисные авторские средства, используемые длясоздания базы знаний и ее поддержки;
функциональные средства, используемые для обучающегодиалога и управления.
База знаний представляет собой совокупность средобучения. Структура базы знаний представлена на рис. 1.
Каждая среда обучения, включенная в базу знанийсодержит следующие знания:
знания о свойствах учебных задач (какого типа исколько операций необходимо выполнить для решения учебного задания);
знания об обучаемом (имя, текущий шаг обучения,свойства учебного задания на следующий шаг обучения, вероятности правильноговыполнения операций, вероятности гипотез об уровнях усвоения на текущий шаг);
знания об управлении процессом обучения определяемыесоответствующими значениями параметров модели обучения (число гипотез обуровнях обученности, оптимальное значение трудности задания, минимальныйуровень усвоения, «порог стресса» и т.д.)./> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> /> Monitor /> /> /> /> /> /> />
MONAP
Directory of Learning Environments
Leaning Environment
LEANERS Base
THEORY Base Rules Base
PROPETIES Base
Leaning Environment
LEANERS Base
THEORY Base Rules Base
PROPETIES Base
· · ·
/>/>/>Interchangeable components of
ITS family informationbase/> /> /> /> /> /> /> /> /> /> /> /> /> /> />
Subject-dependent subsystems of ITS /> /> />
Рис. 1. Структура базы знаний
Моделирование процесса обучения
В связи с тем, что невозможно дать точные иоднозначные рекомендации по параметрической настройке модели управленияобучением для произвольной ПО, возникает необходимость в расширении архитектурыИОС, а соответственно и инструментальных средств проектирования ИОС за счетвключения в них подсистемы моделирования процесса обучения./> />
При проектировании конкретной ИОС преподавательдолжен задать значения ряда параметров модели управления обучением (Рис. 2).
Рисунок 2./> />
Значения некоторых из указанных параметров могутсущественным образом влиять на то, какая задача будет выдана обучаемому всоответствии с его состоянием обученности. Практический опыт использованияМОНАП-ПЛЮС для проектирования ИОС GRAD [GaleevI. et al., 1998] показал, что заданиезначений указанных параметров могут вызывать затруднения у педагогов несмотряна то, что встроенные средства помощи содержат рекомендации по их выбору. Дляпреодоления этих затруднений педагог может использовать режим моделирования. Вэтом режиме (Рис. 3) предоставляется возможность задавать любые результатырешения задач.
Рисунок 3.
Педагогу наглядно представляются итоги идентификациизнаний обучаемого (используется байесовский подход) в цифровой и графическойформах, а также тип текущей задачи, которая будет предложена обучаемому длявыполнения на следующем шаге обучения в соответствии с его состояниемобученности и заданными значениями параметров модели обучения.
Варьируя результаты решения задач и значенияпараметров модели, педагог может подобрать такие значения, при которых модельобучения будет управлять процессом обучения оптимально с точки зрения педагога.В режиме моделирования доступны две различные формы графического представленияитогов идентификации знаний обучаемого. В числовой форме эти же данныеприведены в таблице, расположенной над графиком. Первый тип графика (Рис. 3)демонстрирует вероятности правильного применения обучаемым каждой операции назаданном количестве шагов обучения, то есть графически отображает данные,находящиеся в той или иной строке таблицы. Второй тип графика демонстрируетисторию изменения состояния обученности обучаемого по конкретной операции(графическое изображение того или иного столбца таблицы). Переключиться междуэтими двумя типами представления графической информации можно щелкнув левойклавишей мыши на соответствующем заголовке строки или столбца цифровой таблицысоответственно.
В связи с тем, что процесс обучения являетсямногофакторным, динамическим и слабо формализуемым процессом возникаетнеобходимость в наличие инструментов, обеспечивающих педагогу возможностьпроведения дидактических экспериментов с целью такой настройки, моделиуправления обучением в ИОС, которая позволяет учитывать конкретные условияиспользования. Реализованная в МОНАП подсистема моделирования отвечаетуказанным требованиям.
Интеллектуальная обучающая система, основанная наМОНАП
Во многих научных исследованиях показано, что CALLсистемы более эффективны, чем традиционный человек-учитель [Yang & Akahory,1999]. В результате анализа предметной области обучения (грамматики немецкогоязыка в части склонения имен прилагательных) разработаны структурыпредметно-ориентированных подсистем соответствующей экспертной обучающейсистемы (ИОС GRAD) [Galeev I. et al.,1999]. Подсистема модели обучения спроектирована с помощью инструментальныхсредств МОНАП. В соответствии с разработанной ранее архитектурой проектируемыхИОС определен состав предметно-ориентированного расширения среды обучения в ИОСGRAD и разработаны программные средства, обеспечивающие её создание иобслуживание, в том числе и возможность построения семейства ИОС врассматриваемой ПО обучения, имеющих сетевую архитектуру, т.е. использующихобщие компоненты информационных баз. Разработанная ИОС GRAD обеспечиваяадаптивный процесс освоения обучаемым грамматики немецкого языка в части склоненияимен прилагательных представляет собой гибкую систему открытого типа, способнуюрасширяться и изменяться по требованиям эксперта-педагога.
Актуальность усвоения грамматики немецкого языка вчасти склонения имен прилагательных обусловлена тем, что знания оприлагательном используются как при синтезе, так и при анализе немецкогопредложения. В случае синтеза предложения основной задачей при изученииприлагательного является правильное определение его окончания. В случае анализа(понимания) немецкого предложения знания о прилагательном могут игратьважнейшую роль при решении целого ряда задач анализа:
распознавание подлежащего;
различение числа;
распознавание распространенного предложения и т.д.
Таким образом, решая задачи синтеза, обучаемыйприобретает знания, которые могут быть использованы и при решении задач анализанемецкого предложения. В связи с этим целесообразно проектирование ИОС GRAD (GR-Grammatik, AD — Adjektiv), в которой учебным заданием является наборпредложений немецкого языка, содержащих основы прилагательных. Обучаемомунеобходимо правильно проставить требуемые окончания. Фрагмент учебного заданияможет выглядеть следующим образом:
Das klein… Kind trinkt warm… Milch.
На основе анализа морфологии прилагательного, а такжеучитывая результаты анализа морфологии определяемого существительного иартикля, сформулирован общий подход к формированию алгоритмических предписанийпо определению окончаний прилагательных в виде набора правил (операций) типа:«ЕСЛИ (условие), ТО (действие)». Указанные предписания представляютсобой реализации внешней формы представления знаний эксперта-педагога ограмматике немецкого языка в части склонения имен прилагательных. Очевидно, чтоможет быть сформирован целый класс таких алгоритмических предписаний на ЕЯ. Приэтом алгоритмические предписания указанного класса могут существенно отличатьсядруг от друга. Возможны следующие основные различия:
по типам выделенных операций, входящих валгоритмическое предписание;
по степени детализации выделенных операций, входящих валгоритмическое предписание;
по указанной экспертом-педагогом последовательностивыделенных операций;
по естественно-языковой форме представленияалгоритмического предписания, обусловленного как многозначностью, так исинонимичностью ЕЯ.
В качестве примера, иллюстрирующего потенциальноемногообразие алгоритмических предписаний в рассматриваемой ПО обучения можнопривести ряд операций, описывающих то или иное подмножество правил склоненияприлагательных в слабой форме:
ЕСЛИ перед прилагательным и существительным стоитопределенный артикль der или одно из местоимений dieser, jener, solcher, jeder,welcher и определяемое существительное мужского рода, ТО окончаниемприлагательного является -е;
ЕСЛИ перед прилагательным и существительным стоитопределенный артикль der и определяемое существительное мужского рода, ТОокончанием прилагательного является -е;
В рамках сформулированного общего подхода разработаноконкретное алгоритмическое предписание, для хранения которого используется файл«ПРАВИЛА». Эксперт-педагог может разработать свое, отличное от предложенного,алгоритмическое предписание, адекватно (как по естественно-языковой формепредставления, так и по содержанию) отображающее его знания в анализируемойпредметной области (ПО) обучения. Программные средства ИОС GRAD поддерживаюттакую возможность.
Определены следующие структурыпредметно-ориентированных подсистем ИОС GRAD.
Подсистема формирования учебных заданий представляетсобой совокупность банка учебных задач со средствами его создания и обслуживания,а также соответствующей программы, обеспечивающей предъявление обучаемомузадачи, свойства которой определяются подсистемой модели обучения всоответствии с текущими знаниями обучаемого.
Подсистема решателя задач отсутствует в связи сотказом от построения генератора задач.
Подсистема диагностики обеспечивает:
ввод ответа обучаемого;
анализ ответа обучаемого;
выдачу диагностических сообщений;
представление помощи обучаемому;
определение типов и количества допущенных ошибок;
формирование обратной связи и возврат управления.
Подсистема объяснений представляет собой расширениеподсистемы диагностики за счет включения в ее структуру файла «ПРАВИЛА»,используемого для формирования ответов обучаемому на его вопрос “ПОЧЕМУ?”.Ответ формируется в естественно-языковой форме в виде “ЕСЛИ..., ТО...”.
Разработаны программные средства, обеспечивающиесоздание и обслуживание предметно-ориентированного расширения среды обученияИОС GRAD. Указанные программные средства поддерживают уровень “открытости” ИОС,задаваемый инструментальными средствами проектирования МОНАП-ПЛЮС. Разработанпредметно-ориентированный компонент учебного диалога, осуществляемыйсоответствующими предметно-ориентированными подсистемами ИОС GRAD привыполнении их основных функций. Кроме того, в процессе указанного диалогапредусматривается анализ логической целостности (полноты и непротиворечивости)информационной базы ИОС GRAD, сопровождаемый выдачей аварийных сообщений вадрес эксперта-педагога в случаях ее нарушения.
ИОС GRAD, обеспечивая адаптивный процесс усвоенияобучаемым грамматики немецкого языка в части склонения имен прилагательных,представляет собой гибкую систему открытого типа способную расширяться иизменяться по требованиям эксперта-педагога. Используя предоставляемые емупрограммные средства, эксперт-педагог может:
изменить существующую (поставляемую) ИОС;
построить набор независимых и существенно отличныхдруг от друга ИОС в рассматриваемой ПО обучения для различных категорийобучаемых;
построить семейство ИОС в рассматриваемой ПО обучения,имеющих сетевую архитектуру, то есть использующих общие компонентыинформационных баз.
Дискуссия и выводы
В настоящее время, ведутся работы по созданию CALLсистемы по русскому языку в части склонения имени прилагательного посредствомМОНАП. В будущем планируется апробировать предложенный подход в других ПО.
Общеизвестны преимущества Web-based интеллектуальныхобучающих систем. Многие из существующих ОАС (обучающая адаптивная система) вWeb, например, ELM-ART, CALAT, WITS и Belvedere, были разработаны на базе болееранних ИОС [Brusilovsky P., 1998]. В известных нам АОС вWeb авторские средства проектирования курсов доступны только непосредственно насервере разработчика системы. Это сильно сужает круг экспертов-педагогов,имеющих возможность создания своих авторских курсов в этих системах, что влечетза собой ограничение количества создаваемых курсов. Поэтому, одной из основныхзадач новых версий MONAP является разработка и реализация инструментальныхсредств проектирования сред обучения с помощь которых педагог с удаленногокомпьютера, подключенного к Internet, сможет создавать свои среды обучения. Врезультате появляется возможность множеству педагогов в одной ПО строитьмножество сред обучения с различными дидактическими характеристиками. Таким образом,система превращается в удобный инструмент для постановки широкомасштабныхпедагогических экспериментов и сбора большого количества полезнойстатистической информации, что расширяет ее возможности и в итоге увеличиваетценность для обучаемых.
Списоклитературы
[Conati C. & VanLehn K., 1996] Conati,C. & VanLehn, K., POLA: A student modeling framework for probabilisticon-line assessment of problem solving performance. In Proceedings of UM-96,Fifth International Conference on User Modeling. Kailua-Kona, HI: User ModelingInc.
[Galeev I. et al., 1996] Galeev, I.,Ivanov, V., Akhmadullin, M. A Learning Model in MONAP // Human-ComputerInteraction. The 6th International Conference. EWHCI'96. Moscow, Russia, August12-16, 1996. — P.320-323.
[Kinshuk & Patel, 1997] Kinshuk, Patel,A. “A Conceptual Framework for Internet based Intelligent Tutoring Systems”Knowledge Transfer, volume II, Ed. A. Behrooz, pAce, London, 1997, pp. 117-124
[Galeev I. et al., 1998] Galeev, I.,Ivanov, V., Akhmadullin, M. The experience of development of intelligenttutoring systems, in proceeding of 27th International symposium«Ingenieurpädagogik'98”, Volume 2 „Padägogische Probleme inder Ingenieurausbildung“ — pp. 255-258, Moscow, 1998.
[Brusilovsky P., 1998] Brusilovsky, P.Adaptive Educational Systems on the World-Wide-Web: A Review of AvailableTechnologies, in proceedings of 4th International Conference on IntelligentTutoring Systems (ITS'98), San Antonio, 1998.
[Gertner A. et al., 1998] Gertner, A.,Conati, C., and VanLehn, K. Procedural help in Andes: Generating hints using aBayesian network student model. In: Proceedings of the Fifteenth NationalConference on Artificial Intelligence AAAI-98. Cambridge, MA: The MIT Press.pp.106-111
[Yang & Akahory, 1999] Yang, J. Ch.,Akahory, K. An Evaluation of Japanese CALL Systems on the WWW Comparing aFreely Input Approach with Multiple Selection // Computer Assisted LanguagesLearning, 1999, Vol. 12, No. 1, pp. 59-79
[Galeev I., 1999] Galeev, I. “Automation ofthe ITS Design” Educational Technology journal, V. XXXIX, No. 5,September-October 1999, pp. 11-15.
[Galeev I. et al., 1999] Galeev, I.,Tararina, L., Sosnovsky, S. “The structure and functions of ITS GRAD”,Proceedings of 8th International conference on Human-Computer Interaction(HCI’99) Volume 2 Munich, Germany, Lawrence Erlbaum Associate, Publishers,London, 22 – 26 of August, 1999, pp.682-685.