Оценка систем дистанционного образования (математическая модель)

Работу выполнил Березюк Р.Г.

2006г., Южно-Сахалинск

1. Введение

В условиях современной России первоочередное внимание со стороны государства должно уделяться дистанционному образованию. Почему следует ориентироваться именно на дистанционное образование, а не на традиционные виды подготовки специалистов?

Во-первых, с каждым годом скачкообразно возрастает число производственных и коммерческих структур различных организационно-правовых форм. И для каждого из сотен тысяч вновь образовавшихся предприятий нужны, грамотные специалисты с надлежащим образованием , т.е. реальная потребность рыночной экономики в квалифицированных кадрах разных направлений составляет сегодня сотни тысяч специалистов.

Во-вторых, одновременно резко увеличивается численность работающих в налоговых и таможенных органах, коммерческих банках, страховых компаниях, пенсионных и инвестиционных фондах и др. И здесь тоже нужны квалифицированные специалисты.

В-третьих, в связи с ростом числа участников экспортно-импортных операций возрастает потребность в экономистах-специалистах в области международных экономических отношений.

Цель работы – разработка и обоснование системы показателей качества Оценка качества дистанционного образования во многих отношениях должна быть близкой к оценке качества обычного очного или заочного образования. Так, качество образования, как комплекса знаний и умений, должно отвечать одним и тем же требованиям, вне зависимости от формы обучения. Однако оценка качества по показателям организации процесса обучения будет зависеть от формы обучения.

2. Дистанционное образование управление качеством. Критерии качества

2.1 Модели управления качеством

В сфере образования под качеством обучения, т.е. под удовлетворением требований заказчика, подразумевается соответствие знаний и умений выпускников учебного заведения требованиям, предъявляемым со стороны промышленности (если речь идет об инженерном образовании). Общество через спрос на выпускников на рынке труда доводит до высшей школы свои потребности и контролирует уровень подготовки специалистов. Престиж университета зависит от того, как котируются на рынке труда и куда устраиваются на работу его выпускники. Однако задержка во времени между получением знаний и умений в вузе и их оценкой в производственных условиях составляет несколько лет. Следовательно, практическая оценка качества обучения со стороны отраслей, использующих специалистов, является лишь вспомогательной и не может играть основную роль в управлении качеством обучения, поскольку она излишне инерционна.

С точки зрения подходов к оценке и контролю качества остаются две модели управления качеством. Первая модель основана на непосредственном контроле знаний обучаемых. Во второй модели методической основой для управления качеством являются международные стандарты серии ISO 9000[1]
.

Тестирование знаний путем проведения контрольных мероприятий является важным и необходимым элементом учебного процесса, однако в системе управления качеством результаты тестирования играют лишь вспомогательную роль. Действительно, тестирование непосредственно не указывает на причины и источники появления изъянов, оно является выборочным в отношении изучаемого материала и направлено преимущественно на оценку знаний и в меньшей мере на выявление умений обучаемых. Кроме того, на экзаменах и зачетах выявляется итоговый уровень полученных знаний и, если он недостаточен, то для соответствующих индивидов этот уровень оказывается окончательным, исправление возможно уже только по отношению к последующим поколениям студентов.

Поэтому интерес представляет вторая модель управления качеством образования на основе контроля не только знаний обучаемых, но и процессов обучения, их организации и применяемых средств. Другими словами, положения стандартов ISO 9000 при соответствующей интерпретации могут быть полезно использованы и в сфере образования. Поэтому в основу управления качеством в образовании целесообразно положить вторую модель.

Стандарты ISO 9000 разработаны для управления качеством продукции или услуг в промышленности. Они определяют и регламентируют инвариантные вопросы создания, развития, применения и сертификации систем качества на промышленных предприятиях. В них устанавливается форма требований к системе качества в целях демонстрации поставщиком своих возможностей и оценки этих возможностей внешними сторонами.

Система качества обычно представляет собой совокупность трех слоев документов. Слои содержат: 1) описание политики управления для каждого системного элемента (организация, ответственные, контроль); 2) описание процедур управления качеством (что, где, кем и когда должно быть сделано); 3) тесты, планы, инструкции и т.п.

Сертификация предприятий по стандартам ISO 9001-9003 выполняется некоторой уполномоченной внешней организацией. Наличие сертификата качества - одно из важных условий для успеха коммерческой деятельности предприятий.

Стандарты серии ISO 9000 управления качеством промышленной продукции делятся на первичные, вторичные и поддерживающие.

В свою очередь, первичные стандарты делятся на внешние и внутренние. Внешние стандарты инвариантны к приложениям, они описывают требования, соблюдение которых гарантирует качество при выполнении контрактов с внешними заказчиками. Внутренние стандарты предназначены для внутреннего использования, они описывают мероприятия по управлению качеством внутри компании.

Как отмечено выше, в сфере образования также возможно управление качеством обучения на основе как оценки знаний и умений выпускников путем тестирования, так и оценки показателей организации, процесса и средств обучения. Необходимо выявить те факторы (системные элементы), управляя которыми можно обеспечить требуемое качество образования.

2.2.


Факторы, определяющие качество образования

Для выявления факторов, определяющих качество образования, целесообразно рассмотреть компоненты процесса обучения. Качество зависит от особенностей каждого компонента.

На рис. 1 приведена архитектура образовательной системы, введенная в международном стандарте IEEE P1484.1. Компонентами системы являются обучаемый, преподаватель (инструктор), учебные материалы (репозиторий), система доставки материалов обучаемому, система оценивания результатов учебы, модель обучаемого (его профиль). Взаимосвязи в архитектуре отображают потоки данных, которыми обмениваются участники процесса обучения. Инструктор (им может быть преподаватель или компьютерная система) управляет выбором учебных материалов из репозитория на основе информации о профиле обучаемого, результатах оценивания поведения обучаемого и метаданных репозитория. Выбранные учебные материалы передаются обучаемому, а сведения о тестирующей части доставляются также компоненту "оценивание" через компонент "доставка ". Обучаемый выполняет учебные процедуры, воздействуя на компонент "оценивание", который, в свою очередь, может изменять данные в профиле обучаемого. В процессе изучения материала обучаемый может обмениваться информацией непосредственно с инструктором.

Фактором, влияющим на качество образования, от компонента “обучаемый” является качество предварительной подготовки абитуриента, его способности. Этот фактор в системе управления качеством может быть использован частично при организации работы приемной комиссии в вузе, организации колледжей при вузе и различных форм довузовской подготовки.

Фактор от компонента “инструктор” - квалификация преподавателей. При ДО имеется несколько категорий преподавателей - это авторы учебных материалов, преподаватели-консультанты, преподаватели-тьюторы. Влияние авторов учебных материалов на качество обучения может быть учтено через контроль качества учебных материалов. Для контроля качества остальных представителей преподавательского корпуса можно использовать традиционные подходы, основанные на контроле наличия ученых степеней и званий, участия преподавателей в научных исследованиях и т.п.

Контроль качества средств доставки сводится к контролю количественных и качественных характеристик материально-технического обеспечения учебного процесса. В случае ДО это характеристики компьютеров и сетевого оборудования.

Рис. 1

Компонент “оценивание” определяет эффективность контроля знаний студента и обратной связи “студент-преподаватель”. При оценке качества ДО эффективность связана с показателями качества тестирующих систем.

Наконец, качество образования во многом зависит от качества учебных материалов, находящихся в репозитории. Исследование влияния качества учебных материалов на качество ДО является главной задачей настоящей работы.

2.3. Критерии качества учебных материалов

Документы, методики и процедуры, используемые в управлении качеством, называются системой управления качеством.

Показатель качества (системный элемент) – атрибут или группа атрибутов, характеризующие качество дистанционного образования (или обучения). В системе управления качеством имеется несколько групп показателей, характеризующих качество ДО.

Показатели качества можно классифицировать по ряду признаков.

Так, среди показателей качества ДО имеются показатели как числовые (типов real и integer), так и качественные (типов enumeration, string или boolean). Очевидно, что количественная оценка качества станет возможной после выбора способа перевода неколичественных показателей в количественные.

Согласно концепции информатизации образования качество образования характеризуется следующими группами показателей:

показатели качества содержания образования;

показатели качества технологий обучения;

показатели качества результатов образования.

Этому делению показателей на группы соответствует и предлагаемое группирование показателей качества по следующим аспектам и свойствам обеспечения, организации и проведения учебного процесса:

учебные планы и программы;

база учебных материалов;

техническое обеспечение;

методики и технологии проведения учебных занятий, включая тестирование обучаемых (процедуры промежуточного и итогового контроля, возможно использование результатов анкетирования обучаемых).

возможности производственной подсистемы;

кадровое обеспечение;

организационное обеспечение.

Выбор групп показателей и конкретных показателей качества должен быть подчинен следующим требованиям: нужно учитывать основные показатели, которые, во-первых, существенно влияют на качество процесса ДО, во-вторых, могут быть оперативно оценены для практического использования в системе управления качеством.

В группу "Учебные планы и программы" входят следующие показатели:

Соответствие учебных планов существующим стандартам профессионального образования;

Наличие учебных программ, их соответствие стандартам профессионального образования, современному состоянию предметной области и дидактическим требованиям.

В настоящее время разработаны примерные учебные программы по всем дисциплинам высшего образования, прилагаемые к стандартам профессионального образования. Поэтому речь должна идти о рабочих программах дисциплин.

В группу "База учебных материалов" входят следующие элементы качества электронных учебников:

Соответствие содержания учебника утвержденной учебной программе;

Соответствие объема материала установленным нормам;

Соответствие содержания учебника и его формы;

Полнота состава (комплектация) учебника;

Современность учебного материала;

Принятый в учебнике способ самотестирования обучаемых.

Поскольку не все свойства учебника охватывает приведенный перечень показателей, можно список показателей расширить, введя в него экспертные оценки методического, содержательного и технологического уровней учебного материала.

Более подробно эти показатели рассматриваются далее.

Показатели группы "Техническое обеспечение ДО":

Достаточность в количественном отношении компьютерного оснащения учебных классов, степень его соответствия требованиям, предъявляемым к ПК для систем ДО.

Пропускная способность каналов передачи данных.

В группу "Методики и технологии проведения учебных занятий в системе ДО" входят элементы качества, характеризующие технологии общения преподаватель-студент, студент-студент и проведения контрольных мероприятий:

Степень доступности преподавателей;

Удобство формы общения преподаватель-студент и студент-студент;

Объективность и полнота экспертизы подготовки обучаемых при проведении контрольных мероприятий (экзаменационных и зачетных сессий, защит проектов);

Обеспеченность цикла лабораторных работ и курсового проектирования необходимыми программными средствами.

Наряду с технологиями, предусматривающими работу студентов под постоянным контролем и руководством со стороны людей-преподавателей, находят применение технологии обучения под руководством виртуальных преподавателей, в качестве которых выступают интеллектуальные обучающие системы. В этом случае на первый план выходят показатели качества сетевых учебников, характеризующих их роль, как "виртуальных преподавателей".

Показатели группы "Возможности производственной подсистемы":

характеристики инструментальных средств для разработки электронных (сетевых) учебников и учебных пособий;

наличие и производительность оборудования для изготовления твердых копий, видеокурсов, компакт-дисков.

Показатели группы "Кадровое обеспечение":

процентное соотношение преподавателей с учеными степенями доктора и кандидата наук и без степени,

наличие научных и/или методических публикаций у преподавателей, авторство в курсах ДО, рекомендованных к тиражированию.

Показатели группы "Организационное обеспечение":

наличие автоматизированной системы управления документами, часто именуемой электронным деканатом,

наличие системы управления качеством обучения.

Система управления качеством в соответствии со стандартами ISO 9000 является документальной системой, включающей описание политики учебного заведения в области обеспечения качества, различные документы по регламентации обязанностей и полномочий лиц, связанных с обеспечением качества, требования к используемым ресурсам ДО и к показателям качества учебных материалов и процедур учебного процесса, планы действий по обеспечению этих требований и т.п.

3. Математическая модель оценки показателей качества ДО.

3.1 Поглощающие марковские цепи

Как указывалось выше, у поглощающих ДМЦ имеется множество, состоящее из одного или нескольких поглощающих состояний.

Для примера рассмотрим переходную матрицу, описывающую переходы в системе, имеющей 4 возможных состояния, два из которых являются поглощающими. Матрица перехода такой цепи будет иметь вид:

(1)

Практически важным является вопрос о том, сколько шагов сможет пройти система до остановки процесса, то есть поглощения в том или ином состоянии. Для получения дальнейших соотношений путем переименования состояний матрицу (1) переводят к блочной форме:

(2)

Такая форма позволяет представить матрицу (2) в каноническом виде:

(2а)

где - единичная матрица;

- нулевая матрица;

- матрица, описывающая переходы в системе из невозвратного множества состояний в поглощающее множество;

- матрица, описывающая внутренние переходы в системе в невозвратном множестве состояний.

На основании канонической формы (2а) получена матрица, называемая фундаментальной:

(3)

В матрице (3) символ (-1) означает операцию обращения, то есть

(4)

После соответствующих преобразований матрица (3) примет вид:

(3а)

Каждый элемент матрицы (3а) соответствует среднему числу раз попадания системы в то или иное состояние до остановки процесса (поглощения).

Если необходимо получить общее среднее количество раз попадания системы в то или иное состояние до поглощения, то фундаментальную матрицу М необходимо умножить справа на вектор-столбец, элементами которого будут единицы, то есть

(4а)

где .

Для иллюстрации приведем конкретный числовой пример: пусть известны значения переходных вероятностей матрицы с одним поглощающим состоянием: ; ; ; ; ; ; ; .

Переходная матрица в блочной системе будет выглядеть так:

В данном случае

; ; ;

Проделаем необходимые вычисления:

;

;

.

В данном случае компоненты вектора означают, что если процесс начинается с состояния , то общее среднее число шагов процесса до поглощения будет равно 3,34 и, соответственно, если процесс начинается с состояния , то - 2,26.

В конкретных задачах, конечно, более информативным результатом будет не количество шагов, а какие-либо временные или экономические показатели. Этот результат легко получить, если связать пребывание в каждом состоянии с соответствующими характеристиками. Очевидно, набор этих характеристик составит вектор, на который нужно умножить слева.

Так, если задать в нашем примере время пребывания в состоянии , а в состоянии - , то общее время до поглощения будет равно:

В случаях, когда марковская цепь включает несколько поглощающих состояний, возникают такие вопросы: в какое из поглощающих состояний цепь попадет раньше (или позже); в каких из них процесс будет останавливаться чаще, а в каких - реже? Оказывается, ответ на эти вопросы легко получить, если снова воспользоваться фундаментальной матрицей.

Обозначим через вероятность того, что процесс завершится в некотором поглощающем состоянии при условии, что начальным было состояние . Множество состояний снова образует матрицу, строки которой соответствуют невозвратным состояниям, а столбцы - всем поглощающим состояниям. В теории ДМЦ доказывается, что матрица В определяется следующим образом:

(4.б)

где

М - фундаментальная матрица с размерностью S;

R - блок фундаментальной матрицы с размерностью r.

Рассмотрим конкретный пример системы с четырьмя состояниями , два из которых- - поглощающие, а два - - невозвратные (рис.10):

Система с четырьмя состояниями

Для наглядности и простоты вычислений обозначим переходные вероятности следующим образом:

; ;

Остальные значения вероятностей будут нулевыми. Каноническая форма матрицы перехода в этом случае будет выглядеть так:

Фундаментальная матрица после вычислений примет вид:

Тогда, согласно формуле (5), матрица вероятностей поглощения вычисляется так:

.

Поясним вероятностный смысл полученной матрицы с помощью конкретных чисел. Пусть, а. Тогда после подстановки полученных значений в матрицу получим:

Таким образом, если процесс начался в , то вероятность попадания его в равна , а в - . Отметим одно интересное обстоятельство: несмотря на то, что, казалось бы, левое поглощающее состояние (“левая яма”) находится рядом с , но вероятность попадания в нее почти в два раза меньше, чем в “удаленную яму” - . Этот интересный факт подмечен в теории ДМЦ, и объясняется он тем, что , то есть процесс имеет как бы “правый уклон”. Рассмотренная выше модель называется в теории ДМЦ моделью случайного блуждания. Такими моделями часто объясняются многие физические и технические явления и даже поведение игроков во время различных игр.

В частности, в рассмотренном примере объясняется тот факт, что более сильный игрок может дать заранее значительное преимущество (“фору”) слабому противнику и все равно его шансы на выигрыш будут более предпочтительными.

Кроме указанных выше средних характеристик вероятностного процесса с помощью фундаментальной матрицы можно вычислить моменты и более высоких порядков. В частности, дисперсия числа пребывания в том или ином состоянии - D определяется с помощью следующей матрицы:

(6)

где

- диагональная матрица, т.е. матрица, полученная из М путем оставления в ней лишь диагональных элементов и замены остальных элементов нулями. Например, приведенная выше матрица (3а) будет иметь вид:

В свою очередь, матрица М представляет собой матрицу, полученную из М путем возведения в квадрат каждого ее элемента, то есть для (3а) будем иметь:

Аналогичным образом определяема и дисперсия для общего количества раз пребывания в том или ином состоянии . Обозначим ее :

3.2. Марковские цепи в прогнозирование учебного процесса

Проанализируем вероятность окончания ВУЗа студентом при традиционной форме обучения. Процесс получения образования опишем в терминах поглощающих Марковских цепей[2]
.

Пусть s1, …, s5 – состояния «Первокурсник», …, «Пятикурсник», s6 – «Отчислен», s7 – «Получил диплом». Вероятность завершения каждого курса: pi,i+1 (i Î 1 ¸ 4) = 0.91[3]
, а вероятность отчисления pi (i Î 1 ¸ 5) = 0.09. Тогда матрица переходных вероятностей {pij} в канонической форме будет иметь вид:

(табл. 1).

При начальных условиях p0,1 = 1 вероятность успешного окончания ВУЗа p5-7 = 0.61, т.к. из 100 поступивших через 5 лет дипломы получат лишь 61 человек.

Рассмотрим ситуацию при дистанционной форме обучения. Обозначения оставим прежними. Матрица переходных вероятностей {pij} в этом случае имеет другой вид:

(табл. 2).

Выполнив расчеты для матрицы из таб. 2, получим, что p5-7 = 0.68, а p4-7 = 0.25, т.е. уже через четыре года примерно четвертая часть студентов получат дипломы.

Матрица из табл. 2 может использоваться для анализа вариантов организации дистанционного образования и прогнозирования характеристик образовательного процесса.

Таким образом, в снижении стоимости образовательного процесса в целом можно выделить три основных тенденции:

разработку и внедрение информационных систем управления учебным процессом;

применение компьютерных учебных пособий, существенно снижающих время контактов преподавателей и студентов;

применение дистанционной формы обучения как одной из образовательных технологий, позволяющих не только снизить стоимость обучения, но и сократить время, затрачиваемое студентом на получение образования.

[1]
ISO 9000 - основные понятия, руководство по применению ISO 9001(модель качества, достигаемого при проектировании, производстве, обслуживании);

[2]
[10] – с.84-86

[3]
Здесь и далее расчетные данные для иллюстрации модели взяты из работы [11], где автор приводит сравнение вероятности окончания студентами учебных курсов при традиционной форме обучения и обучения тому же набору дисциплин с использованием системы ДО на примере на основе накопленных статистических данных внедрения системы ДО в Донском институте информатизации.