Моделирование информационной системы оценки качества образования

Информационная система оценки качества образования1

В ходе создания информационной системы оценки качества образования была разработана законченная концепция и работающий прототип информационной системы, поддерживающий осуществление основных видов деятельности по оценке качества образования. Выбранный авторами подход к созданию информационной системы основан на идеологии создания и использования массивов слабоформализованных предметных и профессиональных знаний. Он делает возможным развертывание корпоративных полей знаний, ориентированных на решение разнообразных задач с помощью технологий обработки знаний, в том числе задач управления и принятия решений.

Информационная система управления качеством образования является в современных условиях основой системы управления и основана на интегрированном поле знаний, содержащем структурно-семантические представления разнообразных моделей и фактических данных, а также механизмы их обработки [2].

Первый подход связан с обеспечением потребности обучаемых в объективной оценке качества их образования, второй - с применяемой технологией оценивания.

В первом случае критерием качества образования считается уровень самореализации личности в профессиональной деятельности. Оценка качества образования осуществляется для объективной фиксации результата подготовки специалиста и предназначена, прежде всего, для студента, который больше кого-либо заинтересован в совершенствовании качества процесса образования, в повышении собственной компетентности при решении профессиональных задач.

Сторонники второго подхода основными критериями качества образования считают внешние показатели: успеваемость, условия организации образовательного процесса, число научных исследований и др. Студент в этом подходе рассматривается, прежде всего, как "сырье" для образовательного учреждения, и лишь затем как потребитель качества образования, стоящий в одном ряду с равнозначными потребителями - предприятиями, организациями, государством. Основным предназначением системы образования является выявление и обеспечение реальных потребностей потребителей образования путем отбора качественного "сырья" и доведения его до качественного "продукта" [4].

Информационная система оценки качества образования использует оба указанных подхода и основана на размещении и предоставлении информации, прежде всего студенту, о связи обучения с основными профессиональными задачами, выбранной области деятельности, а также сведениями о содержании и формах самоподготовки, об организации учебного процесса и др. Оценка качества образования осуществляется в соответствии с требованиями государственных образовательных стандартов и учебных планов, а также по постоянно разрабатываемым, однозначным, понятным и личностно значимым для студента, преподавателя и администратора критериям.

В качестве основных критериев качества полученного профессионального образования выделяются:

присвоенные специалистом фундаментальные модели, необходимые для решения профессиональных задач;

приобретенные способности и опыт, необходимые для решения профессиональных задач и элементарных профессиональных проблем;

освоенные навыки использования исследовательских методов в разработке проектов решения профессиональных задач.

К основным типам образовательных профессиональных задач отнесены: учебные, лабораторно-практические, реальные (событийные) задачи.

Для моделирования качества профессионального образования использована концепция системы "мотивированных способностей", понимаемых студентом как профессиональная компетентность - склонность к решению профессиональных задач. Система способностей выявляется как профессиональная квалификация - подготовленность к решению профессиональных задач. Особенностью концепции является обеспечение понимания студентом своей профессиональной компетенции путем накопления информации о процессе обретения профессиональной квалификации во время обучения. Модель информационной системы оценки качества образования должна содержать следующую информацию об образовательных достижениях студента:

оценку по всем видам традиционных аттестаций - степень теоретической подготовленности к решению учебных задач;

оценку за основные лабораторно-практические задачи - степень практической подготовленности к решению элементарных профессиональных задач;

сертификаты за основные реальные профессиональные задачи, умениями решений которых овладел студент - уровень подготовленности к профессиональной деятельности.

Виды оценок и сертификатов устанавливаются для отдельных специализаций и связаны с основными классами образовательных профессиональных задач или отдельными задачами. Это могут быть сертификаты для отдельных (основных) изучаемых дисциплин, видов профессиональной деятельности, осуществляемой при прохождении учебных и производственных практик, выполнении курсовых и дипломных работ, других видов профессиональной деятельности. В качестве сертификатов могут быть различные документы о профессиональной квалификации.

Студент, как основной пользователь информационной системы оценки качества образования, обеспечивается сведениями о содержании и основных показателях результатов собственного образования, дополненных системой сертификатов. Он может оперативно и самостоятельно выявить текущий уровень обученности по отдельным учебным дисциплинам, профессиональной компетентности по специальности в целом.

Данные возможности являются мотивирующим фактором достижения лучших результатов за время обучения, сопоставления собственных достижений с общими тенденциями обучения и лучшими результатами выпускников, что, в свою очередь, позволяет студентам осознанно планировать собственные цели и собственную деятельность. Завершивший обучение в вузе студент вместе с дипломом о высшем профессиональном образовании по специальности имеет возможность получать сертификаты и другие документы о квалификации в решении конкретных профессиональных задач. Использование сертификатов о профессиональных задачах повышает конкурентоспособность выпускника на рынке труда. Возможность доступа к открытой среде результатов образования позволяет студентам планировать и осуществлять повышение профессиональной компетентности в соответствии с меняющимися требованиями профессиональной деятельности.

Информационная система оценки качества образования обеспечивает обслуживание информационных потребностей других участников образовательного процесса.

Абитуриент получает доступ к оперативной информации обо всех специальностях КубГУ, условиях поступления и учебы, способах подготовки к поступлению, государственных образовательных стандартах, учебных планах по специальности, возможных местах работы после завершения обучения. Данная информация используется абитуриентом, прежде всего, для профессионального самоопределения и осознанного выбора профессии.

Преподаватели получают возможность участия в предоставлении собственных образовательных услуг, ведущих к получению сертификатов, позволяющих повысить его статус и оценку вклада в образовательную деятельность вуза.

Работодателям становятся доступны итоговые документы о полученном в вузе образовании по специальности, что позволяет осуществлять мотивированный подбор кадров, знакомиться с системой образовательных услуг вуза, принимать решение о повышении квалификации и переподготовке специалистов. Возможность интерактивного общения с открытой информационной средой позволяет работодателям размещать запросы на образовательные услуги, оценивать качество образования работающих выпускников, получать консультации.

Руководителям образованием предоставляются средства доступа к результатам обучения, представленного в итоговых документах, анализа и выработки выводов (заключений) о краткосрочных и долгосрочных тенденциях результатов обучения, определения позитивных и негативных факторов, способствующих проявлению таких тенденций. Руководители получают возможность разработки принципов поддержки позитивных и элиминации негативных факторов, формирования стратегии и тактики развития вуза, в том числе используемой для решения оперативных задач. Предоставление открытого доступа к информации о результатах обучения в вузе позволяет эффективно пропагандировать комплекс образовательных услуг вуза на существующем рынке труда, повышая его конкурентоспособность.

Информационная система оценки качества образования представлена программными модулями и хранилищами документов, обеспечивающими разработку и предоставление информационных материалов, относящихся к организации и проведению учебного процесса и сессионных испытаний, а также организацию и управление доступом удаленных пользователей [3].

Система включает следующие три компонента: корпоративное поле знаний области оценки подготовки студентов, базу методических документов и материалов, хранилище материалов результатов обучения отдельных студентов, учебных групп и специальностей.

Корпоративное поле знаний - система разнообразных неформализованных или слабоформализованных предметных и профессиональных знаний [1], содержащая следующие классы структурированных связанных документов: тезаурусов специальностей, структур основных профессиональных задач по специальностям вуза и описания условия овладения способами их решения, нормативной базы оценки качества образования студентов, персоналий (авторы) моделей и исследований области управления и оценки качества образования, архива публикаций в области оценки подготовки студентов, базы слабоформализованных знаний (система основных соотношений для обработки массивов данных), каталога ресурсов системы оценки качества образования.

База методических документов и материалов представляет интерактивную справочную среду, предназначенную для консультирования специалистов, осуществляющих управление процессами сбора данных, подготовки информации, размещенной в системе для анализа и обобщения. База методических документов состоит из следующих разделов: системы опросных форм и рекомендаций по проведению опросов студентов и преподавателей, сценариев и графиков проведения опросов, рекомендаций по проведению контрольных испытаний студентов и оценке результатов обучения и уровня подготовки, описаний системы показателей обученности и методик определения их значений.

Хранилище данных результатов обучения отдельных студентов, учебных групп и специальностей содержит в специальных документах и таблицах значения оценок (отзывы специалистов) для достигнутых результатов студентов, учебных групп и специальностей по различным формам обучения, а также сертификатов об уровне подготовленности к профессиональной деятельности.

Основные функциональные задачи информационной системы оценки качества образования:

Создание структур систем основных профессиональных задач по отдельным специальностям, описание технологий овладения способами их решения студентами.

Разработка системы тестирования образовательных достижений студентов, степени овладения учебными дисциплинами, приобретения навыков решения профессиональных задач, разработка критериев и правил проведения различных видов аттестации.

Обеспечение удаленного использования студентами структурных описаний содержания областей знаний при самостоятельном решении учебных и профессиональных задач, а также самоаттестации.

Создание системы информационно-аналитической поддержки управления качеством подготовки специалистов, организация непрерывного мониторинга качества образования, согласованного с учебными планами и графиками, подготовка информационных и аналитических материалов о качестве образования студентов и выпускников.

Разработка методических документов и материалов, рабочих документов, опросных оценочных форм.

Решение первой задачи (формирование базы основных профессиональных задач) обеспечивается системой путем:

предоставления кафедрам возможностей размещения в форме систем связанных структурированных документов разнообразных предметных и профессиональных знаний, включающих тезаурус, описания известных профессиональных задач, структурные зависимости задач и подзадач, а также сценарии их решения;

анализа фактических данных с использованием размещенных знаний и сертификатов об уровне подготовленности к профессиональной деятельности;

формирования итоговых отчетов, заключений и рекомендаций по результатам анализа фактических данных и факторов, влияющих на образовательные достижения.

Эта база является принципиальной частью информационной системы оценки качества образования и имеет вид хранилища структурированных связанных документов и их частей.

Базовая классификация профессиональных задач, основанная на их функциональном назначении, состоит из трех основных классов документов для каждой специальности:

основные типы образовательных профессиональных задач (учебные, лабораторно-практические, реальные) и их место в учебном процессе;

профессиональные задачи, требуемые работодателями или выполняемые выпускниками вуза;

профессиональные задачи, которыми студент может овладеть дополнительно к образовательному процессу по специальности, получая сертификат об уровне подготовленности к профессиональной деятельности.

Создание базы профессиональных задач по отдельным специальностям первоочередная задача и одновременно постоянная, требующая достаточно много усилий.

Для решения второй задачи (разработка системы тестирования образовательных достижений студентов) создана сетевая версия подсистемы удаленного проведения опросов и тестирования, позволяющая осуществлять удаленную разработку использования опросных и тестовых форм.

Подсистема удаленного проведения опросов и тестирования реализует операции регистрации отдельных студентов и преподавателей, пользователей других категорий, регистрацию систем опросов и графиков их прохождения, архивацию результатов опроса и авторизованного доступа к результатам для администраторов и специалистов. Прототип системы интерактивного тестирования (сбора данных) реализован в форме программной подсистемы, интегрированной с документальной средой информационной системы оценки качества образования. Система опроса позволяет собирать фактическую информацию с целью последующего размещения в информационной среде системы управления образованием вуза, электронных таблицах, таблицах баз данных с целью последующего анализа и обработки. Собираемые фактические данные, размещаемые в форме системы результатов опросов пользователей, допускают визуализацию с целью просмотра отдельными категориями пользователей, а также могут передаваться для последующей обработки другим подсистемам.

Подсистема опроса и тестирования содержит следующие основные модули: построения тестов и опросных форм, регистрации пользователей и групп пользователей, формирования систем опросных форм, прохождения опроса, просмотра результатов опроса.

В системе реализовано размещение заданий к разным видам и формам аттестации студентов по отдельным учебным дисциплинам. Преподаватели, разрабатывающие опросники, имеют возможность просмотра тестов, изготовленных другими разработчиками, а также получать сведения о результатах тестирования. Просмотр результатов тестирования осуществляется специальным модулем, позволяющим пользователям просматривать предоставленные ими сведения и принимать решение о необходимости изменения или модификации таких данных.

Решение третьей задачи (обеспечение удаленного доступа) система обеспечивает путем регистрации пользователей разных типов и определения их прав. Регистрация пользователей разных типов и определение их прав использует следующую классификацию:

анонимные пользователи, имеющие минимум прав доступа для работы с открытыми информационно-справочными ресурсами;

аналитики среды, осуществляющие контроль и анализ размещаемых фактических данных, выполнение регламента предоставления информации, передачу результатов обработки данных для последующего использования в решении задачи управления вузом;

группы специалистов, получающих права разработки и доступа к совместно создаваемым и открытым ресурсам информационной среды;

другие зарегистрированные пользователи, обладающие правами работы с собственными (рабочими) и иными открытыми для них массивами документов и опросных форм с целью их профессионального использования или размещения фактической информации, определяемой регламентом.

Навигация и поиск в системе осуществляются с использованием средств контекстного поиска, поддерживаемого базовой СУБД информационной среды КубГУ.

В системе реализованы возможности: создания пользовательских фрагментов, сбор, размещение и отображение первичной информации оценки результатов обучения студентов, учебных групп и специальностей, модификация и удаление размещенных данных.

Решение четвертой задачи (создание системы информационно-аналитической поддержки управления качеством подготовки специалистов) планируется в форме создания системы, составленной из взаимосвязанных компонент: текущего мониторинга, сбора и хранения результатов образования, сравнительного анализа, прогнозирования.

Текущий мониторинг качества подготовки отдельных студентов основан на сравнении наборов объективных данных об академической успеваемости отдельных студентов с наборами усредненных показателей групп студентов. Результаты текущего мониторинга обладают существенной нечеткостью из-за отсутствия достаточного объема данных и фрагментарностью проверяемых умений и навыков.

Результаты образования содержат следующую информацию об образовательных достижениях отдельного студента:

степень теоретической подготовленности к решению учебных задач;

степень практической подготовленности к решению элементарных профессиональных задач;

сертификаты за основные реальные профессиональные задачи, умениями решений которых овладел студент.

Определение результатов обучения связано с фиксацией прохождения отдельных положенных контрольных испытаний, имеющих окончательное значение и представленных абсолютными или аддитивными (накапливаемыми) значениями. Для определения результатов обучения применяется система относительных показателей (числовых индикаторов), отражающих в сопоставимых единицах достижения по отдельным изучаемым областям знаний, формам обучения, и их динамику, получаемых по результатам аттестаций и контрольных испытаний. Назначение таких показателей состоит в предоставлении возможности сравнения и учета разнообразных сведений и значений, влияющих на принятие решений и итоговую оценку результатов обучения.

Сравнительный анализ результатов обучения по специальностям, группам студентов, периодам обучения основан на сопоставлении значений систем числовых и логических показателей с помощью правил сравнения и формирования итоговых выводов.

Прогнозирование изменения ситуации связано с выработкой рекомендаций и принятием управленческих решений, основанных на статистических рядах собираемых данных (опросов) студентов, преподавателей и других категорий пользователей с использованием обоснованных методов их сравнения и построения заключений.

Анализ данных и выработка управленческий рекомендаций и решений осуществляется на основе обработки первичных данных, относящихся к результатам аттестаций знаний и опросов преподавателей и студентов, сведений о выпускниках и отзывах работодателей.

Применяемые для сравнения правила размещаются в составе документов среды предметных и профессиональных знаний системы оценки качества подготовки, имеющих структуру знаний-правил, вида: Если (система условий), то (система выводов).

Для создаваемой информационной системы выбрана схема процесса выработки решений, состоящая из следующих этапов: вычисления - сравнения - текстовые рекомендации. Первый этап схемы выполняется с использованием арифметической (числовой) обработки начальных данных, а остальные - с использованием знаний-правил. Системы размещенных в информационной среде правил принятия решений образуют слабоформализованную базу знаний экспертной системы. Достоинствами такой среды являются возможность автоматической обработки и способность накапливать и структурировать разнообразный опыт и модели.

Решение пятой задачи (разработка методических документов и материалов, рабочих документов, опросных оценочных форм).

Деятельность по разработке методических документов и материалов, рабочих документов, опросных оценочных форм представляет собой комплекс взаимосвязанных операций, начинающихся с построения информационных моделей (структур) таких документов, проектирования типовых структур интерактивных опросных форм, формирования тематических блоков опросных форм и регламента их прохождения различными субъектами системы управления качества образования.

Технологические процессы данного направления деятельности можно разбить на четыре основных блока: разработки требований, составления типовых схем, разработки схем оценки, формирования системы правил принятия решений.

Блок разработки требований к подсистеме управления качеством подготовки специалистов включает компоненты построения, реализации и модернизации информационной и функциональной моделей.

Блок составления типовых схем содержит регламент сбора требуемой фактической информации, осуществляемой с помощью системы интерактивных опросных форм и тестов.

В блоке разработки схем оценки качества подготовки реализованы и предоставляются пользователям механизмы обработки массивов фактических данных с целью определения значений для систем используемых показателей результатов обучения отдельных студентов, групп студентов, учебных дисциплин и т. д.

Блок формирования системы правил принятия решений представляет собой прототип экспертной системы и включает следующие компоненты:

ведения информационной среды поля предметных и профессиональных знаний области

управления качеством образования,

создания схем и правил анализа данных и принятия управленческих решений,

формирования системы учебных и методических документов и материалов.

Первый из перечисленных компонентов позволяет накапливать структурированные электронные документы разных авторов, относящиеся к сфере оценки и управления качеством, тематические словари, описания существующих методик и их сравнительный анализ, экспертные знания, другие материалы.

Компонент анализа данных и принятия управленческих решений предназначен для обработки первичных данных, относящихся к результатам аттестаций знаний и опросов преподавателей и студентов, сведений о выпускниках и отзывах работодателей.

Компонент разработки методических материалов и рабочих документов представлен подсистемой, обеспечивающей возможность совместной деятельности распределенных групп специалистов по созданию рабочих и методических материалов, относящихся к решению задачи оценки качества обучения.

Литература

1. Костенко К. И., Левицкий Б. Е. Интеллектуальные интегрированные электронные среды областей знаний (базовые компоненты) // Известия вузов Юга России (в печати).

2. Костенко К. И., Левицкий Б. Е., Некрасов С. Д. Проблема качества образования: применение развиваемых полей знаний в виртуальных образовательных средах // Новые инфокоммуникационные технологии в социально-гуманитарных науках и образовании: современное состояние, проблемы, перспективы развития / Под общ. ред. А. Н. Кулика. М., 2003. С. 224-229.

3. Белкин В. Ю., Костенко К. И., Курган А. Б., Левицкий Б. Е. Технологии формирования документальных информационных сред в различных областях знаний // Тр. Всерос. науч.-метод. конф. "Телематика' 2002", 3-6 июня 2002 г., Санкт-Петербург. СПб., 2002. С. 86-88.

4. Некрасов С. Д. Проблема оценки качества профессионального образования специалиста // Университетское управление: практика и анализ. 2003. N 1.

5. Костенко К. И. Моделирование информационной системы оценки качества образования / К. И. Костенко, С. Д. Некрасов // Университетское управление: практика и анализ. - 2003. - N 3(26). С. 77-83

1 По материалам [1-5]; см. список литературы в конце раздела