На правах рукописиМакаренко ЛЮБОВЬ ФЕДОРОВНААвтоматизированная система распределенного контроля и анализа результатов аттестации персонала промышленных объединенийСпециальность 05.13.06 – Автоматизация и управление технологическими процессами и производствами (промышленность)Автореферат диссертации на соискание ученой степени кандидата технических наукМосква - 2009 Работа выполнена на кафедре «Автоматизированные системы управления» в Московском автомобильно-дорожном институте (государственном техническом университете) Научный руководитель Заслуженный деятель науки РФ, доктор технических наук, профессорНиколаев Андрей Борисович,профессор МАДИ(ГТУ) Официальные оппоненты Лауреат премии Правительства РФ, доктор технических наук, доцент Строганов Виктор Юрьевич,профессор МГТУ им.Н.Э.Баумана Кандидат технических наук,Лукащук Петр Иванович Генеральный директор ООО «Спецстройбетон-200», г.Москва Ведущая организация: Российский научно-исследовательский институт информационных технологий и систем автоматизированного проектирования (Рос НИИ ИТ и АП), г.Москва.Защита состоится 24 февраля 2009г. в 10.00 на заседании диссертационного совета Д212.126.05 Московского автомобильно-дорожного института (государственный технический университет) по адресу: 125319, ГСП А-47, Москва, Ленинградский пр., д.64.С диссертацией можно ознакомиться в библиотеке МАДИ(ГТУ)Текст автореферата размещен на сайте Московского автомобильно-дорожного института (государственного технического университета):www.madi.ru Автореферат разослан 23 января 2009г.Отзыв на автореферат в одном экземпляре, заверенный печатью, просим направлять в адрес совета института.Ученый секретарьдиссертационного совета,кандидат технических наук, доцент Михайлова Н.В.^ Общая характеристика работы Актуальность проблемы На современном этапе развития систем управления персоналом промышленных предприятий не вызывает сомнения необходимость широкомасштабного внедрения информационных технологий в процесс аттестации персонала. Основной задачей системы аттестации персонала является оценка соответствия кадрового состава должностным обязанностям, что требует постоянного определения уровня знаний и умений сотрудников для оценки качества выполнения работ, что приобретает особую актуальность на промышленных объединениях, производящих сложную продукцию. Оперативный контроль качества подготовки сотрудников может быть обеспечен лишь за счет всестороннего и оперативного использования процедур компьютерного тестового контроля, а также распределенного контроля и анализа результатов аттестации. Однако в данном направлении отсутствуют работы по созданию комплексных методик, включающих методы, алгоритмы и программные компоненты автоматизации формирования тестов различной степени сложности. При этом практически отсутствуют работы, учитывающие специфику процедур анализа эффективности процесса тестирования и формирования решающих правил по выбору стратегий подготовки и визуализации результатов аттестации для крупных территориально распределенных объединений, функционирование подразделений которого должно быть синхронизировано по определенным видам производственной деятельности.Предметом исследования является система аттестации персонала, включающая методы компьютерного тестового контроля, методы обработки результатов, а также компоненты математического, информационного и программного обеспечения системы поддержки и принятия решений при оценке уровня подготовки сотрудников.^ Цель и основные задачи исследования Целью работы является повышение эффективности системы аттестации персонала за счет автоматизации процессов распределенного контроля и анализа результатов аттестации персонала промышленных объединений.Для достижения данной цели в работе решаются следующие задачи:анализ системы подготовки и аттестации кадров промышленных объединений;системный анализ методов и моделей представления результатов аттестации персонала промышленных предприятий и объединений;разработка методов и моделей визуализации аттестационных показателей;разработка моделей преобразования количественных данных результатов аттестации;разработка методов переоценки сложности тестовых заданий;разработка методики и программной реализации системы мониторинга и анализа результатов аттестации и гетерогенного тестового контроля.^ Методы исследования При разработке формальных моделей компонентов системы в диссертации использовались методы общей теории систем и случайных процессов. При формировании последовательности тестовых заданий использовались элементы факторного планирования. При разработке моделей компонентов системы аттестации персонала использовались методы математического программирования, имитационное моделирование и другие формальные методы.^ Научная новизна Научную новизну работы составляют методы и модели контроля и анализа результатов аттестации. На защиту выносятся:модели аналитической обработки и визуализации данных аттестации персонала;методика переоценки сложности тестовых заданий;методика распределенного сбора аттестационных показателей;программно-моделирующий комплекс аналитической обработки аттестационных показателей.^ Достоверность научных положений, рекомендаций и выводов Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием современных математических моделей, предварительным статистическим анализом процессов аттестации персонала на промышленных объединениях, согласованностью результатов аналитических и имитационных моделей процессов компьютерного тестового контроля. Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения результатов работы в ряде учебных центров.^ Практическая ценность и реализация результатов работы Научные результаты, полученные в диссертации, доведены до практического использования на промышленных предприятиях. Методы и алгоритмы, а также программные средства могут быть использованы также при реализации тестового контроля студентов высших учебных заведений. Разработанные методы и алгоритмы прошли апробацию и внедрены для практического применения в учебных центрах «Газпрома», а также используются в учебном процессе на кафедре АСУ МАДИ(ГТУ).^ Апробация работы Содержание отдельных разделов и диссертации в целом было доложено и получило одобрение:на Российских, межрегиональных и международных научно-технических конференциях, симпозиумах и семинарах (2004-2008г.г.);на заседании кафедры АСУ МАДИ(ГТУ).Совокупность научных положений, идей и практических результатов исследований в области автоматизации мониторинга результатов аттестации составляет актуальное направление в области теоретических и практических методов и форм проведения тестового контроля в системе подготовки и аттестации персонала промышленных объединений.^ Содержание работы Структура работы соответствует списку перечисленных задач, содержит описание разработанных методов и моделей.Во введении обосновывается актуальность проблемы, ставятся цели и задачи исследования, приводится краткое описание содержания глав диссертации.^ 1 Системный анализ методов и моделей компьютерного тестового контроля в системе аттестации промышленных предприятий В первой главе диссертации проводится системный анализ методов и моделей тестового контроля в системе аттестации персонала. Рассмотрены проблемы кадрового обеспечения промышленных предприятий и общие тенденции развития системы непрерывной подготовки. Показано, что при обучении контроль рассматривается как важнейшее, относительно самостоятельное и заключительное звено в системе переподготовки кадров. От правильной организации контроля во многом зависит не только эффективность управления учебным процессом и качество подготовки специалистов, но и эффективность управления персоналом в целом.Проведен анализ современных информационных технологий в системе аттестации и рассмотрены компоненты информационно-образовательной среды, представляющие собой системно-организованную совокупность средств передачи данных, информационных ресурсов, протоколов взаимодействия, аппаратно-программного и организационно-методического обеспечения, ориентированную на повышение качества проведения аттестации персонала. Проведена классификация существующих методов и моделей тестового контроля и определены границы использования каждого из них для решения задачи автоматизации процессов аттестации персонала промышленных объединений.^ 2 Модели представления процедур тестового контроля Для наглядного изображения процесса оценки аттестационных показателей используется ультрасеть. В основу моделирования такой сети положен формализм сети Петри, расширенный следующими правилами:1. Каждому накопителю тестовых заданий ставится в соответствие позиция ультрасети. Графически накопитель изображается незаштрихованным кружком.2. Каждой ультрасистеме ставится в соответствие переход ультрасети, графически изображаемый прямоугольником. Информационная связь ультрасистемы с соответствующими накопителями изображается направленными дугами.Всякий накопитель полностью определяется опорным множеством объектов и шкалой понятий для этого множества. Шкала понятий для этого опорного множества объектов взаимно однозначно определяет шкалу аттестационных показателей. Сетевая модель системы тестирования Рис. 1. При рассмотрении начального варианта модели системы аттестации предусмотрена оценка связности базы тестовых заданий с процедурами процессного описания проведения самой аттестации, что позволяет рассмотреть данные модели непосредственно по их степени сложности.^ 3 Анализ применимости OLAP-технологий в рамках представления результатов аттестации Ввиду актуальности систем поддержки многомерного оперативного анализа данных (OLAP-систем), рассмотрение концептуальных вопросов о применимости таких подходов в системе мониторинга результатов аттестации также представляет несомненный интерес.Измерения играют роль индексов, используемых для идентификации значений показателей, находящихся в ячейках гиперкуба. Комбинация членов различных измерений играют роль координат, которые определяют значение определенного показателя. Поскольку для куба может быть определено несколько показателей, то комбинация членов всех измерений будет определять несколько ячеек со значениями каждого из показателей. Поэтому для однозначной идентификации ячейки необходимо указать комбинацию членов всех измерений и показатель.^ 4 Интеграция приложений оперативной аналитической обработки и интеллектуального анализа результатов аттестации Большинство предлагаемых OLAP-приложений ориентировано на обеспечении доступа к многомерным данным, а большинство программных средств интеллектуального анализа данных (ИАД), работающих в сфере определения закономерностей, используют одномерные массивы данных. Перспективные разработки направлены в сторону более тесного объединения двух подходов, то есть OLAP-приложения должны фокусироваться не только на доступе (Рис.2), но и на поиске закономерностей.Многие компании создали прекрасные хранилища данных, идеально разложив по полочкам горы неиспользуемой информации, которая сама по себе не обеспечивает ни быстрой, ни достаточно грамотной реакции на оперативные события.Немногие производители предоставляют сегодня достаточно мощные средства ИАД именно многомерных данных в рамках OLAP-приложений. Проблема также заключается в том, что некоторые методы ИАД (байесовские сети, метод k-ближайшего соседа) неприменимы для задач многомерного интеллектуального анализа, так как основаны на определении сходства детализированных примеров и не способны работать с агрегированными данными.Архитектура системы многомерного интеллектуального анализа данных Рис. 2. ^ 5 Анализ ограничений, связанных с задачей сетевого обмена результатами аттестации В диссертации проведен анализ различных механизмов передачи результатов вместе с ограничениями, связанными с вопросами подключения к сети и конфиденциальности передаваемых данных результатов аттестации.Во-первых, это наличие внешнего IP-адреса на серверной стороне, поскольку при его отсутствии клиенты не смогут соединиться и осуществить передачу данных. Для решения этой проблемы необходимо ввести понятие промежуточного звена, то есть некого посредника с внешним IP-адресом, посредством которого будет осуществляться обмен между отправителем и получателем. Применение промежуточного звена с одной стороны решает проблему внешнего IP-адреса, что является несомненным плюсом, но с другой стороны усложняет механизм обмена данными.Во-вторых, это настройка брандмауэров, как на стороне сервера, так и на стороне клиентов. Для этого необходимо «разрешить» клиент-серверным приложениям получать/передавать информацию по заданному порту, если передача данных осуществляется по протоколам, таким как HTTP, FTP, POP, SMTP и др. (как правило, порты этих протоколов всегда открыты). Если же клиент-серверное приложение использует нестандартный порт, то него необходимо открыть. Это связано с параметрами безопасности операционной системы.В-третьих, это конфиденциальность передаваемых данных. Наиболее распространенной защитой от несанкционированного доступа к информации является шифрование данных. Таким образом, формируется основа обеспечения неприкосновенности и конфиденциальности данных. При реализации обмена данными через сеть Интернет с использованием шифрования данных необходимо, что бы и клиент и сервер поддерживали эту возможность (например, использовать протокол шифрования данных SSL). Этот так же относится и к той ситуации, когда мы используем промежуточное звено в механизме передачи данных.^ 6 Разработка Методов и моделей визуализации результатов тестового контроля Во второй главе диссертации рассматриваются вопросы построения моделей визуализации аттестационных показателей вместе с проблемами их агрегирования и аналитической обработки в различных средах.^ 7 Модели представление результатов аттестации На примере результатов аттестации персонала, занятого в одном из подразделений ОАО «Газпром» по дисциплинам «Управление финансами» - UFO, «Экономика» - EcO, «Бухгалтерский учет и аудит» - BhO, «Юридические основы финансово-экономического управления» UrO, «Организационные основы современного финансово-экономического управления» - FeO и «Информационные технологии» - ITO корреляционный анализ дал результаты, сведенные в таблицу 1. Таблица 1. Корреляционный анализ рейтинга по направлениям Корреляции - значимость на уровне p ФА Д2 Д3 Д4 Д5 ИТ ФА 1,00 0,51 0,37 0,46 0,45 0,19 Д2 0,51 1,00 0,41 0,50 0,40 0,06 Д3 0,37 0,41 1,00 0,29 0,21 0,16 Д4 0,46 0,50 0,29 1,00 0,45 -0,01 Д5 0,45 0,40 0,21 0,45 1,00 0,05 ИТ 0,19 0,06 0,16 -0,01 0,05 1,00 Как ни странно, уровень знаний по информационным технологиям практически не корррелирует с уровнем знаний по специальным дисциплинам.Формы представления результатов аттестации должны содержать свертку информации как по тестируемым, так и по направлениям и сложностям тестовых заданий. Такие формы представления используют методы многомерного анализа.Формы представления результатов аттестационных показателей Рис. 3. На рис.3. представлен звездный график для группы тестируемых. По каждому лучу откладывается масштабированное значение его уровня знаний по данной направленности. Такое представление весьма информативно для сравнительного анализа результатов каждого аттестуемого сразу по всем направлениям подготовки.^ 8 Результаты мониторинга сотрудников и сравнительный анализ рейтинга различных возрастных категорий Процедура оценки результатов сдачи работниками экзамена и оценка уровня профессиональных знаний состоит из последовательного выполнения следующих этапов:1. Обработка результатов опроса на основании заполненного специалистом бланка ответов и шаблона правильных ответов по 5 вариантам.2. Классификация вопросов универсального профессионального опросника по группам сложности и видам.Разработанной методикой была предусмотрена классификация всех 100 вопросов опросника по следующим группам сложности и видам: 1. 3 группы сложности: базовые вопросы; вопросы повышенной трудности; трудные вопросы. 2. 2 вида вопросов: теоретические; практические. 3. Предварительная количественная оценка результатов экзамена. 3.1. Расчет «сырого» балла по темам проводился по формуле: ЗУН тc = [(qi * ki ) : ЗУН т maxc ] * 100, (1) где qi – количество правильных i – х ответов по т- му подразделу; т = 1 … 21; ki – коэффициент значимости i –го вопроса; ЗУН т maxc – максимально возможное значение «сырого» балла, получаемого при условии правильного ответа на все вопросы т- го подраздела. Коэффициенты значимости по вопросам установлены в зависимости от группы сложности следующим образом: Таблица 2. Коэффициенты значимости Группа сложности Коэффициент значимости Базовый вопрос 0,8 Вопрос повышенной трудности 1,0 Трудный вопрос 1,4 3.2. Расчет «сырого» балла по блокам проводился по формуле: ЗУН бc = ЗУН тc , б = 1…6. (2) 3.3. Расчет итогового «сырого» балла проводился по формуле: ЗУН иc = ЗУН бc (3) 4. Окончательная количественная оценка знаний.Окончательный балл рассчитывался с учетом условий проведения экзамена работников (необходимости адаптации).Для расчета окончательных баллов соответствующие «сырые» баллы корректировались на повышающий коэффициент К=1,2:по темам ЗУН т = ЗУН тc *1,2по блокам ЗУН б = ЗУН бc *1,2итоговый ЗУН и = ЗУН иc *1,2Максимальное значение окончательного балла должно быть равно 100. 5. Проведение качественного анализа результатов экзамена с учетом полученных правильных ответов на теоретические и практические вопросы.Для изучения зависимости между возрастом работников и их уровнем системных профессиональных знаний, работники были разделены на 5 возрастных групп: до 25 лет, 26-30 лет, 31-40 лет, 41-50 лет, старше 50 лет. Анализ распределения работников по возрастным группам (рис.4) показал, что наиболее многочисленными являются группы сотрудников в возрасте 41-50 лет (45%) и в возрасте 31-40 лет (31%). Самой малочисленной является группа сотрудников в возрасте до 25 лет (3%).Распределение работников по возрастным группам Рис. 4 Для определения зависимости между уровнем системных профессиональных знаний работников и их возрастом был проведен корреляционный анализ. Результаты свидетельствуют о наличии слабой обратной связи между возрастом работника и его уровнем системных профессиональных знаний, которые были определены по результатам экзамена, как по отдельным блокам, так и по финансово-экономическому блоку в целом. Наибольшее значение коэффициента корреляции по модулю наблюдается по финансово-экономическому блоку в целом (-0,28), что тем не менее свидетельствует о наличии очень слабой обратной зависимости между возрастом работников и их уровнем системных профессиональных знаний. Следует отметить, что в рамках отдельных блоков знаний наибольшие по модулю значения коэффициента корреляции наблюдаются по блокам «Управление финансами» и «Экономика»; наименьшее значение – по блоку «Бухгалтерский учет и аудит», что говорит практически о полном отсутствии связи между возрастом работников и их уровнем системных профессиональных знаний.Проведенный анализ представления результатов аттестационных показателей показал, что существует множество вариантов визуализации и методов аналитической обработки данных. Однако проблема заключается в различной конфигурации одних и тех же данных для различных методов аналитической обработки. Это ставит задачу адаптации OLAP-технологий для представления агрегированных данных аттестационных показателей.^ 9 Разработка методики агрегирования показателей аттестации Допустим, имеется m измерений с ni количеством членов в i-ом измерении, где i=1..m. Упорядочим существующие измерения и сопоставим каждому измерению порядковый номер i в соответствии с выбранной сортировкой. Обозначим множество таких порядковых номеров I, так что m = | I |. Обозначим некоторое множество агрегатов через Al1…li…lm , где li{0,1}: выделим также такое подмножество порядковых номеров I0= {ik | ikI & lik=0}, k=1…p, pm. Тогда будем считать Al1…li…lm – множество агрегатов, полученных агрегированием по всем членам тех измерений, порядковый номер которых iI0. Тогда A1…1, где индексы во всех позициях равны 1, является множеством исходных данных; A0…0, где индексы во всех позициях равны 0, содержит единственное значение полного агрегата. Упорядоченная последовательность l1,…,li,…,lm, соответствующая множеству агрегатов Al1…li…lm, представляет состояние агрегации. Разные состояния агрегации, а, следовательно, и множества агрегатов могут соответствовать одному и тому же уровню детализации l = l1+…+li+…+lm.Обозначим количество агрегатов множества Al1…li…lm, как al1…li…lm = |Al1…li…lm|. Для трёхмерного случая с учётом того, что i(C)=1, i(M)=2, i(T)=3 – порядковые номера измерений, получим: a011= nmnt a101= ncnt a110= ncnm a001= nt a010= nm a100= nc, (4) тогда a* = a011+ a101+ a110 + a001+ a010 + a100 + a000. (5) Количество агрегатов, полученных агрегированием по некоторым измерениям, равно произведению числа членов всех остальных измерений, то есть: . Количество всевозможных агрегатов равно сумме al1…li…lm при всевозможных вариантах последовательности l1,…,li,…,lm, исключая множество исходных данных. Всего таких вариантов 2m -1.С другой стороны, при агрегации исходных данных по всевозможным k измерениям, где k{1,…,m}, получается некоторая совокупность множеств агрегации с одним и тем же уровнем детализации, равным l=m-k. Обозначим эту совокупность Al с количеством агрегатов al. Для расчёта количества множеств агрегации Al1…li…lm в Am-k необходимо посчитать количество вариантов размещения k нулей по m позициям. Это случай сочетания k элементов по m, равный Ckm: , , где |I0| = k. При этом , поэтому формула расчёта полного числа агрегатов с может быть представлена следующим образом: Из последнего выражения вытекает свойство: Al1…li-1 1 li+1…lm = ni Al1…li-1 0 li+1…lm (6) которое приводит к следующему тождеству: . (7) На выполнение агрегации некоторого множества значений показателей (агрегированных или исходных) до определенного результирующего множества агрегатов требуется определенное количество элементарных операций суммирования, которые необходимо осуществить для получения результирующего множества. Будем обозначать затраты на выполнение агрегирования множества Al1…li…lm по i-му измерению, как C(A(i, Al1…li…lm)) или более коротко C(i, Al1…li…lm). При этом C(i, Al1…l(i-1),0, l(i+1)…lm) = 0.Представление множества агрегатов в виде сетевого графа Рис. 5. Пусть существует иерархия с l* уровнями, где nl – количество членов на l-ом уровне и nlМножество агрегатов можно ассоциировать с вершинами сетевого графа. Начальной вершиной такого графа является множество исходных данных, конечной – значение полного агрегата (рис.5.) В любое множество агрегатов Al1…li…lm (li E {0,… li*-1}) можно непосредственно перейти из другого множества Al1…li+1…lm, произведя операцию агрегирования по i-му измерению. При этом необходимо произвести соответствующие вычислительные затраты, откладываемые на рёбрах графа.При этом справедливо следующее утверждение: В любую вершину графа Al1…li…lm можно попасть из другой вершины Al1’…li’…lm, если хотя бы одно из неравенств li’=> li , i = 1…m выполняется строго. Для получения множества агрегатов определённого уровня, необходимо вначале получить множества агрегатов большего уровня детализации. Однако в отличие от процедуры предварительного формирования агрегатов при получении результирующего набора нет необходимости формировать всевозможные агрегаты определённого уровня детализации. Достаточно формировать по одному множеству определённого уровня на основе множества более детального уровня. Предварительное и оперативное формирование агрегатов в сетевой модели Рис. 6. Пусть в результате процедуры предварительно формирования агрегатов получили всевозможные множества минимального уровня детализации l. Пусть в результате необходимо сформировать множество агрегатов Al’1,…,l’m уровня детализации l’, l’Такая процедура оперативного формирования обеспечит минимальное время выполнения пользовательских запросов. С другой стороны многое зависит и от множества предварительно сформированных агрегатов. Ясно, что они должны быть сформированы так, чтобы вычислительные затраты на оперативное формирование всевозможных множеств были минимальны. В этом и заключается оптимальность процедуры предварительного формирования агрегатов.^ 10 Разработка метода классификации обучаемых с учетом априорной информации Для классификации уровня знаний и навыков в работе предлагается использование байесовской процедуры, которая предполагает знание априорных вероятностей qi, т.е. вероятностей принадлежности испытуемого к некоторой группе Wi до выполнения процедуры тестового контроля.Априорные вероятности qi представляют вероятности принадлежности обучаемого к группе Wi до прохождения теста. Апостериорные вероятности P(Wi|X) представляют условные вероятности соотнесения тестируемого с результатом X к некоторой группе после проведения тестового контроля и получения конкретных числовых значений правильных ответов.Без знания предыстории обучаемого априорные вероятности можно положить равными. Знание предыстории тестируемого дает априорную вероятность его уровня знаний, которая может существенно увеличить точность решения задачи классификации, однако это должно быть согласовано с учетом психологических, этических и может быть воспитательных норм получения оценки.Если X имеет многомерное нормальное распределение с плотностью f1(X) для первой группы и f2(X) для второй группы, то соотношение теоремы Байеса принимает вид: i=1,2. (8) При использовании байесовской процедуры классификации испытуемого относят к одной из групп на основании сравнения апостериорных вероятностей. Испытуемого относят к W1, если P(W1|X)P(W2|X) и к W2, если P(W1|X)^ 11 Методы и модели переоценки сложности тестовых заданий В третьей главе диссертации разрабатываются модели генерации результатов аттестации с последующей переоценкой сложности тестовых заданий. Для сравнительно анализа сложности тестов использовался дисперсионный анализ. Рис. 7. Так, из диаграммы на рис.7. видна явная заниженность сложности пятого варианта теста (50% баллов попадает в зону от 70 до 100) и завышенность трудности 2-го варианта (50% баллов попадает в интервал от 0 до 25). Это естественный процесс отсеивания методически некорректных заданий. Поэтому в работе предлагается метод переоценки сложности тестовых заданий, который основывается на статистической обработке результатов решении каждого тестового задания в системе аттестации каждым аттестуемым, с последующей их пересортировкой по сложностям (рис.8.).В диссертации рассмотрены модели оценки сложности по результатам ответов тестируемых на задания в классической теории, где сложность задания определяется эмпирически и соответствует доле неправильных ответов , ^ Wj - число неправильных ответов; N - число испытуемых. По сравнению с классической теории тестирования в IRT теории используется другая мера с