Педагогічнаекспертиза шкільних підручників
Розробка науково обґрунтованої системи оцінкиякості учбової книги є самостійною складною і актуальною проблемою, длявирішення якої буде потрібно об'єднати зусилля і педагогів, і психологів, іучених інших спеціальностей. На справжній конференції, ці питанняобговорювалися в докладах Я.А. Мікка, А.А. Тильдсеппа, У.Л. Ляенеметса,А.Н. Землякова і інших дослідників. Ряд питань, пов'язаних з організацієюпедагогічної експертизи шкільних підручників (навчальних посібників,навчально-методичних комплексів і інших учбових книг), розглянутий в данійроботі. Під педагогічною експертизою учбової книги або шкільного підручника(надалі і то і інше скорочено позначатимемо – ШП) розумітимемо алгоритмізованупроцедуру отримання колективної думки про ШП у формі експертної думки (абоекспертної оцінки), одержаної групою спеціально відібраних фахівців (учених,методистів, вчителів і т. п.).
Характерними особливостями експертного методу якнаукового інструменту вивчення складних неформалізованих проблем є: 1) науковообґрунтована організація проведення всіх етапів експертизи; 2) вживаннякількісних методик як при відборі експериментів, так і при обробці їх думок; 3)обґрунтовування необхідної і достатньої кількості експертів і оцінкадостовірності колективної експертної думки. Ці три особливості і відрізняютьекспертний метод від звичної і давно відомої експертизи, широко вживаної в різнихсферах людської діяльності [1]. Експертні методи слід розглядати в педагогіціне як спосіб виявлення громадської думки про її проблеми, а як один з можливихпідходів до всебічного вивчення складних педагогічних проблем. В основі методугрупових експертних оцінок (ГЕО), що є основним методом дослідження вкваліметрії [2], лежать наступні твердження. По-перше, експертна оцінка маєхарактер вірогідності і ґрунтується на здатності експерта давати оцінку вумовах невизначеності, тобто тоді, коли повнота або достовірність інформаціїабо специфіка об'єкту не дозволяють провести метрологічне вимірювання.По-друге, вважається, що узагальнена колективна думка групи експертів більшдостовірна, ніж думка одного експерта, хай навіть самого компетентного зі всіх.По-третє, відбір експертів, процедура роботи з ними, розробка анкет-тестів,обробка експертних думок проводяться по певному алгоритму з метою зменшення«шуму експертів» як «датчиків інформації» і з оцінкою довірчої вірогідності(погрішності) експертного висновку.
Під алгоритмізацією методу ГЕО розумієтьсяформалізація процедури експертизи в строгому проходженні рекомендаціямвідповідних Гостів [3]. З урахуванням викладених вище специфічних особливостейекспертного методу сформулюємо алгоритм проведення педагогічної експертизи ШУ іперерахуємо основні проблеми і задачі, що виникають при цьому (більш докладноалгоритм і окремі його процедури описані в [4] на с. 15–18, 22–24).
Алгоритм експертизи ШУ містить 4 або 5 етапів:підготовчий, етапи роботи робочої, експертної і технічної груп, завершальний(при невеликому об'ємі роботи робоча і технічна групи можуть бути з'єднані).
На підготовчому етапі директивною організацією(міністерством, відомством, видавництвом, НІІ, вузом і т.д., наприклад МНОРРФСР, КГНО СРСР, «Освіта», НІІ педагогіки союзної республіки, головнимпедвузом) ухвалюється рішення про проведення експертизи ШП (див., наприклад,наказ Мінпроса СРСР від 28.10.86 №216), яка призначає установу (НІІ АПН СРСР,вуз, кафедру, лабораторію і т. п.), відповідальну за організацію іпроведення експертизи ШУ, формулює мету експертизи; створює робочу і технічнугрупи, складає план-графік її проведення.
На цьому етапі серед керівників відповіднихнаукових установ і відомств доцільно розповсюдити анкету типа V-1, щоб її данівикористовувати при розробці алгоритму експертизи. Нижче приведений фрагментодного з варіантів цієї анкети.
Якщо відповідаючий на анкету V-1 підкреслив варіант відповіді 1в,то його відповіді на питання №2–4 і т. п. слід використовувати прирозробці алгоритму експериментальної перевірки якості ШП. В записці поясненняпропонується обвести кружком номера тих з приведених варіантів, які кожнийвважає найдоцільнішими. Принципова незгода із запропонованим варіантомвиражається його викреслюванням, сумнів – знаком «?», який проставляється порядз номером відповіді.№ п/п Зміст проблеми, питання Можливі варіанти рішення 1.
Які методи оцінки якості
ШП Ви вважаєте головними?
1а
16
1в
Експертиза
Рецензування
Експеримент в школах 2.
Яка директивна організація повинна ухвалити рішення по експертизі даних ШП?
(Вказується мета експертизи наприклад конкурс ШП; приводяться вихідні дані про ШП.)
2а
26
2в
2г
2д
ГКНО СРСР
MHO СРСР (…РСР)
АПН СРСР (…РСР)
Видавництва: «Освіта»…
Ваш варіант: 3.
Які наукові колективи потрібно привернути до експертизи?
(Якщо Ви за систему рецензування, то вкажіть, з яких груп установ їх потрібно назначити.)
За
36
Зв
Учені галузевого НДІ ан
СРСР
Наукові співробітники наочної
лабораторії НДІ АПН СРСР
(…РСР)
Кафедри університетів, педінститутів, інших вузів 4.
Хто повинен складати списки
кандидатів в колективні і індивідуальні експертизи?
4а
46
4в
Директивна організація
Організація, що проводить экспертизу (п. 3)
Установа – організатор експертизи
Інформація, що міститься в анкетах типу V-1, використовується длявизначення стратегії експертизи. Анкета повинна бути розіслана не менше ніж в10 інстанцій, що мають відношення до проблеми навчальної книги. Вибіростаточних варіантів рішень проводиться простою більшістю «за».
Етап роботи робочої групи, створеної в організації, відповідаючоїза проведення експертизи, містить наступні операції: складання переліку питань,які необхідно вирішити при проведенні експертизи ШП, розробка проекту системикритеріїв для визначення якості ШП, вибір шкали вимірювання, визначенняпроцедури відбору експертів і оцінка їх компетентності, формування експертноїкомісії, визначення групи ведучих експертів і організація доробки з їх участюдопоміжних матеріалів, встановлення процедури опитування експертів.
Етап роботи експертної комісії включає:проведення турів опитування експертів, визначення узгодженості індивідуальнихекспертних оцінок і знаходження колективної експертної оцінки, організаціюобговорення проміжних результатів експертизи ШП, визначення погрішності експертизи.
На технічну групу покладається веденняділоводства, розмноження допоміжних матеріалів, організація контактів зекспертами, у тому числі і із застосуванням ЕОМ в режимі діалогу, математичнаобробка результатів експертизи.
На завершальному етапі групою ведучих експертівпроводиться аналіз результатів експертизи ШП, представлення їх у формі, зручнійдля уявлення до директивного органу, і, нарешті, ухвалення цим органом рішенняна основі експертного висновку. Ухвалення рішення повинне проводитися на основіінструкції про проведення експертизи, розробленою робочою групою і затвердженоюдирективною організацією.
Для кількісної оцінки компетентності експертів,що привертаються до експертизи ШУ, можуть бути використані методи взаємнихрекомендацій, самооцінки, аргументації і анкетних даних [5]. Необхідна ідостатня кількість експертів може бути обчислена по методиці Р.Г. Азгальдова[6]. Так, якщо невідома функція розподілу індивідуальних експертних оцінок qij(j-го експерта по і-му питанню), але відомий їх розмах d(різниця між максимальним і мінімальним значенням qij – залежновід шкали), то
/> (l)
Тут: Nmin – мінімальначисельність експертної групи, що забезпечує отримання колективної експертноїоцінки Q із заданим значенням довірчої вірогідності γ; />Q – абсолютна погрішністьQ. Для оцінки погрішності експертного висновку />Q,окрім загальновідомих з математичної статистики формул, можна використовуватиформулу:
/> де /> (2)
Тут: N – кількість експертних висновків (експертів); />Q – задане значення />Q; φ – коефіцієнт,залежний від величини γ. (Наприклад, для 0,8
Якщо,наприклад, використовуючи інструкцію Мінпроса СРСР про проведення експертизиконкурсних ШП (див. наказ МП СРСР від 28.20.86 №216), покласти, що оцінці«задовольняє повною мірою» відповідає 3 бали, оцінці «задовольняє не повноюмірою» – 2 бали, а оцінці не «задовольняє вимогам, що пред'являються до ШП» – 1бал, то розмах оцінок d = 2. Якщо покласти, що «ідеальний»підручник повинен мати оцінку 3 бали, а група експертних організацій дає йому Q= 2,5 бали, то />Q = 0,5бали (або цю величину />Q = 0,5можна задати). Тоді, використовуючи формулу (1) для γ = 0,9, одержуємо, щоNmin = 14. При тих же d і />Qдля Nmin = 5 одержимо γ =0,6, а при Nmin = 10 γ = 0,85. Для досягнення γ =0,99 Nmin = 64. Розрахунки показують, що використовування 3–4актiв експертизи зінститутів АН СРСР і університетів, 4 актів з НІІ педагогіки союзних республікі педвузів і 10 рецензій з ІУУ і від окремих вчителів, методистів або учених,тобто 17–18 актів експертизи і рецензій на один рукопис ШП (як це і булообумовлено в інструкції МП СРСР), достатньо для ухвалення рішення на рівні γ= 0,8. (Для отримання γ = 0,9 кількість експертів повинне бути подвоєно.)
При конструюванні анкет для експертизи учбовоїкниги може бути застосований досвід соціологічних досліджень [7].Використовуючи, наприклад, «Вимоги до шкільних підручників і інших учбовихкниг», складені в НДІ СиМО АПН СРСР, розробляється проект анкети типа ШП (нижчеприведений її фрагмент) і прямує в експертні комісії з проханням проранжироватьвключені в неї показники якості ШП і виразити своє відношення до запропонованихваріантів відповідей на них.
Анкета ШУІндекс Формулювання критерію Ранг ШУ ШУ А
Відповідність змісту підручника сучасному
рівню розвитку науки і техніки 1 Науковість учбового матеріалу 2 Комуністична спрямованість учбового матеріала 3 Внутрі- і міжнаочні зв'язки Б
Відповідність змісту підручника потребам
промислового і сільськогосподарського виробництва 4 Політехнічна спрямованість учбового матеріала 5 Експериментальна спрямованість матеріалу 6 Генералізує матеріалу 7 Структуризація учбового матеріалу 8 Методична повнота 9 Логічність викладу матеріалу 10 Методична цінність ілюстративного матеріала 11 Управлінська функція підручника Примітки: 1) ШУ, ШУ – шифри порівнюваних підручників або розділів (глав, параграфів) одного підручника; 2) в приведеному фрагменті включені тільки основні критерії.
Для ранжирування основних показників-критеріїв пропонуєтьсявикористовувати п-бальну шкалу, де п – число показників анкети(указується, що однакові ранги слід привласнювати не більше ніж 1/3показників), а для оцінки допоміжних критеріїв (з подвійною індексацією) – 5 –або 10-бальну шкалу. Своя згода з варіантами відповідей на критерії якостіпропонується дати з допомогою знаків: «+», «–» «?», що означає відповідно; «згоден», «незгоден», не «зрозуміло». Нижче приведений фрагмент анкети ШП, заповнений однимз експертів.
Індекс Формулювання критерію, його змісті Оцінка 3 Внутрі- і міжнаочні зв'язки 6 3.1. Наявність прямих посилань на раніше вивчений матеріал: 5 – достатня кількість + – недостатня кількість + 3.2. Наявність комбінованих вправ, задач, прикладів: 7 – достатнє + – недостатнє + 3.3. Наявність прикладів з інших предметів: 8 – достатнє + – недостатнє +
Якщо при оцінці якості ШП використовуються анкети типу ШП-1, то покожному критерію експерт виставляє оцінку в балах (або в рангах) кожномуоцінюваному підручнику (під шифрами ШП-1, ШП-2 і т.д.). Потім ці оцінкипідсумовуються по вертикалі (по всіх показниках анкети), тобто знаходитьсязагальна оцінка і-го ШП, проставлена j-м експертом, іпо горизонталі (поодинці і-му показнику) для кожного ШП по всіх анкетах,тобто знаходиться загальна оцінка кожного ШП по окремих показниках якості,проставлена всіма експертами. В найпростішому випадку підсумовуються виставленімісця (ранги) і ШП (рукопис або діючий), що набрав якнайменшу суму місць (абонайбільша кількість балів), признається кращим. Узагальнена оцінка і-гоШУ (або по і-му показнику анкети) обчислюється по формулах типу:
/> або /> 3)
Тут: Qі – групова експертна оцінка і-гоШП або його розділу; /> – індивідуальнаекспертна оцінка і-го ШП, поставлена j-м експертом; Kj – коефіцієнткомпетентності j-го експерименту; Vi – ваговий коефіцієнт i-го ШП (розділу);N – чисельність експертної групи.
При оцінці якості учбової книги часто виникає задача вибору кращоїз числа діючих або поступили на конкурс. При цьому нерідко оцінки можуть бутиблизькі один до одного, тому виникає питання про помітність їх з необхіднимрівнем значущості (L= 1-γ), інакше кажучи, виникає задачапорівняння незалежних вибірок, для чого можуть бути використані різні критерії:параметричний t-критерій, медіанний, критерій Колмогорова і Смірнова і інші.
Відомо, що якщо 1-й ШП набрав Q1 балів, а 2-й – Q2,то при Q2>Q1 2-й ШП краще 1-го ШП, якщо виконуєтьсянерівність
Q2-/>Q2>Q1+ />Q2 (4)
де />Q1 і />Q2 – погрішностівизначення величин Q1 і Q2 Можна показати, що два ШП, щонабрали відповідно оцінки Q1 і Q2, помітні, якщо:
(Q2-Q1)min>(Q1 + Q2)·(1–γ). (5)
Хай при експертизі двох ШП прийнята така шкала, що розмах оцінок d= 2, а />Q = 0,5 бали. Припустимо,що в 15-ти актах з 20 (N = 20)) 1-е місце віддано ШП-1, а 2-е – ШП-2. Тоді сумамісць, набрана ШП, рівна Q1 = 15 1+5·2 = 25, а ШП – 2 – Q2=5·1+15·2=35.Чи можна віддати перевагу ШП-1 (Q1γ ≈0,9. Тоді AQ1=25·0,1=2,5, а AQ2 =35–0, l=3,5. Видно, що Q1+/>Q1Q2(27,5
Нерівності типу (4) або (5) необхідно використовувати припорівнянні якості двох підручників (якщо їх число більше два, то попарно), колиїх якість виражається кількісно (бали, сума місць).
На закінчення відзначимо, що експертні оцінки можуть бутивикористані і при експертизі навчально-методичних комплексів [9, 10].
Аналіз впливу підручника на перезагруження учнів
У зв'язку з перебудовою всієї системи народної освіти пройшликонкурси на нові підручники по багатьох предметах. При їх перевірці, окріміншого, необхідно здобувати оцінку нових підручників з погляду витрат учбовогочасу.
Для вирішення цієї задачі пропонується система моделей,реалізована на ЕОМ і дозволяюча прогнозувати учбовий час, який необхідний длязасвоєння підручника.
На першому етапі проводиться аналіз зміступідручника з метою з'ясування кількості логічних понять і відносин, які є вкожному розділі (параграфа) і в підручнику в цілому.
Трудність учбового тексту залежить як від йоговластивостей, так і від уміння школяра працювати з ним. Ми розглядатимемотільки вплив властивостей тексту на його трудність, тобто складність тексту.
Складність тексту – його об'єктивна властивість, не залежна відрівня розвитку і підготовки читача. Спираючись, як це прийнято в психології, натри рівні розуміння тексту, розглянемо два компоненти його складності:інформативність і ясність структури тексту. Такий підхід, практично простореалізовуваний, дозволяє всесторонньо і достатньо глибоко проаналізуватишкільний підручник, одержати ряд чинників, що впливають на перевантаження,допомогти вчителю у виборі оптимального варіанту вивчення учбового матеріалу.
Відомо, що складність тексту залежить від новизни його змісту,кількості інформації, що міститься в ньому, причому ніж інформативніший текст,тим він важчий для розуміння.
Природно,що нас цікавитиме семантична інформація, яка перш за все прагне врахуватизначення повідомлення, що цілком відповідає загальним принципам дидактики. Длярозрахунку семантичної інформації використовуватимемо тезаурус, під якимзвичайно розуміють деякі знання, якими володіє суб'єкт.
Таким чином, семантична теорія інформації враховує, що значенняповідомлення сильно залежить від того, якими знаннями володіє сприймаючеповідомлення особа. Це якраз і грає головну роль в дидактиці, оскільки очевидно,що по-різному підготовлені учні (іншими словами, мають різний тезаурус)засвоюють різну інформацію з одного і того ж тексту. Для педагогіки важливоуміти обчислити семантичну інформацію в різних повідомленнях, а значить, требауміти будувати тезаурус.
Пропонована методика дозволяє не тільки побудувати тезауруспідручника на різних етапах процесу навчання, але і з'ясувати відноснудоступність різних частин підручника. На його основі далі будується матрицявідносин між різними розділами підручника, вживана для аналізу ясностіструктури тексту.
Якщо результати аналізу задовільні, то встаєзадача оптимального розподілу відведеного на вивчення цього змісту учбовогочасу між параграфами, яка дозволяє прогнозувати очікуване перевантаження,породжене цим підручником, а значить, і необхідний учбовий час (другий етап).
У тому разі коли зміст подібно тому, що ранішевивчалося в школі, розподіл проводиться на підставі статистичних даних (1). Насцікавитиме більш важливий випадок – зміст підручника носить експериментальнийхарактер і повних аналогів не має.
Як параметри моделі виступають:
— керовані чинники – час навчання на кожну тему;
— спостережувані результати – прогнозоване перевантаження учнів покожній темі і предмету в цілому і вірогідність вивчення
предмету за вказаний час.
Перейдемо до побудови моделі.
Ми розглядатимемо таке полягання процесунавчання, коли головні альтернативні ситуації його в основному дозволені іструктура учбового процесу визначена. Вивчення предмету будується за лінійнимпринципом, який передбачає послідовний розподіл матеріалу: зміст предмету як бивитягнутий в одну лінію, представляє ланки єдиного ланцюга, тобто весь учбовийпроцес – це ланцюг послідовно розташованих уроків, кожний з яких спирається напопередній і «прокладає шлях» подальшому.
Звідси витікає, що адекватне відображення процесунавчання шкільному предмету зручно проводити за допомогою мережної моделі(мережного графіка), побудованої на основі теорії графів (2).
У нашому випадку, оскільки підручник експериментальний, тривалостівивчення тим недостатньо відомі і невизначені. Ці операції зовсім нові абопринаймні маловивчені. Тому для отримання необхідних характеристиквикористовується метод експертних оцінок. Отриманні дані потім опрацьовують, івони служать основою для функціонування моделі.
В результаті ми отримуємо наступні значення:
- середні терміни вивчення тем, розділів і предмету в цілому;
- вірогідність дотримання встановлених термінів для процесу навчаннявсього предмету.
Порівнюючи їх із запропонованим в програмірозподіленням часу між темами, ми рахуємо перенавантаження, кожною темою іпредметом і цілому
Якщо одержані результати задовільні, то підручник разом з вказанимрозподілом часу може бути рекомендований школі. Інакше слід подумати проперегляд запропонованого в програмі розподілу часу між темами. Якщо і це не даєрезультату, то необхідно переробити частини підручника, що дають найбільшеочікуване перевантаження.
Таким чином, підручник вступає до школи тільки у тому випадку,коли він повністю відповідає тимчасовим нормативам. Крім того, з'являєтьсяможливість порівнювати різні підручники з погляду необхідного на їх вивченнячасу.
Описані моделі реалізовані на різних експериментальних і діючихпідручниках по російській мові, математиці, фізиці і хімії. Відзначимо, щоодержані висновки підтверджені прямими наглядами, проведеними лабораторієюекспериментальної перевірки підручників.
Необхідновідзначити, що всі описані дії проводяться над реалізованою в ЕОМ моделлю ініяк не зачіпають учнів, дозволяють уникнути небажаного втручання в хід процесунавчання, позбавитися від не до кінця теоретично обґрунтованого експерименту вшколі.