Н Ю Тодорова - Зовнішнє незалежне оцінювання з англійської мови сучасні виклики для україни - страница 1

Страницы:
1  2 

ЗОВНІШНЄ НЕЗАЛЕЖНЕ ОЦІНЮВАННЯ З АНГЛІЙСЬКОЇ МОВИ: СУЧАСНІ ВИКЛИКИ ДЛЯ УКРАЇНИ

Н. Ю. Тодорова

Донецький національний технічний університет (Україна)

This paper analyses the current state of external independent testing in Ukraine (EIT), its 2009 and 2010 results and stakeholders' feedback in order to find out how the Ukrainian society meets the EIT challenges. It also considers the ways for the Ukrainian ELT community to be able to meet the challenges of the EIT in English and to act as agents of change on the way to a reliable, valid and internationally recognized national language testing system.

Keywords: national language testing system, external independent testing, secondary-school leavers, university admission

Передумови

Вже третій рік в Україні проводиться зовнішнє незалежне оцінювання з англійської мови (далі — ЗНО-ам), яке є інструментом, що визначає комунікативну компетенцію українських випускників середніх шкіл з іноземної мови і дає їм право вступати до університетів, де іноземна мова є профільною. Ця стаття має за мету проаналізувати поточний стан ЗНО-ам в 2009 і 2010 роках, його результати і відгуки зацікавлених сторін, з тим щоб з'ясувати, як українська громада викладачів англійської мови зможе ефективно впоратися з викликами, які виникають у зв'язку з ЗНО-ам. Використовуючи ЗНО-ам як приклад, ця стаття розглядає реальну владу, яку має зовнішнє незалежне оцінювання (далі — ЗНО) у суспільстві та його здатність змінити поведінку українських зацікавлених сторін.

У рамках зусиль по зниженню рівня корупції в сфері освіти та за підтримки ініціативи Агенції США з міжнародного розвитку (USAID) по створенню в Україні стандартизованого зовнішнього тестування був започаткований Український центр оцінювання якості освіти (УЦОЯО) з метою створення системи оцінки знань випускників шкіл, яка буде надійною та доступною для кожного громадянина. Саме ця мета визначила прагнення зробити ЗНО в Україні об'єктивною національною системою тестування, що з часом стане механізмом випробування, що має високий рівень валідності та визнання (a high-stakes test). При всіх вбудованих функціях влади українське ЗНО було позитивно сприйняте суспільством в цілому. Навіть учні, які спершу сприйняли оцінювання, як неминуче зло, тепер розуміють, що вони отримали змогу зберегти свої зусилля і гроші та

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.htmlотримати оцінку відповідно до їх навчальних досягнень. Наприклад, українська студентська спілка провела кілька кампаній з популяризації ЗНО з метою переконати уряд не скасовувати його [7].

ЗНО-ам було вперше введено в 2009 році. Проте в 2010 році воно перетворилося на гостру політичну подію і викликало хвилю громадських протестів випускників шкіл по всій країні. Навіть кращі учні, чиї знання англійської мови були доведені міжнародними сертифікатами Кембриджського синдикату та навчанням за кордоном, заявили, що випробування перевищує вимоги шкільної програми і вимагали визнати той факт, що тести занадто складні, і зменшити мінімально допустимий бал з англійської мови в університетах [1]. У ціх своїх вимогах випускники шкіл отримали підтримку своїх шкільних вчителів та репетиторів. У відповідь директор УЦОЯО Ігор Лікарчук заявив, що це не англійський текст надто складний і ненадійний, це українські учні мають погані знання англійської мови, а їх вчителі забезпечують низьку якість підготовки [3]. Наростаюча хвиля суспільного невдоволення і взаємні звинувачення, які звучали у засобах масової інформації, нарешті, стихли, коли учні, що брали участь у ЗНО-ам 2010, отримали свої рейтингові (norm-referenced) результати, в той час як УЦОЯО залишив протести громадськості без змістовного зворотного зв'язку. Незважаючи на переважно позитивну оцінку ЗНО 2010, результати якого були представлені в офіційному звіті УЦОЯО [5], саме ЗНО-ам та громадське обурення, пов'язане з ним, були згадані серед причин звільнення директора УЦОЯО з посади в січні 2011 року.

Якими б не були політичні та відомчі інтереси, що стоять за діяльністю УЦОЯО, існують об'єктивні умови, які не можна далі ігнорувати українським органам управління освітою. Враховуючи той факт, що в Україні немає університетів, які пропонують кваліфікацію у галузі оцінювання та тестування, багато управлінських рішень тут були прийняті з помилкової впевненості, що будь-який вчитель може сконструювати тест з предмету, який вони викладають, і тому не потрібно ніякого спеціального фінансування підготовки розробників тестових завдань і дизайнерів тесту. Саме низький рівень обізнаності адміністраторів у тестуванні з іноземної мови може пояснити їх висновок, що українські вчителі англійської мови погано викладають, а українські учні мають низький рівень володіння англійською мовою. Як стверджує Олдерсон, «тести та іспити часто використовуються як інструменти контролю якості, особливо тоді, коли при вимірюванні результатів також важливо і вимірювання інформації і ресурсів, наданих на початку навчання. Таким чином, якщо тести не підходять, тому що вони далекі від того, що вчителі роблять або повинні робити, буде отримана помилкова картина якості освіти» [8, с.2]. Зовнішнє оцінювання - це інструмент потрібний суспільству, щоб більш-менш

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.htmlоб'єктивно визначити рівень компетенцій випускників середньої школи, і саме ця мета визначає конструкт та специфікацію тесту. І якщо тест «не підходить», не обов'язково це тому, що він поганий. Це може діагностувати не стільки стан викладання певного предмету у певних умовах, скільки незодовільний стан повсякденної освітянської практики, недоліки в організації та забезпеченні освіти в цілому.

За словами Полянського, екс-заступника міністра освіти України, існує набагато більше людей, які хочуть «контролювати» процес тестування в країні. Він публічно озвучив думку про те, що для того щоб стати фахівцем у тестуванні треба витратити чимало років на читання спеціальної літератури, відвідування закордонних центрів тестування і опанування навичками управління освітою [4]. Це доводить, що органи управління освітою в Україні почали розуміти, що тестування є складною наукою і Україні не вистачає професіоналів у галузі створення тестових завдань, дизайну та адміністрування тестів.

У той же час особи, що приймають рішення в українській освіті, не є єдиними зацікавленими особами, які повинні бути проінформовані про наслідки ЗНО. Як висловився Олдерсон, «тестування занадто важливе, щоб залишити його тестувальникам» [8]. У зв'язку з викладанням та вивченням англійської мови важливо також розглянути реакцію учнів і вчителів як ключових учасників цього процесу. Проект Британської Ради в Україні з розробки національного тесту англійської мови (2006-2008) та програма USETI з підготовки розробників тестових завдань дали змогу автору цієї статті спостерігати верхівку «айсбергу» оцінювання і зрозуміти, що українські викладачі англійської мови усіх рівнів ще мають пройти довгий шлях до якісного розуміння особливостей тестування іноземних мов. Спостерігаючи дворічну історію ЗНО-ам в Україні, дуже важливо проаналізувати, що може зробити українська спільнота викладачів англійської мови, щоб стати агентами якісних змін.

Аналіз ситуації

Хоча ця стаття спирається на статистичні дані, наведені в офіційних звітах УЦОЯО, вона прагне бути якісним дослідженням, яке, на думку Gay, Mills, & Airasian, є «збиранням, аналізом та інтерпретацією складних оповідальних та візуальних (тобто не кількісних) даних, щоб отримати розуміння певного явища, що є об'єктом інтересу», коли значення розуміється, зокрема, у певній перспективі або контексті, і, коли світ сприймається в його різних смислах, жоден з яких не є більш справжнім або істинним, ніж інший [9, с.7]. Дані для цього дослідження були зібрані з використанням наступних джерел: українські публікації у ЗМІ, особисті записки автора та журнал роздумів і

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.htmlспостережень, інтерв' ю та неформальні розмови із зацікавленими особами, цільові дискусійні групи у соціальних мережах і повідомлення електронної пошти.

Порівнюючи статистику ЗНО-ам у 2009 і 2010 роках в офіційних звітах УЦОЯО [5; 6], можна сказати, що за свідченням центру обидва тести були перевірені міжнародними експертами та були належним чином пілотовані. Була отримана майже однакова кількість скарг на порушення процесуальних вимог (3 у 2009 році, і 4 в 2010), що доводить позитивний організаційний розвиток, зважаючи на те, що загальне число учасників випробування збільшилось з 56755 чоловік в 2009 до 86837 в 2010 році. Що стосується числа скарг на результати ЗНО-ам, то їх кількість скоротилася з 881 у 2009 році до 752 в 2010 році, тобто на 0,68%, незважаючи на всі протести громадськості проти складності та валідності тесту з англійської мови. Середня оцінка, яку отримали учні з ЗНО-ам, не дуже відрізняється: 27,3 в 2009 році в порівнянні з 27,56 у 2010 році. Щодо середнього показника складності випробування, ЗНО-ам 2009 року виявилось більш важким, ніж у

2010 (38,28% проти 37,26% відповідно).

Якою б позитивною не здавалася офіційна статистика ЗНО-ам, залишається питання: яку якісну інформацію надає цей тест зацікавленим сторонам? Без досвіду та знань в тестуванні українська громада навряд чи може зробити будь які значущі висновки з коефіцієнту a-Kronbach 0,85, який показало ЗНО-ам в 2009 році та 0,93 у 2010 році, або з середнього показника дискримінації 0,44 і 36,87% відповідно. Або, якщо статистика певного запитання показала негативне значення, як це запитання вплинуло на надійність та достовірність тесту, і чи вплинуло взагалі? В результаті, валідність українського ЗНО-ам не витримує критики, тому що без якісної інтерпретації результатів тесту неможливо надалі підтримувати валідність цього тесту. Введена Мессік [10] концепція послідовної валідності, яка пов'язана з ефектом зворотної дії («washback»), що охоплює елементи використання тесту, вплив випробувань на учнів і педагогів, інтерпретацію результатів особами, які приймають рішення, і будь-які можливі зловживання, порушення і ненавмисні наслідки випробувань. Washback є невід'ємною частиною валідності конструкту тесту, а наслідки випробувань для викладачів, учнів, інститутів і суспільства в цілому є відповідно доказами валідності тесту. Це має вирішальне значення, якщо від ЗНО очікується поштовх до якісних реформ в українській освіті.

Відсутність якісного аналізу результатів ЗНО-ам призводить до недостатньої інформованості зацікавлених сторін щодо соціального й особистого впливу випробувань, а оскільки вплив тестів такого рівня неможливо проігнорувати, брак інформації компенсується  припущеннями,  які,  якщо  є  помилковими,  спотворюють розуміння

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.htmlреальності незалежного тестування і приводять до помилкових висновків і рішень. Деякі з міфів, які домінують в поточній поведінці зацікавлених сторін наведені нижче.

Випускники шкіл та їх батьки переважно підтримують можливість здавати незалежні випробування, так як вони доступні для всіх безкоштовно і являють собою потужний інструмент доведення свого права на здобуття вищої освіти, в тому числі за рахунок державного бюджету, у подоланні кумівства та корупції. Для них участь у ЗНО -це доказ успіху або провалу їх навчальних зусиль. Проте зібрані автором дані продемонстрували такі помилкові думки, які поділяють українські школярі та їх батьки: тест з англійської мови є неякісним, якщо

— результати учнів на випробуванні нижче, ніж їхні шкільні оцінки;

— зміст текстів в тесті відрізняється від тих, що надруковані у шкільних підручниках;

— тексти містять деякі нові слова, незнайомі учневі, і

— учень, який має будь-який досвід навчання закордоном, або деякий час мешкав закордоном, отримує низькі оцінки.

Перший міф відображає низький рівень обізнаності зацікавлених осіб у тому, що насправді перевіряє ЗНО-ам, та розвиток їх свідомих вимог до якості отриманої освіти. Наступні два віддзеркалюють поточну практику публікації шкільних підручників разом з буклетами, що містять, крок за кроком, готові рішення до вправ, що передбачає просте відтворення знань учнями без будь-якого інтелектуального виклику. Одна із самих популярних скарг в блогах, присвячених ЗНО-ам: «Чому вони не показують відповідність тестових завдань сторінкам підручників, які використовуються в нашій середній школі?», або «відповідно до якого підручника були зроблені ці тести?» [2]. Це вагомий доказ того, що більшість українських випускників не знають різниці між тестом на володіння навичками спілкування іноземною мовою і тестом досягнень/прогресу учня з певної навчальної дисципліни. Останній міф також виявляє низький рівень обізнаності учнів про характер навчання іноземним мовам.

Очевидно, що крім досвіду українських учнів зі здавання тестів є багато соціальних, культурних та особистісних чинників, які викликають існування таких міфів, проте їх аналіз виходить за рамки цілей даної роботи. Але ці помилки відображають низький рівень поінформованості випускників шкіл щодо специфікації тесту, щодо того, що саме перевіряється і які стратегії навчання та здавання іспитів можуть допомогти їм проявити свої знання англійської мови якнайкраще.

Стереотипи учнів також підживлюються їх вчителями англійської мови, які самі притримуються наступних загальновизнаних міфів про ЗНО-ам:

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.html

з існуючою кількістю контактних годин з англійської мови в українських школах неможливо підготувати учнів до ЗНО-ам;

тексти на випробуванні повинні бути аналогічні тим, що надруковані у шкільних підручниках, рекомендованих Міністерством освіти;

тільки адаптовані англійські тексти з не більш ніж на 5% незнайомих учням слів можна включати у тест і

структура тесту з англійської мови має бути схожою на тестування з рідної мови

[1].

Стереотипи українських вчителів англійської мови щодо тестування значною мірою випливають з методики викладання іноземних мов радянських часів, яка основана на граматично-перекладному методі та кількісному підході до визначення мовленнєвих навичок учня (наприклад, кількість слів, висловлених або прочитаних за хвилину, кількість орфографічних або граматичних помилок на письмі і т.д.). Ці неправильні уявлення педагогів доводять, що існує величезний розрив між сучасним станом в навчанні іноземним мовам і тестуванні в світі, з одного боку, і поточним навчанням і тестуванням, що практикується в українській середній освіті, з іншого.

Зворотній зв'язок вчителів з приводу ЗНО-ам носить суто емоційний характер. Ніхто ніколи не намагався уважно поглянути на офіційно оприлюднені специфікації і конструкт тесту і побудувати співвідношення: «програма» офіційного тесту і програма середніх навчальних закладів з англійської мови. Було б несправедливо звинувачувати українських вчителів англійської мови в тому, що вони нічого не знають про Загальноєвропейські рекомендації в галузі мовної освіти та відповідні міжнародні та національні документи, які визначають форму і зміст вивчення англійської мови, навчання та тестування. Проте реакція української громади викладачів англійської мови на ЗНО-ам розкриває глибокі коріння цінностей викладання і поведінки, коли ми не навчаємо тому, що ми проповідуємо. Ось один з таких коментарів, «ми приділили велику увагу граматиці, в той час як цей тест в основному перевіряє розуміння прочитаного» [1]. Тим не менш суспільство в цілому сподівається, що викладання англійської мови має наблизитися до тестування з високим рівнем значення для подальшого життя учнів.

Приєднуючись до дискусії вчителів англійської мови про те, що ЗНО-ам не відповідає навчальній програмі середньої школи, ми повинні насамперед підкреслити, що програма ЗНО-ам безпосередньо випливає з програми англійської мови для середніх навчальних закладів (національний стандарт) 2004 року, в якій говориться, що випускники українських шкіл повинні продемонструвати на виході рівень іноземної мови B1. Цей

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.htmlрівень передбачає досягнення певної комунікативної компетенції з чотирьох навичок, які описані у відповідних міжнародних і національних документах про мовну освіту.

По-друге, ЗНО-ам позіціонується, як оцінювання навичок володіння мовою, а не тест досягнень, прогресу чи діагностики навичок учня з навчальної дисципліни, тобто оцінювання, яке, за Олдерсоном, не вимагає суворої відповідності до навчальної програми, хоча і «існує надія, що немає серйозних невідповідностей між тим, що викладалося і що вимірюється» [8, c.1].

Ці очікування створюють основу для того, щоб ЗНО-ам стало важелем для змін в українській практиці вивчення і викладання англійської мови, і, як будь-які зміни, воно викликає природну резистентність основних зацікавлених сторін. Вчителі побоюються, що низькі результати їх студентів підірвуть їх репутацію в очах суспільства в цілому, що означає подальшу втрату престижу їх роботи і низький рівень довіри до їхнього професіоналізму. У той же час зовнішнє оцінювання відчувається вчителями як щось чуже у їх повсякденній практиці викладання, і те, що знаходиться поза їхнім контролем. Це може пояснити поведінку вчителів в ході кампанії ЗНО, коли вони порушували встановлену справедливу процедуру тестування, допомагаючи учням списувати (наприклад, вчитель переодяглася у лікаря і консультувала учнів у ході випробування) [3].

На відміну від очікуваного протистояння між тестувальниками і вчителями, яке аналізував Олдерсон (1999), українські розробники тестових завдань та дизайнери тестів насправді є практикуючими викладачами англійської мови, які пройшли короткий курс навчання від Британської Ради, USETI, і тими, хто співпрацює з УЦОЯО. Може здатися, що українські тестувальники і вчителі повинні мати повну гармонію в їх взаємодії щодо ЗНО-ам. Однак вищезгадана опозиція випливає не з їх різних ролей і цілей. І вчителі англійської мови і організатори оцінювання мають за мету в кінцевому рахунку визначити мовленнєву компетенцію учнів, тобто їх здатність вживати на практиці чотири мовленнєві навички на рівні, передбаченому національним стандартом. Спільнота українських вчителів англійської мови у цілому може чинити опір змінам, оскільки працівники перевантажені, низькооплачувані і де-мотивовані. За цих соціальних умов, незважаючи на знання про останні події в області методики викладання, навчальних матеріалів та оцінки мовленнєвої компетенції, вони обирають стару, второвану стежку.

Українські викладачі англійської мови не єдині, хто мають досвід такого опору. Більш ніж десять років тому Олдерсон підсумував ці тенденції у відносинах між вчителями і тестувальниками: «Тести стали тим, в чому вчителі не беруть участь і чим не володіють. <...> Чим краще вони (вчителі - Н.Т.) розуміють, що перевіряється, тим більша ймовірність того, що їхнє викладання буде відповідати намірам тесту» [8, c.3]. «Наміри» є

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.htmlтут ключовим словом, тому що воно має на увазі розуміння побудови і освоєння специфікації тесту. Але замість спроби зрозуміти «філософію» ЗНО-ам, яка здається далекою і занадто складною, багато вчителів англійської мови в Україні підмінюють регулярне систематичне навчання навичкам спілкування англійською мовою нескінченним виконанням учнями тестових завдань під час контактних годин. Очевидно, що таке зубріння для складання іспиту, який перевіряє сформованість мовленнєвих навичок, мало ефективно і все одно вимагає систематичних знань та усвідомлювання мовних явищ, чого українським випускникам шкіл, як виявилося, не вистачає.

Тим не менше, опір змінам також іде від адміністраторів та осіб, які приймають рішення щодо ЗНО. Вони не завжди беруть до уваги той факт, що характер вивчення іноземної мови досить сильно відрізняється від вивчення інших предметів, оскільки це, насамперед, опанування навичками спілкування на основі знань. Хоча адміністратори ЗНО визнають, що досягнення певного рівня володіння мовою потребує певного часу, вони, схоже, не зважають на те, що тестування мови у світі має свою власну розроблену та апробовану філософію, процедури і традиції як самостійна галузь освітніх вимірювань, і було б простіше і економічно ефективніше будувати українську практику тестування на досвіді, який накопичений за кордоном. Наприклад, як стверджує аналітик зовнішнього незалежного тестування знань в Україні Поттрофф, «з мого особистого досвіду, я прийшла до висновку, що більшість українських педагогів і навіть більш високий відсоток батьків в Україні абсолютно не знають про критику в недавніх дослідженнях у Сполучених Штатах, яка кидає виклик здатності оцінювання, що прив'язане до норм та до критеріїв, вимірювати навчальні досягнення і результати (Broadfoot, 2007; Filler, 2000). Крім того, ніхто з людей, у яких я брала інтерв'ю або переписувалася з допомогою Інтернету, були знайомі з теорією, що оцінювання освіти може грати безліч прихованих політичних і соціальних ролей у суспільстві» [11].

Як показала реакція українського суспільства, на макро-політичному рівні в національних інтересах мати достовірний і надійний іспит з англійської мови, який буде сприяти впровадженню професійних стандартів і, з часом, може сприяти міжнародному визнанню українських сертифікатів, що, в свою чергу, сприятиме мобільності української робочої сили і студентів.

За допомогою аналізу Шохами [12] соціальної і політичної влади тестів з високими ставками можна також простежити вбудовані функції влади в українському ЗНО: — воно адмініструється установою, яка стверджує, що не залежить від зовнішнього впливу;

PixelPlanet PdfPrinter demo version - http://www.pixelplanet.com/download/index.html

воно представлено мовою науки і чисел, яка сприймається як об'єктивна, справедлива, раціональна і беззаперечна;

воно представлено в письмовому вигляді, що означає односторонній зв'язок, і оформляється для подальшого використання в науковому форматі, який не зрозумілий для простих людей, і

воно виглядає як економічно ефективний і дієвий політичний інструмент, але насправді заміщає реальні реформи у галузі освіти; процес ЗНО і його результати видні суспільству, і таким чином, воно створює вигляд дій, замінюючи реальні заходи, які мають вжити зацікавлені сторони процесу.

Однак, певна кількість можливостей, вбудованих в українське ЗНО, залишаються вельми сумнівними:

— воно не сприймається українською громадськістю як авторитетне, тому що його не підтримує вся система освіти в Україні, і за нього виступає тільки жменька чиновників з очевидними власними інтересами. Ті факти, що, за словами І. Лікарчука [3], тоді директора УЦОЯО, протягом двох років жодна ініціатива Центру, спрямована на поліпшення системи ЗНО не мала підтримки Міністерства фінансів, а кампанія ЗНО 2009 року була проведена при 40% необхідного фінансування, свідчать про реальну важливість ЗНО для уряду в Україні;

— воно не здійснює свої повноваження з контролю за і внесенню змін до навчальних програм середніх шкіл, оскільки його не підтримує Міністерство освіти і освітні установи, і, таким чином, воно не має ефективних інструментів для здійснення цих повноважень. У відповідь на звинувачення в низькому рівні знань англійської мови випускниками шкіл і в низькому рівні викладання англійської мови в школах, українські вчителі слушно зауважили, що ці ж проблеми були помічені ще у 2009 році, але органи освіти до сих пір нічого не зробили для поліпшення навчальних програм, заохочення нових методів навчання або поставки якісних підручників та матеріалів для українських шкіл [1];

— воно не приваблює громадськість, особливо батьків, як символ громадського порядку із-за низької поінформованості суспільства та притаманних національному менталітету колективізму, партикуляризму та фаталізму: пересічному громадянину дуже важко визнати можливість будь-якого іншого соціального порядку, крім корупції, особистих зв'язків або кумівства; і

Страницы:
1  2 


Похожие статьи

Н Ю Тодорова - Зовнішнє незалежне оцінювання з англійської мови сучасні виклики для україни

Н Ю Тодорова - Міжкафедральна синергія у викладанні іноземної мови професійного вжитку

Н Ю Тодорова - Кроскультурний менеджмент

Н Ю Тодорова - До питання про розвиток актуальних компетенцій менеджера в системі сучасної бізнес-освіти

Н Ю Тодорова - Методы оценки работы малых групп коммуникативный аспект