М І Шерман - Визначення рівня знань засобами комп'ютерного вибіркового тесту - страница 1

Страницы:
1  2 

M.I. Шерман, B.O. Шорохов

Херсонський юридичний інститут Національного університету внутрішніх справ

Визначення рівня знань засобами комп'ютерного вибіркового тесту

Серед педагогічного програмного забезпечення істотне місце займають контролюючі програми

- тести, призначенням яких є, в першу чергу, виявлення реального рівня засвоєння навчального матеріалу суб'єктами навчання.

У процесі розробки тестових завдань значна увага приділяється питанням психолого-педагогічної адекватності пропонованих тестів рівню подання навчального матеріалу та індивідуальних особливостей осіб, які проходять тестування. Крім того, не можуть лишатися осторонь такі важливі питання як валідність тесту, статистична вірогідність результатів тестування, з'ясування ваги окремих питань в сумарній оцінці, інтерпретація, аналіз та корекція результатів тестування з урахуванням домінуючих психологічних рис, притаманних модальній групі осіб, які проходять тестування.

Можна вважати, що методики педагогічного тестування мають багато спільного з методиками, які широко використовуються в практичній психології. Це, в першу чергу, тести, спрямовані на вимірювання здібностей, досягнень, апаратурні методики, засновані на стандартизованому самозвіті

— предметно-орієнтовані опитувальники і техніки суб'єктивного порівняння з еталонними параметрами.

Коректність у застосуванні цих методик забезпечується не тільки змістовим наповненням тесту, але і виконанням особливих вимог психометрики — вимог валідності, надійності, репрезентативності тестових норм.

Тестові методики покликані вирішити визначене обмежене коло задач масової експрес-діагностики. В даному конкретному випадку, ведучи мову про педагогічне програмне забезпечення, під експрес-діагностикою слід розуміти визначення рівня знань суб'єктів з певної предметної галузі.

Враховуючи той факт, що кожен, хто проходить тестування - це особистість, з притаманним лише йому внутрішнім світом та психологічною організацією, слід зазначити, що результат тестування та прогноз на його підставі мають імовірнісний характер.

В зв'язку з вище наведеним, постає питання визначення умов ефективності педагогічних тестових комп'ютерних програм та їх змістового наповнення в залежності від зміни умов тестування (різниця за віком, рівнем базової освіти, попереднім професійним досвідом, рівнем загальної та інформаційної культури [14] тощо).

На думку фахівців [1-4], аналіз тесту на етапі пробної експлуатації доцільний не лише для нових тестів (з нових дисциплін, курсів чи окремих тем), а й у випадку зміни діагностичної ситуації.

Значна частина педагогічних тестів - це тести-опитувальники, які складаються, як правило [4­6], з питань, що містять певні твердження, з якими випробуваному пропонується погоджуватися або не погоджуватися. У результаті відповідь випробуваного кодується як перемінна, якій може присвоєно лише 2 значення: «5» (« правильно») і «0» («неправильно»).

У більш складних випадках, коли структурою тесту передбачена диференціація відповідей на правильні, неповні, неточні, неправильні необхідно вводити більш складну методику підрахунку підсумкового балу (оцінки) [7-10].

В узагальненому вигляді алгебраїчно спосіб підрахунку тестового балу для тестів-опитувальників може бути описаний формулою:

j т

хЛ=-Е^ (і)

3=1

де: Xlk — бал i-того випробуваного за k-тою шкалою (рівнем знань); Rj - відповідь і-того випробуваного на j-тий пункт тесту-опитувальника; Qk - ключ ^еталонне значення) j-того пункту за k-тою шкалою; m - кількість пунктів у k-тій шкалі (для яких 0).

У випадку педагогічного тесту-опитувальника звичайно Щ = {0,+1} і С^={2, 5}.

Фактично тест-опитувальник - наближена модель варіантів відповідей ідеального суб'єкта навчання. Виходячи з концептуального положення щодо унікальності психологічного портрету кожного учасника тестування, необхідно враховувати, що питання тесту-опитувальника повинно бути емпіричним індикатором діагностичного концепту [1;2; 4], в даному конкретному випадку — рівня знань.

Перш ніж застосувати якийсь тест-опитувальник на певному контингенті осіб, педагог повинен уявити собі кожне питання з точки зору випробуваного. При наявності значної кількості питань у тесті домогтися врахування всіх варіантів відповідей випробуваних не вдається жодному психологу чи педагогу.

В даній ситуації з метою кількісної оцінки результативності кожного питання тестового завдання доцільно використовувати методи емпірико-статистичного аналізу питань тесту [4].

Апарат емпірико-статистичного аналізу питань відкриває можливість для адаптації методики до конкретних умов її застосування. Ця можливість забезпечується модифікацією шкальних ключів (еталонів) для окремих питань (значень CJ15). Фактично ця процедура полягає в зміні формулювання питання, яке при цьому несе аналогічне змістове навантаження. Надалі вважатимемо, що протилежний підхід, який використовується в психодіагностиці і полягає у зміні шкальних ключів (еталонів знань), у випадку педагогічного тестування, недоцільний, бо він призводить до зміни критеріїв оцінки.

У фаховій літературі [4] пропонується кілька досить простих з точки зору математичноїреалізації алгоритмів оцінювання значення шкальних ключів (еталонів знань CJK).

Предметом розгляду в нашому випадку був одновимірний педагогічний комп'ютерний тест з курсу "Бойова підготовка" з фіксованою послідовністю виведення питань на екран монітора, без обмеження часу на підготовку відповідей.

Критерій оцінки, враховуючи значимість курсу для практичних співробітників органів внутрішніх справ, було вибрано досить жорстким - CJ15 = {2; 5}. Тестові питання розроблялися на основі вимог навчального плану, робочої програми дисципліни та тематичного плану.

Тестування проводилося в рамках системи службової підготовки викладачів та співробітників навчального закладу, які істотно відрізняються між собою за базовою освітою, віком, досвідом попередньої роботи, наявністю чи відсутністю попередньої спортивної або професійної підготовки в плані формування теоретичних знань та практичних навичок використання зброї.

Для визначення ефективності педагогічного програмного засобу з точки зору змістового наповнення та форми подання тестових питань була використана методика, яка базується на алгоритмі чотириочкової кореляції [4; 11]. У відповідності до обраної методики дослідження проводилось поетапно. На першому етапі особи, які проходили випробування, відповідали на питання тестів. Результати відповідей заносимо у таблицю 1:

У рядках табл. 1 розміщені питання тесту від першого до М-того у тому порядку, в якому вони виводились на екран у процесі тестування. У стовпчиках наведений перелік осіб, які проходили тестування. На перетині рядків та стовпчиків містяться результати відповідей досліджуваного контингенту на кожне питання тесту.

Таблиця 1. Результати першого тестування

Викладач/Співро

Питання

бітник

1

1 2

1 ...

1      м і

Відповіді

1

1

1

 

1

2

2

2

 

2

 

 

 

 

 

N

М

М

 

М

Таблиця 1 є прямокутною матрицею MxN, де в рядках імена випробуваних, по стовпцях — питання, на перетині — значення Щ відповідей і-го випробуваного на j-e питання тесту-

опитувальника.

На другому етапі дослідження у відповідності до методики підлягають аналізу елементи матриці.

3 цією метою для кожного стовпця (для кожного питання) педагог на підставі кваліфікаційних вимог дисципліни визначає C°jk вихідні шкальні ключі (еталони знань). Потім для кожного рядка (кожного випробуваного) матриці |R| за формулою (1) підраховується сумарний тестовий бал Х1К. Серед усіх {X} відшукують 30% випробуваних з найбільшими значеннями тестового балу і 30% — з найменшими. Вони включаються відповідно в «високу» і «низьку» екстремальну групи. Надалі з кожного питання враховуються тільки відповіді тестованих з екстремальних груп. Шкальні ключі (еталони знань) Cjk уточнюються за допомогою розрахунку чотириочкової кореляції між відповідями на питання і влученням в екстремальну групу. Для кожного питання будується матриця спряженості 2x2, яка може бути відображена у вигляді таблиці 2:

Таблиця 2.

_Матриця спряженості значень відповідей для екстремальних груп.

Група/Відповідь

Екстремальна група

Відповідь

Висока

Низька

"5" (Правильно)

а

b

"2" (Неправильно)

с

d

У клітинках таблиці 2 вказуються частоти. В якості прикладу доцільно розглянути зміст відповідних клітин. Так у клітинці а підраховується частота появи відповідних суб'єктів тестування, які потрапили у "високу" групу і відповіли "правильно" на даний J пункт тесту, у клітинці b — число відповідних суб'єктів тестування з "низької" групи, що відповіли "правильно", і так для кожного питання тесту.

У цьому зв'язку зрозуміло, що питання, яке має високу дискримінативність щодо екстремальних груп, повинно мати істотну різницю значень a і b, з одного боку, і одночасно істотну різницю с і d — з іншого. При цьому контрасти повинні мати протилежний знак: якщо а більше b (" правильно" частіше відповідає "висока" група), то с повинно бути менше а ("неправильно" частіше відповідає "низька" група); навпаки, у випадку "зворотних" питань, коли різниця а — b від'ємна, то різниця с d повинна бути додатна.

У відповідній фаховій літературі [4;5;11] наведені різні коефіцієнти, що враховують дані вимоги, але перевага надається так званому фі-коефіцієнту [12]:

ad-bc-N/2

<Рі=  і (2) ^(a + b)(c + d)(a + c)(b + d)

де N — сума всіх елементів таблиці 2: N = a + b + c + d .

У випадку використання рівних і відомих за чисельністю екстремальних груп а+с=b+d=S,формула (2) спрощується:

_ aN-PS-N/2

93 ~ ylP(N-P)

де P — сума відповідей « правильно» на даний пункт: Р = а + Ь.

Значення фі-коефіцієнта встановлюється з наступного наближеного співвідношення:

де 2гр — стандартний квантиль розподілу хі-квадрат з одним ступенем свободи. Як відомо,

Якщо при вибірці N=100 обчислене значення фі-коефіцієнта перевищує за модулем 0,26, то це означає, що з нехтуваною імовірністю помилки в 1% можна робити висновок про те, що дане питання вносить значимий вклад у сумарний бал. Якщо □ □.□ □, питання варто вжати «прямим» (відповідь « правильно» свідчить на користь адекватності тесту рівню подання та засвоєння знань), якщо □ □ □□. питання варто вважати зворотним (відповідь «неправильно» свідчить на користь вимірюваної риси).

На підставі результатів статистичних досліджень педагогічного тестування, можна зробити висновок щодо доцільності оцінки ефективності педагогічних тестів з точки зору змістового

наповнення та подання навчального матеріалу у вигляді питань тестових програм та подальших

досліджень, спрямованих на порівняння різних методик оцінки ефективності педагогічних тестів.

На сучасному рівні розвитку педагогічних технологій, що базується на використанні в навчальному процесі та педагогічних дослідженнях технічних засобів навчання та досягнень інформаційних технологій, існує цілий ряд програмних засобів, використання яких дає можливість проводити масову експрес-діагностику знань - комп'ютерне тестування з певної дисципліни чи комплексу дисциплін.

В зв'язку з цим постає питання коректного вибору тестової комп'ютерної програми з наявних на ринку, при відсутності таких це питання трансформується у питання формулювання інженерно-педагогічних вимог та психолого-педагогічних засад створення адекватних тестово-контролюючих програм та відповідних методик створення тестів та їх ефективного використання з метою максимально об'єктивного з'ясування реального рівня знань, зручної з точки зору педагога-предметника процедури конструювання тестів та форми подання тестових питань на екрані комп'ютерного монітора.

З цією метою авторами спільно з фахівцями навчального відділу та кафедри тактико-спеціальної та бойової підготовки були розроблені та сформульовані узагальнені інженерно-педагогічні вимоги до тестових програм [13].

Розробка будь-якого програмного засобу, і педагогічне програмне забезпечення не є винятком, складається з певних етапів. Основними з них є формулювання технічного завдання, вибір коректного алгоритму розв'язування поставленого завдання, створення функціональної схеми, яка відображає основні етапи роботи програми, вибір адекватного інструментального засобу та програмна реалізація. Аналогічні етапи і створення систем автоматизованого контролю знань. Істотним при розробці таких програм є вибір коректних алгоритмів визначення рівня знань, критеріїв виставлення оцінки, аналізу результатів поточної та підсумкової успішності.

Більшість провідних фахівців в галузі діагностики знань [1;2;4] визначають структуру тесту як сукупність завдання та еталону, необхідного для об'єктивного визначення оцінки, що одержить особа, яка проходить тестування. Без коректно визначеної оцінки правильності виконання тесту принципово неможливо провести діагностику знань (під час виконання контрольних вправ) та створити вбудовану навчаючу систему (на етапі засвоєння навчального матеріалу).

У зв'язку зі складністю процесу розробки тестів були сформульовані загальні вимоги, яким повинні відповідати тести [9;10;13;15;16]: валідність, визначеність, простота, однозначність, надійність.

Сучасні уявлення диференціюють цю концепцію у відповідному вигляді. Так, валідність - це не що інше, як можливість опрацювання тесту на вибірках значного обсягу, які забезпечують статистичну вірогідність результатів. Під визначеністю розуміють чітко сформовані критерії проміжних та підсумкових оцінок.

Простота в даному конкретному випадку визначається як можливість використання тестової програми викладачем-предметником, який не являється фахівцем у галузі комп'ютерних технологій.

Однозначність може бути інтерпретована як впевненість у високій вірогідності результатів тестування. Надійність тестової програми - це комплексне поняття, яке включає, з одного боку, адекватність алгоритму, досліджуваному явищу, методичній меті створення педагогічного програмного засобу, з іншого - технічний аспект, тобто коректне функціонування комп'ютерного тесту в середовищі Windows в однокористувацькому та мережевому режимах, захищеністю програм та результатів тестування від несанкціонованого доступу.

В процесі створення тестово-контролюючих програм слід чітко відрізняти поняття типу та форми тесту. Типи тестів повинні бути пов'язані з рівнями засвоєння навчального матеріалу (тести першого, другого, третього рівнів). Форма тесту в істотній мірі залежить від програмних та апаратних засобів його реалізації.

Найбільш придатною формою тесту є тест з варіантами відповідей, серед яких потрібно обрати правильні та повні відповіді (так званий вибірковий тест) [17; 18].

Програмний засіб для створення та проведення вибіркових контролюючих тестів повинен

(4)задовольняти наступним вимогам:

1. Являти собою універсальну, просту у використанні оболонку, призначену для створення безпосередньо викладачем-предметником тестових завдань та наступного проведення тестувань з будь-якого предмету.

2. Дозволяти в зручний для викладача спосіб створювати та редагувати тестове завдання, зокрема копіювати фрагменти інших тестових завдань, перевіряти орфографію, роздруковувати тестове завдання в цілому.

3. Дозволяти на вибір викладача проводити тестування в автономному режимі, коли результат складання тесту лише відображається на екрані та фіксується викладачем у журналі, чи в груповому режимі, коли результати тестування багатьох осіб фіксуються в базі даних.

4. У випадку групового тестування:

4.1. реєструвати у загальній базі даних такі відомості: назву тесту, групу та прізвище особи, яка проходить тестування, дату тестування, результати відповіді на кожне запитання, результати складання тесту в цілому;

4.2. давати можливість проводити аналіз складання тесту (тестів): підраховувати середній бал при відповіді на кожне запитання тесту та за увесь тест, порівнювати результати проходження тесту різними особами чи навчальними групами та виконувати інші порівняння.

5. Надавати викладачеві можливість встановлювати час, який відводиться на проходження тесту, та критерії оцінки як частку правильних відповідей на оцінку "3", "4", "5".

6. Реалізовувати кілька типів запитань, правильна чи неправильна відповідь на які при тестуванні буде призводити до різних наслідків:

6.1. звичайне запитання;

6.2. запитання із подвійною вагою, яке використовується для підвищення внеску цього запитання при підрахунку результатів тестування;

6.3. критичне запитання - запитання, при неправильній відповіді на яке тестування негайно припиняється з виставленням незадовільної оцінки.

7. Дозволяти використовувати у запитанні малюнки, при чому не повинно існувати обмежень на формат відповідного графічного файлу, його розмір чи внутрішню структуру, тобто програма повинна використовувати графічні файли у будь-якому форматі, що підтримується операційною системою, з будь-яким розміром зображення та колірною палітрою.

8. Давати змогу формулювати для кожного запитання варіанти відповіді одного з трьох типів:

8.1. Проста відповідь - тестований може обрати лише один з запропонованих варіантів відповіді на запитання. При підготовці тесту викладач формулює кілька варіантів та визначає оцінку, яку отримає тестований в разі обрання ним кожного з варіантів;

8.2. Власна відповідь - тестованому пропонується власноруч набрати на клавіатурі правильну відповідь. Викладач при створенні цього типу відповіді вказує правильне значення. Цей тип запитань доцільно використовувати лише для введення числових або дуже коротких текстових відповідей;

8.3. Складена відповідь - правильна відповідь складається водночас з кількох варіантів з запропонованих; вибір зайвого варіанту, так само як й пропуск потрібного, призводить до зниження оцінки. При створенні такого запитання викладач вказує, які з варіантів відповіді є потрібними, а які - зайвими для правильної відповіді.

9. При проведенні тестування виводити відповіді на запитання, а також самі запитання у випадковому порядку.

10. Використовувати для проведення тестування зашифрований файл запитань, який можна вільно розповсюджувати, оскільки шляхом перегляду цього файлу особи, які проходять тестування, не можуть визначити правильні та неправильні варіанти відповідей.

Слід зазначити, що жодна з доступних тестових систем не задовольняє ці вимоги повною мірою, тому автори вважали за доцільне розробку власної системи для проведення автоматизованого контролю знань.

Запропонований програмний засіб складається з трьох модулів:

1. Надстройка для Microsoft Word, яка використовується в процесі створення викладачем тестового завдання;

2. Власне програма "Екзаменатор", яка виконує три відповідні функції.

2.1. служить для перекодування тестового завдання в зашифрований файл, який в подальшому використовується для проведення тестування та може вільно розповсюджуватися;

2.2. безпосередньо здійснює тестування, тобто виводить на екран почергово питання та варіанти відповідей на них, дозволяє особі, яка проходить тестування, вибрати потрібний варіант (чи варіанти), а після закінчення тестування підраховує оцінку;

2.3. записує результати тестування в базу даних.

3. База даних, в якій накопичуються результати тестування та яка містить засоби для їх аналізу. Тестове завдання для системи "Екзаменатор" створюється викладачем засобами Microsoft Word

та поєднує у собі завдання та еталон. Створення тестового завдання відбувається з використанням програми-надстройки, яка є одним з компонентів розробленої системи. Вибір такого шляху обумовлений тим, що, по-перше, Microsoft Word є найбільш розповсюдженим та популярним засобом опрацювання тексту, і тому переважна більшість викладачів мають достатній досвід роботи з цим програмним продуктом. З іншого боку, Microsoft Word включає досить розвинену систему програмування (Microsoft Visual Basic for Application), яка дозволяє створити програмний модуль, для контролю та спрямовування роботи викладача під час створення тестового завдання, а потім забезпечить роботу з програмою, за якою створюються на основі цього документу зашифрованийфайл запитань.

Документ Microsoft Word, на базі якого цей файл створено, слід зберігати на випадок редагування чи доповнення тесту, причому таким чином, щоб до нього не мали доступу особи, які тестуються.

Для створення файлу запитань по-перше, необхідно надрукувати (чи скопіювати з іншого документу) запитання, які будуть задані курсанту (студенту, слухачеві), та варіанти відповіді на них.

По-друге, слід виконати розмітку цього тексту, використовуючи кнопки на панелі інструментів "Складання тестового завдання" (можна також суміщати набір тексту з його розміткою). Кнопки цієї панелі інструментів викликають макрокоманди, за допомогою яких виконуються наступні дії:

1. Одинадцять кнопок служать для мічення назви тесту, звичайного запитання, запитання із подвійною вагою, критичного запитання та описаних вище варіантів відповіді (власна відповідь, два види складової відповіді - "потрібно" чи "непотрібно", чотири варіанти простої відповіді - на оцінку "2","3","4", "5"). Всі ці кнопки використовуються однаковим чином: слід встановити курсор в будь-якому місці того абзацу, який необхідно маркирувати (або виділити кілька абзаців) та нажати відповідну кнопку на панелі інструментів.

2. Для включення до запитання графічного зображення слід користуватися виключно кнопкою "Вставляння рисунка" - рисунки, вставлені іншим чином, будуть ігноруватися при складанні зашифрованого файлу запитань.

3. Для визначення часу, який відводиться на тестування, та критеріїв оцінки служить кнопка "Параметри тесту". За замовчуванням встановлені такі значення: час на тестування - 80 хв., критерії оцінки - 25% на "3", 50% на "4" та 75% на "5".

4. Перевірка правильності розмітки тесту. Визначаються такі помилки у структурі тесту: відсутність назви, відсутність жодного варіанту відповіді на запитання, відсутність правильного або неправильного варіантів відповіді на запитання, неможливість знайти вказаний рисунок, наявність різних типів відповідей в одному запитанні та інші. Водночас автоматично усуваються деякі недоліки в комп'ютерному наборі тексту, наприклад, подвійні пробіли та зайві знаки табуляції.

5. Створення зашифрованого файлу, який обслуговуватиметься програмою "Екзаменатор". Створюваний файл з розширенням exam зберігається у новій папці. Окрім зашифрованого файлу до цієї папки копіюються графічні файли, якщо до складу тесту входять малюнки. Перед виконанням цієї дії автоматично здійснюється перевірка правильності розмітки тексту.

Вид тестування - в автономному режимі чи групове тестування (а також, в останньому разі, місце розташування бази даних) - визначаються при налагодженні програми Examenator, причому вхід до цього вікна викладач може захистити паролем. В цьому ж вікні викладач обирає, чи слід після закінчення тестування повідомити результати відповіді на кожне запитання. Прізвища осіб, які тестуються, та їхні навчальні групи обираються з відповідних таблиць бази даних. Якщо база даних недоступна або в ній немає запису про дану особу, то тестування проводиться в автономному режимі.

У ході тестування на екрані відображається кількість запитань, на які дано відповідь, та час, який лишився на проходження тесту.

Оцінка обчислюється наступним чином:

1. За кожне запитання виставляється оцінка у вигляді числа від 0 до 1:

1.1. оцінювання простої відповіді здійснюється за критеріями оцінки, визначеними для тесту в цілому, а за відповідь, позначену на оцінку "2", виставляється 0 балів;

1.2. у разі власної відповіді: 1 - якщо відповідь, введена тестованим, співпадає з правильною відповіддю, 0 - якщо не співпадає;

1.3. у разі складеної відповіді, у якій запропоновано n варіантів (як потрібних, так і непотрібних), за кожний правильно позначений варіант додається 1/n балу.

2. За запитання, на які тестований не встиг відповісти, виставляється 0 балів.

Страницы:
1  2 


Похожие статьи

М І Шерман - Визначення рівня знань засобами комп'ютерного вибіркового тесту