В О Любчак, Б О Кузіков - Аналіз оцінних функцій у рамках інформаційно-екстремальної інтелектуальної технології - страница 1

Страницы:
1  2 

УДК 681.518:004.93.1

АНАЛІЗ ОЦІННИХ ФУНКЦІЙ У РАМКАХ ІНФОРМАЦІЙНО-ЕКСТРЕМАЛЬНОЇ ІНТЕЛЕКТУАЛЬНОЇ ТЕХНОЛОГІЇ

В.О. Любчак, СО. Петров, Б.О. Кузіков

Сумський державний університет

Пропонується порівняльний алгоритм вибору оптимальної в інформаційному розумінні оціночної функції для разв'язання задачі фазифікації при тестовому контролі знань і їх машинній оцінці в рамках синтезу системи керування дистанційним навчанням, розробленим у рамках інформаційно-екстремальної інтелектуальної технології.

ВСТУП ТА ПОСТАНОВКА ЗАВДАННЯ За сучасними інформаційно-освітніми технологіями навчання традиційні форми контролю знань, такі, як співбесіда з викладачем, письмовий екзамен доповнюються, а місцями, наприклад при дистанційній освіті, замінюються альтернативними підходами до визначення рівня знань слухачів за результатами комп'ютерного тестування. Це потребує подальшого розвитку алгоритмів і методів машинної оцінки рівнів знань слухачів, створення автоматизованих комплексів на базі систем підтримки прийняття рішень, що дозволить зменшити навантаження на викладачів. Актуальність вирішення цієї проблеми обумовлена необхідністю підвищення достовірності машинної оцінки знань, що дасть можливість ефективного коректування персоніфікованої моделі студента - агента "СЛУХАЧ" [1].

Основний недолік сучасних методів машинного тестування характеризується відсутністю ефективних методів розв'язання задачі фазифікації результатів тестування. У працях [2-4] пропонується використовувати для фазифікації оцінні функції (ОФ) різних типів, при цьому не розглядається питання чіткого обґрунтування вибору її виду. У праці [5] наводиться методика виведення в рамках нечіткої логіки підсумкової оцінки за результатами тестування, але так само не наводиться критерій вибору функції належності, що відіграє роль ОФ.

У статті розглядається задача вибору у рамках інформаційно-екстремальної інтелектуальної технології (ІЕІТ) [6] оптимальної в інформаційному розумінні ОФ для розв'язання задачі фазифікації результатів тестового контролю при машинній оцінці рівня знань слухачів.

Нехай за результатами тестового контролю сформовано апріорно класифіковану      навчальну      матрицю      типу «об'єкт-властивість»

||      і | m = 1 , M;  і = 1 , N ;  j = 1 , n ||,   де      M -кількість класів

розпізнавання (рівнів знань); N - кількість тестів за матеріалом поточного модуля дистанційного курсу;  n  - обсяг навчальної вибірки

(кількість   реалізацій   образу).   Сформовано   множину   J = {ji | i =

(де l - кількість ОФ) деяких вибраних ОФ, інформаційна спроможність яких досліджується з використанням критерію функціональної ефективності КФЕ у рамках ІЕІТ.

Необхідно із заданого вектора J = {ji | і = вибрати таку функцію

Ф*,   при   якій   КФЕ   навчання   класифікаційної   системи керування,

наведеної в праці [4], набуває максимального значення в робочій області його визначення. Тоді ОФ визначається за формулою

Ф* = arg  maxEm,є [1;l], (1)

де Em - інформаційний КФЕ навчання системи розпізнавати реалізації класу {Xm | m = 1, M} ; {d} - множина кроків навчання системи.

АЛГОРИТМ ВИБОРУ ОФ Порівняльний аналіз оцінних функцій будемо здійснювати в рамках ІЕІ-технології аналізу та синтезу класифікаційних систем керування, здатних навчатися, слабо формалізованими процесами [6]. Тоді методика порівняльного аналізу полягає в такому: у процесі машинного тестування для кожної ОФ із множини {фі | і = шляхом фазифікації вхідних

даних формується апріорна класифікована навчальна матриця відповідей студентів. Кожна із одержаних навчальних матриць обробляється за базовий алгоритм навчання LEARNING [6], який будує в N -вимірному просторі ознаки, чітке розбиття класів розпізнавання, що характеризують відповідні рівні знань слухачів. Оскільки призначенням базового алгоритму навчання є оптимізація геометричних параметрів контейнерів класів розпізнавання, то за оптимальну ОФ вибирається така

функція ф*, що задовольняє умову (1). Далі обчислюється інформаційний КФЕ та визначається глобальний максимум у робочій області визначення його функції і вибирається така оптимальна оціночна функція, що забезпечує найбільше значення КФЕ. Як КФЕ будемо використовувати модифіковану інформаційну міру за Кульбаком [6]:

E

[1 - (a + Р )]х log2 [2 ~{a +/ )1 ,

(2)

де  D1,   D2,   a ,   Р - точнісні характеристики процесу навчання: перша

та друга достовірності, похибки першого та другого роду відповідно.

Помилки першого та другого роду будемо розглядати як віповідні

оцінки: a  = K1 / n ,   Р = K2 /n     , де K1 - кількість реалізацій першого

класу,  що не містяться в    контейнері цього класу;     K2 - кількість

"чужих" реалізацій, що містяться в контейнері цього класу.

Вхідними даними алгоритму вибору оптимального в інформаційному

розумінні   {ф*}   у   рамках   ІЕІТ   є   апріорно   класифікована матриця

відповідей слухачів на тестові запитання, що за структурою відповідає

навчальній     матриці     || ymj) і | m = 1 , M;  і = 1 , N ;  j = 1 , n ||, і

система нижніх та верхніх контрольних допусків на ознаки розпізнавання A = {AHK,АВК}. Вихідними даними є номер і відповідної

оптимальної ОФ із вектора J = {фі | і = Схема алгоритму реалізується

у вигляді багатокрокової процедури.

Крок 1 Формування лічильника номерів ОФ: і = 0 .

Крок 2 Формується змінна E max = 0, що зберігає тимчасове максимальне значення КФЕ, та і max= 0, що зберігає номер ОФ, при якому виконується (1).

Крок 3 Збільшення змінної: і := і +1.

Крок 4 Формування навчальної матриці за результатами фазифікації відповідей слухачів для ОФ ji : || y^/) і ||= j,x || y(i) і || .

Крок 5 Побудова бінарної навчальної матриці X у просторі Хеммінга шляхом квантування значень ознак розпізнавання за двобічним рівнем ознак   розпізнавання   за   базовою   системою   контрольних допусків

A : X = УтЛ і х A.

Крок 6 Реалізується базовий алгоритм навчання LEARNING [6].

Крок 7 Якщо  Е*[і] > E max, то  E max: = Е*р]   та  iopt = i. Де Е*[і]

означає максимальне значення КФЕ в робочій області визначення його функції для найбільш бажаного рівня знань слухачів.

Крок 8 Якщо  і < l, то виконується крок 3, інакше - крок 9.

Крок 9. Повернути iopt і ЗУПИН.

РЕАЛІЗАЦІЯ АЛГОРИТМУ Вибір   оптимальної   ОФ   для   визначеного   вектора   J = {ji | i =

здійснювався за результатами тестування студентів дистанційної форми навчання з курсу „Бази даних та інформаційні системи" на фіксованій множині тестових запитань закритого типу з декількома правильними

відповідями. Було сформовано матрицю відповідей студентів  ||      i || з

параметрами: m = 1,2; i = l , 30; j = l , 55 . Вектор ОФ складався з функцій, наведених у табл. l.

Таблиця 1 - Вигляд ОФ для тестів закритого типу з декількома варіантами відповідей

Пор.

номер

Вигляд оцінної функції

Короткий опис

* Еі

1   1 2

3                          1 4

1

lg

max ЕxiXi,1

V L1 0 2

)

0

Функція   повертає  логарифм від суми балів за правильні відповіді

0,951

2

Е хіхі

1

max ЕXi,1

 

Функція       повертає частину відповідей,   що  не  є заздалегідь неправильними

1,190

3

max

fE xx *Xi' Е x

 

Функція повертає частину різниці балів       між       обраними та необраними правильними варіантами відповіді від загальної суми балів за правильні відповіді

0,687

4

f

lg max

V

Е хіХі  XiXi,1

V L1           L1 00

Функція   повертає  логарифм від різниці  балів   між  обраними та необраними правильними варіантами відповіді

0,687

 

2

 

 

Продовження таблиці 1

1   1 2

3

4

5

max

f

Li Lg

Функція     повертає різницю

1,196

 

 

max

VL1J

max

f

S X

VL2

частин правильно та неправильно обраних идповідей

 

6

SxX

100

Функція повертає частину балів за відповіді, що мають бути обрані і були обрані, від загальної суми балів

1,15

7

max

_100

V       100      ' J

Перший доданок являє собою суму балів правильних відповідей, тобто тих, що мали бути обрані, та були обрані, і тих, що не мали бути обрані і не були обрані. Другий доданок являє собою суму балів неправильних відповідей

0,951

У   табл.    1    E -   усереднене   значення   КФЕ   навчання системи

розпізнавати реалізації чотирьох класів - рівнів знань слухачів для i

*

ОФ. Оптимальною вважається така ОФ, при якій критерій Ei набуває максимального значення в робочій області визначення його функції.

Аналізуючи табл. 1, можна зробити висновок, що для вибраного типу тестового запитання, а саме запитання закритого типу з декількома правильними варіантами відповіді, найбільш доцільно використовувати

*

ОФ у вигляді 5, оскільки для неї значення критерію E5 = 1.196 є максимальним. Застосування цієї функції для фазифікації результатів тестування дозволяє відновити контейнери класів розпізнавання, що характеризуються меншим ступенем перетину порівняно з іншими видами ОФ.

Пояснення щодо скорочення запису сум у формулах з табл. 1 наведені у табл. 2.

Програмна реалізація алгоритму була виконана за допомогою мови програмування Java з використанням компілятора JSDK 1.5.0. Це було обумовлено безкоштовністю компілятора та середовища розроблення. Байт-код, що генерується в процесі інтерпретації програми, є кросплатформенним, що дає можливість його використання без виправлень на комп'ютерах іншої апаратної та програмної структури. Використання шаблону Model-View-Controller, який є частиною JSDK, дозволяє при зміні способу вводу/виводу подати додаток у локальному вигляді - аплету або серверного сценарію (технологія Java Server Page), що значно розширює сферу застосування. Використання пакета javadoc дозволяє паралельно з процесом реалізації алгоритму створювати його технічний опис, що дає можливість іншим дослідниками використовувати розроблене програмне забезпечення у своїй роботі. Загальний вигляд інтерфейсу програми показано на рис. 1.

Таблиця 2 - Скорочення в математичному записі формул ОФ

Пор.

номер

Математичний запис

Опис

1

S xi

і

Сума балів за правильні відповіді, безвідносно були вони обрані чи ні

2

S xiXi

l

Сума балів за відповіді, які в завданні були відмічені як правильні і були обрані

3

S XiXi

Сума балів за відповіді, які в завданні були відмічені як правильні, але не були обрані

4

S X

Сума балів за неправильні відповіді, безвідносно були вони обрані чи ні

5

S xiXi

k

Сума балів за відповіді, які в завданні були відмічені як неправильні, але були обрані

6

SxX

k

Сума балів за відповіді, які в завданні були відмічені як неправильні, і не були обрані

Рисунок 1 - Інтерфейс програми аналізу ОФ

На рис. 1 цифрами позначено такі елементи інтерфейсу: 1-параметр, що відповідає за додавання інформації, що миститься на цій вкладці до

*

html-звіту; 2-таблиця числових результатів зі значеннями E ; 3-графіки залежності КФЕ від параметра поля контрольних допусків 8 , що оптимізується при відновленні контейнерів усіх класів розпізнавання. Система   має   можливість   в   інтерактивному   режимі   вводити іншіконструкції ОФ в аналітичному вигляді з метою вибору оптимальної в інформаційному розумінні функції.

ПЕРСПЕКТИВИ УДОСКОНАЛЕННЯ ЗАПРОПОНОВАНОГО

МЕТОДУ

Подальше вдосконалення запропонованого методу аналізу ОФ у рамках ІЕІТ полягає у доповненні базового алгоритму навчання системи (крок 6) контурами оптимізації інших генотипних параметрів функціонування системи, що дозволить більш точно відновлювати оптимальні контейнери класів розпізнавання з метою конструювання універсальної ОФ для всіх видів тестових запитань.

ВИСНОВКИ

1 Розроблено і реалізовано алгоритм порівняльного аналізу ОФ різного вигляду для окремого типу тестів закритої групи з декількома варіантами відповідей на запитання. У рамках ІЕІ-технології обґрунтовано за інформаційним КФЕ вибір відповідної ОФ із наведених у табл. 1 функцій, що дозволяє розв'язати задачу фазифікації вхідних даних за результатами комп'ютерного тестування і підвищити достовірність оцінки знань слухачів.

2 Розроблений програмний продукт може бути використаний для порівняльного аналізу ОФ для тестових запитань будь-якого типу з відкритим вектором ОФ, які можна додавати в інтерактивному режимі.

SUMMARY

ANALYSIS OF CRITERION FUNCTION IN FRAME OF INFORMATION-EXTREMALLY

INTELLIGENT TECHNOLOGY

V.A. Lubchak, S.O. Petrov, B.O. Kuzikov

There is a comparison algorithm of selection an evalution function in the best sense of the information aspect to solve the fuzzyfication problem in process of computer testing knowledges which is necessary for synthesis system of distance learning developed in frame of information-extreme intellectual technology.

СПИСОК ЛІТЕРАТУРИ

1. Гриценко В.И., Довбыш А.С., Любчак В.А. Информационный синтез адаптивной мультиагентной системы управления дистанционным обучением. - М.: УсиМ.- 2006.-№ 6. - C. 4 -6; 25.

2. Brusilovsky P., Miller P. Web-based testing for distance education // WebNet'99. ngs of AACE World Conference of the WWW and Internet.-Honolulu, HI, 1999. - P. 149 - 154.

3. Попов Д.И. Оценка знаний в дистанционном обучении //Материалы Восьмой международной конференции «Открытое образование в России XXI века».-М.: МЭСИ, 2000. - 188 с.

4. Ноздренков В.С. Иерархическая структура экспертной системы вывода итоговой оценки знаний // Вестник Херсонского национального технического университета. - 2006. -№ 1 (24). - С. 473 -478.

5. А.С. Довбиш, В.О. Любчак, С.О. Петров. Машинна оцінка знань студентів у системі керування дистанційним навчанням // Вісник СумДУ. Серія Технічні науки.-2007.-

№ 1.-С. 167 -178.

6. Краснопоясовський А.С. Інформаційний синтез інтелектуальних систем керування: Підхід,  що ґрунтується  на методі функціонально-статистичних випробувань.-Суми:

Страницы:
1  2 


Похожие статьи

В О Любчак, Б О Кузіков - Аналіз оцінних функцій у рамках інформаційно-екстремальної інтелектуальної технології