П В Тимощук - Аналогова нейронна схема ідентифікації к максимальних сигналів - страница 1

Страницы:
1  2 

ТЕОРІЯ І МЕТОДИ ПРОЕКТУВАННЯ СКЛАДНИХ СИСТЕМ

УДК 681.322 П.В. Тимощук

Національний університет "Львівська політехніка", кафедра систем автоматизованого проектування

АНАЛОГОВА НЕЙРОННА СХЕМА ІДЕНТИФІКАЦІЇ К МАКСИМАЛЬНИХ СИГНАЛІВ

© Тимощук П.В., 2008

Пропонується аналогова нейронна схема, яка швидко ідентифікує K серед N нейронів, де 1 £ K < N, вхідні сигнали яких є більшими, ніж у решти N — K нейронів. Для N вхідних сигналів така схема складається з N жорсткообмежувальних нейронів прямого поширення і одного нейрона зворотного зв'язку, який використовується для визначення динамічного зсуву вхідних сигналів. Запропонована схема відрізняється незначною обчислювальною складністю, простотою схемотехнічної реалізації, високою роздільною здатністю і властивістю збереження впорядкування сигналів. Схема здатна обробляти сигнгали, розміщені в будь-якому скінченному діапазоні. Функціонування схеми аналізується за допомогою комп'ютерного моделювання.

An analogue neural circuit which can quickly identify the K -winning from N neurons, where 1 £ K < N, whose input signals are larger than of remaining N — K neurons, is proposed. For N competitors, such circuit is composed of N feedforward and one feedback hardlimiting neurons, which is used to determine the dynamical shift of input signals. The proposed circuit has low hardware implementation and computational complexity, high resolution ability and signal order preserving property. The circuit can process signals located in any finite range. A performance of the circuit is analyzed using computer simulations.

1. Вступ

Нейронні мережі можуть описуватись математичними моделями у вигляді диференційних рівнянь, які містять специфічні трансцендентні та розривні нелінійності (сигмоїдні, жорстко-обмежувальні, з насиченням, жорстко-обмежувальні з гістерезисом, компараторні, з квадратичними функціями, з функціями абсолютної величини тощо). Тому математичні моделі нейронних мереж у загальному випадку можуть мати форму диференційних рівнянь з розривними правими частинами [1]. Вирішення проблеми створення нейронних мереж ґрунтується на визначенні структури та параметрів їхніх математичних моделей. Структура моделей розробляється модифікацією існуючих структур або ж створюється нова структура. Параметри визначаються за допомогою аналітичних, числово-аналітичних або числових методів [2-4].

У статті розглядається проблема побудови математичної моделі та відповідної нейронної структурно-функціональної схеми, призначених для знаходження К максимальних з множини N невідомих сигналів. Якщо K = 1, тоді така мережа розрізняє максимальний вхідний сигнал. Така задача є ключовою в нейронних мережах прийняття рішень, розпізнавання зображень та конку­руючого навчання [5]. Цей тип задач природно виникає при розробленні нейронних схем класифікаторів та класифікації зображень [6]. Клас вказаних схем використовується у сортувальних мережах [7] з застосуванням у менеджменті баз даних, при конструюванні мікросхем великої інтеграції (VLSI) та у цифровій обробці сигналів. Такі мережі застосовуються у телекомунікаціях, особливо для керування пакетними перемикачами даних.   Вибір K найбільших компонентів змножини N чисел є фундаментальним завданням нейронних мереж так званих взаємозв'язаних пам'ятей. Такого типу задачі виникають при розробленні класифікаційних нейронних мереж [8].

2. Існуючі нейронні мережі ідентифікації K найбільших сигналів

Існує низка нейронних мереж, які здійснюють вибір K з N сигналів (1 £ K < N), що мають більші значення, ніж у решти N K сигналів [9 - 11]. Так, в [12] на основі моделі мережі неперервного часу Хопфілда [26], відомої також як адитивна модель Гросберга [13], сконструйовано та проаналізовано мережу неперервного часу, призначену для знаходження 1 £ K < N максимальних сигналів, як узагальнення мережі визначення максимального сигналу. Така мережа має стабільні локальні стани рівноваги, її вихідні сигнали приймають K позитивних значень, які відповідають K найбільшим вхідним сигналам і N K негативних значень для решти вхідних сигналів. Мережа містить взаємозатримуючий зв'язок Ту =—1, де i Ф j, самозв'язок

Тц = a,  (ja| < 1) та зовнішній вхідний сигнал (ідентичний для кожного вузла мережі), значення

якого залежить від кількості K та розміру мережі N : ti = 2K N. Мережа описується дифе-ренційними рівняннями виду:

(1)

для всіх i, C-^t- = —1ui +(a + 1)g (ui) g (uj) t

де  l = N 1 + |a|,—1 < a < +1, t = 2K N. В [12] досліджено збіжність вихідних сигналів мережі і

показано, що модель (1) є локально асимптотично стійкою.

У [14] на основі нейронної мережі з [12] проаналізовано окремий клас взаємозатримуючих мереж та описано методику визначення параметрів, які забезпечують надійне функціонування мереж за допомогою використання інтерактивних активаційних функцій. Доведено, що при відповідних вхідних сигналахXmin,Xmax, а також вагах зв'язків w мережа є дуальною до мережі з

[12].

У [15] синтезовано взаємозатримуючу модель мережі як модифікацію моделі з [16]. Модель є оптимальною у сенсі максимізації допустимого відносного відхилення значень номінальних параметрів і гарантує надійне функціонування мережі. Розмір мережі не обмежується вимогами щодо точності, однак має обмеження на кількість "переможців". Показано, що за точності мережі 1 % кількість переможців не може перевищувати значення k = 20 .

В [17] синтезовано нейронну схему, що функціонує на основі навчального алгоритму за допомогою так званої "грубої штрафної конкуренції". При такій конкуренції компоненти вхідних сигналів, які мають менші значення, поступово вилучаються із змагання. В результаті здійснення штрафної конкуренції серед решти конкурентів знову визначаються переможці.

У [18] запропоновано нейронну мережу неперервного часу типу Хопфілда із змінним, зокрема, великим коефіцієнтом підсилення. Розроблено методику визначення параметрів мережі і показано, що після того, як вихідні напруги досягають певних значень, мережа після скінченного проміжку часу формує необхідні вихідні сигнали. Наведено методику визначення коефіцієнта підсилення для повернення мережі у початкове положення нульового стану. У [19] обґрунтовано обмеження на параметри мережі з [18], які дають змогу здійснювати процеси почергової обробки множин вхідних сигналів. В результаті виконання повного математичного аналізу мережі отримано залежності часу оброблення сигналів мережею від меж зміни її параметрів, розмірності множини вхідних сигналів та роздільної здатності мережі. Оскільки мережа з [18] містить додатні самозв'язки, а мережа з [19] не містить самозв'язків взагалі, такі мережі можуть формувати неоднозначні вихідні сигнали [20].

Усі вищеперелічені мережі виконують так зване взаємне затримання і передбачають існу­вання перехідних процесів, тобто певного періоду встановлення значень вихідних сигналів тавимагають повернення вихідних сигналів у початкові стани для повторного використання мережі. Остання властивість зумовлена тим, що енергетичні функції таких мереж мають багато локальних мінімумів. Це перешкоджає застосуванню мереж для оброблення сигналів у реальному часі. В [9] синтезовано схему як розширення мережі з [21], яка є статичною системою, що має єдиний гло­бальний мінімум, а тому придатна для функціонування у реальному часі. Задача вибору k найбіль­ших серед n дійсних чисел ai,...,an формулюється як така задача математичного програмування:

min а;х;

i=1

n

при ^ Xi = k, (2)

i=1

Sixilnxi +(1 - Xi )ln (1 - Xi )] = 0.

i=1

Для отримання оптимального розв'язку ті Xi, які відповідають k максимальним ai, набувають значення 1, решта ж Xi набувають нульові значення. Розв'язок задачі (2) є сідловою точкою функції Лагранжа

n ґ n Л n

L = -£ aiXi +       Xi - k +m^[XilnXi +(1 - Xi )ln (1 - Xi)]., (3)

i=1

4

U=1 0

i=1

тобто її мінімумом відносно x та максимумом відносно до 1 і |m. У (3) множник Лагранжа |m набуває малі позитивні значення. Оптимум (2) є розв'язком рівнянь

= -ai + 1 + m l^^^— = 0; (4) ftq 1 - Xi

На основі (4) отримано такий розв'язок:

eai7 m

Xi = eai;m + e11 m . (6) Мережа, на відміну від мереж типу Хопфілда, має скінченну роздільну здатність. Швидкісна мережа дискретного часу, яка не використовує концепцію взаємного затримання, для випадку великої кількості вхідних сигналів побудована в [22]. Мережа має одношарову структуру і визначає динамічний поріг, який потім підсумовується з вхідними сигналами для отримання необхідної кількості K переможців. Структура мережі відзначається надлишковістю часових затрат при обробленні сигналів та складністю реалізації у сучасній елементній базі.

Отже, кожна з існуючих нейронних мереж ідентифікації K максимальних сигналів має певну область застосувань. У зв' язку зі складністю проблеми залишається багато задач, актуальних для аналогової обробки сигналів, ефективність розв'язання яких за допомогою існуючих нейронних мереж визначення K найбільших сигналів є недостатньою. Під час проектування таких мереж актуальним залишається вирішення проблем підвищення точності, стабільності їхнього функціонування, розширення динамічного діапазону, підвищення швидкодії, спрощення схемних рішень. Для вирішення перелічених проблем необхідно розробляти теорію та методи побудови математичних моделей, а також відповідних структурно-функціональних схем удосконалених аналогових нейронних мереж ідентифікації K максимальних сигналів. Як оператори для таких математичних моделей можуть бути використані диференційні рівняння з розривними правими частинами. Структура та параметри таких рівнянь можуть визначатись за допомогою аналітичних, числово-аналітичних та числових методів. За отриманими математичними моделями можуть будуватись відповідні аналогові нейронні структурно-функціональні схеми.

3. Формулювання проблеми

Оскільки нейронні мережі, які визначають K найбільших серед N невідомих вхідних сигналів, де 1 £ K < N, можуть описуватись диференційними рівняннями, що містять кусково-неперервні нелінійності, побудуємо математичну модель та відповідну нейронну структурно-функціональну схему такого типу у неперервній області. Структуру та параметри математичної моделі визначатимемо за допомогою аналітичних методів. Схему неперервного часу побудуємо у вигляді одношарової конкуруючої архітектури, яка виконує динамічний зсув N вхідних сигналів для отримання K найбільших з них. Нехай схема містить N нейронів у прямому колі та один нейрон у колі зворотного зв' язку, що містить жорсткообмежувальну нелінійність. Покажемо, що запропонована схема для свого функціонування потребує менших затрат машинного часу і є простішою стосовно її реалізації у сучасній схемній елементній базі, ніж існуючі аналоги.

Нехай задано N дійсних чисел від a1 до       N> 1, тобто a1,a2,...,aN, які локалізуються в

діапазоні [amin,amaX ] як невідомі вхідні сигнали схеми. Значення amin та amaX є мінімальним та

максимальним значеннями з усіх можливих вхідних сигналів відповідно. Необхідно вибрати K найбільших з таких чисел, де 1 £ K < N. Розглянемо нерівні між собою і розміщені за спаданням величин вхідні сигнали, коли виконується умова

a1 > a2 > > aN, (7)

де індекси 1,2, • ,N у загальному випадку відрізняються від оригінальних індексів вхідних

сигналів а, тобто вектор a = a^- є впорядкованим. Нехай необхідно побудувати нейронну

схему, яка обробляє вектор вхідних сигналів a так, щоб отримати після скінченного проміжку часу збіжності такі відповідні вихідні сигнали, що

bi > 0,i є і,- ,K;bj < 0,j є K +1,- ,N. (8) Нерівності (8) відображають властивість вибору схемою K найбільших з N невідомих вхідних сигналів, де  1 £ K < N. Інакше кажучи, компоненти    від  bi  до  bK "виграють" конкуренцію і той факт, що лише вони є позитивними компонентами вектора b , свідчить про те, що компоненти від a1 до aK є K найбільшими компонентами вектора a .

4. Аналогова нейронна схеми визначення К максимальних сигналів 4.1. Математична модель неперервного часу. Розглянемо таку проблему оптимізації з обмеженнями: знайти скаляр X є R, що мінімізує до нуля модуль цілочислової скалярної цільової функції виду:

E(x) = 2K - N -ZN=1Pi, (9)

Г 1,    якщо   ai - X > 0;

де Pi

1,   якщо   ai - X < 0;  ai - i -те значення вхідного сигналу схеми, яке, без втрати [ 0,    якщо   ai - X = 0,

загальності, локалізується у масштабованому діапазоні 0 < ai < 1,i = 1,..,N;  0 £ X £ 1 - шуканий

скалярний динамічний зсув вхідних сигналів; K = 1,- , N -1.

* Нехай bi = ai - X буде значенням і -го вихідного сигналу схеми. Припустимо, що точка X є

*     і і

глобальним мінімумом функції E(x) , якщо E(x ) £ E(x) для всіх X є R і дорівнює нулю, якщо

*

E(x ) = 0 . Цільова функція (9) є негладкою, тобто перша похідна від E(x) за шуканою змінною

*

x не є неперервною. Тому для знаходження скаляра x , який мінімізує модуль функції E(x), задопомогою нейронної схеми неперервного часу побудуємо математичну модель такої схеми у формі диференційного рівняння виду:

dx

= -mx;x(0) = 1, (10) dt

де m ~ навчальний параметр, що визначається так:

Г 0,   якщо   E(x )= 0;

Страницы:
1  2 


Похожие статьи

П В Тимощук - Аналогова нейронна схема ідентифікації к максимальних сигналів

П В Тимощук - Порівняльний аналіз моделей нейронних осциляторів

П В Тимощук - Проектування прецизійних диференціаторів та інтеграторів гармонічних сигналів

П В Тимощук - Стійкість i збіжність до встановлених режимів дискретизованих сигналів kwta-нейронної схеми

П В Тимощук - Модель аналогової нейронної схеми ідентифікації найбільших сигналів