4.1. Рекурентни невронски мрежи

Рекурентни невронски мрежи се вид на вештачки невронски мрежи, ссоздадени во 1980 година. Тие претставуваат модели за длабоко учење, односно се класа на невронски мрежи што е дефинирана од насочениот граф кој го формираат врските помеѓу јазлите низ една секвенца. Составени се од повеќе слоеви кои се поврзани помеѓу себе и функционираат по структурата и функциите на човековиот мозок, односно учат од огромна база на податоци на кои се тренираат и со помош на комплексни алгоритми даваат предвидувања. Постојат повеќе видови на архитектура на рекурентните невронски мрежи, како на пример:

• Целосно рекурентни
• Рекурзивни
• Двонасочни
• Хиерархиски
• Долга краткорочна меморија
• Невронски Тјуринг машини

и многу други. Причината која доведе до поголема популарност во денешно време на рекурентните невронски мрежи е тоа што се многу корисни во решавање проблеми со секвенциони податоци, така што секој неврон има своја внатрешна меморија за претходната состојба во кој бил и зачувува информација за претходниот влез. Пример, доколку имаме секвенца од примероци, односно ги знаеме вредностите x[t], x[t-1], x[t-2] … рекурентните невронски мрежи ќе ги искористат преткодните вредности како меморија за предвидување на x[t+1].

Сл. 19 Архитектура на рекурентна невронска мрежа

Рекурентни невронски мрежи наоѓаат примена во многу области, како на пример: процесирање на природни јазици, машинско преведување, предвудување во временски низи, одредување опис на слики, на пример врз основа на активноста на сликата и други. Сл. 20 Математички опис на едноставна р. невронска мрежа Сл. 21. Видови на рекурентни невронски мрежи според нивната архитектура

Рекурентни невронски мрежи имаат еден недостаток кога се врши тренирање, односно кривата на учење може да биде или премногу мала, познато како проблем на исчезнување на градиент , или да расте експоненцијално, познато како eксплодирачки градиент. Експлодирачкиот градиент се надминува со отсекување на градиентот, додека проблемот со исчезнување на градиентот се решава со посебен вид на рекурнтни невронски мрежи наречени LSTM – невронски мрежи со долго-краткорочна меморија. Во овој труд се искористени LSTM мрежите затоа што не само што го решаваат проблемот на исчезнувачки градиент туку исто така се способни да учат зависности на долг план.