**4.1. Рекурентни невронски мрежи**

{{{#!box type=todo
Тука треба да се преправат сликите и да усогласат нотациите. Нема причина зошто сликите би биле во сосема различен стил и нотација (освен ако не се туѓи слики, па тогаш недостасува правилно цитирање на изворите).
}}} 

{{{#!box type=todo
Референци?
}}} 


Рекурентни невронски мрежи се вид на вештачки невронски мрежи, ссоздадени во 1980 година. Тие претставуваат модели за длабоко учење, односно се класа на невронски мрежи што е дефинирана од насочениот граф кој го формираат  врските помеѓу јазлите низ една секвенца. Составени се од повеќе слоеви кои се поврзани помеѓу себе и функционираат по структурата и функциите на човековиот мозок, односно учат од огромна база на податоци на кои се тренираат и со помош на комплексни алгоритми даваат предвидувања. 
Постојат повеќе видови на архитектура на рекурентните невронски мрежи, како на пример:
-	Целосно рекурентни 
-	Рекурзивни
-	Двонасочни
-	Хиерархиски
-	Долга краткорочна меморија
-	 Невронски Тјуринг машини 
и многу други. Причината која доведе до поголема популарност во денешно време на рекурентните невронски мрежи е тоа што се многу корисни во решавање проблеми со секвенциони податоци, така што секој неврон има своја внатрешна меморија за претходната состојба во кој бил и зачувува информација за претходниот влез. Пример, доколку имаме секвенца од примероци, односно ги знаеме вредностите x[t], x[t-1], x[t-2] … рекурентните невронски мрежи ќе ги искористат преткодните вредности како меморија за предвидување на x[t+1]. 


 
[[Image(recurrent.jpg,30%)]]


**Сл. 19** Архитектура на рекурентна невронска мрежа

{{{#!box type=todo
Преводите не се усогласени. Горе стои долга рекурзивна, овде стои рекурентна.
}}} 

Рекурентни невронски мрежи наоѓаат примена во многу области, како на пример:  процесирање на природни јазици, машинско преведување, предвудување во временски низи, одредување опис на слики, на пример врз основа на активноста на сликата и други. 


[[Image(рнн.png,40%)]]


 
**Сл. 20** Математички опис на едноставна р. невронска мрежа

[[Image(видови.png,30%)]]


 
**Сл. 21.** Видови на рекурентни невронски мрежи според нивната архитектура


{{{#!box type=todo
Преводите не се усогласени. Горе стои долга краткорочна меморија, овде стои долго-краткорочна.
}}} 


Рекурентни невронски мрежи имаат еден недостаток кога се врши тренирање, односно кривата на учење може да биде или премногу мала, познато како проблем на исчезнување на градиент  , или да расте експоненцијално, познато како eксплодирачки градиент. Експлодирачкиот градиент се надминува со отсекување на градиентот, додека проблемот со исчезнување на градиентот се решава со посебен вид на рекурнтни невронски мрежи наречени LSTM – невронски мрежи со долго-краткорочна меморија. Во овој труд се искористени LSTM мрежите  затоа што не само што го решаваат проблемот на исчезнувачки градиент туку исто така се способни да учат зависности на долг план.