Changes between Version 7 and Version 8 of AGMFM - 4.1. Рекурентни невронски мрежи

Timestamp:

10/23/18 17:02:05 (6 years ago)

Author:

Monika Rizova

Comment:

—

AGMFM - 4.1. Рекурентни невронски мрежи

@@ -16 +16 @@
 
 
-Сл. 19 Архитектура на рекурентна невронска мрежа
+**Сл. 19** Архитектура на рекурентна невронска мрежа
 
 Рекурентни невронски мрежи наоѓаат примена во многу области, како на пример:  процесирање на природни јазици, машинско преведување, предвудување во временски низи, одредување опис на слики, на пример врз основа на активноста на сликата и други. 
@@ -24 +24 @@
 
  
-Сл. 20 Математички опис на едноставна р. невронска мрежа
+**Сл. 20** Математички опис на едноставна р. невронска мрежа
 
 [[Image(видови.png,30%)]]
  
-Сл. 21. Видови на рекурентни невронски мрежи според нивната архитектура
+**Сл. 21.** Видови на рекурентни невронски мрежи според нивната архитектура
+
+
 
 Рекурентни невронски мрежи имаат еден недостаток кога се врши тренирање, односно кривата на учење може да биде или премногу мала, познато како проблем на исчезнување на градиент  , или да расте експоненцијално, познато како eксплодирачки градиент. Експлодирачкиот градиент се надминува со отсекување на градиентот, додека проблемот со исчезнување на градиентот се решава со посебен вид на рекурнтни невронски мрежи наречени LSTM – невронски мрежи со долго-краткорочна меморија. Во овој труд се искористени LSTM мрежите  затоа што не само што го решаваат проблемот на исчезнувачки градиент туку исто така се способни да учат зависности на долг план.