Changes between Version 9 and Version 10 of AGMFM - 4.1. Рекурентни невронски мрежи

Timestamp:

11/14/18 15:43:05 (6 years ago)

Author:

Vangel V. Ajanovski

Comment:

—

AGMFM - 4.1. Рекурентни невронски мрежи

@@ -1 +1 @@
 **4.1. Рекурентни невронски мрежи**
+
+{{{#!box type=todo
+Тука треба да се преправат сликите и да усогласат нотациите. Нема причина зошто сликите би биле во сосема различен стил и нотација (освен ако не се туѓи слики, па тогаш недостасува правилно цитирање на изворите).
+}}} 
+
+{{{#!box type=todo
+Референци?
+}}} 
+
 
 Рекурентни невронски мрежи се вид на вештачки невронски мрежи, ссоздадени во 1980 година. Тие претставуваат модели за длабоко учење, односно се класа на невронски мрежи што е дефинирана од насочениот граф кој го формираат  врските помеѓу јазлите низ една секвенца. Составени се од повеќе слоеви кои се поврзани помеѓу себе и функционираат по структурата и функциите на човековиот мозок, односно учат од огромна база на податоци на кои се тренираат и со помош на комплексни алгоритми даваат предвидувања. 
@@ -18 +27 @@
 **Сл. 19** Архитектура на рекурентна невронска мрежа
 
+{{{#!box type=todo
+Преводите не се усогласени. Горе стои долга рекурзивна, овде стои рекурентна.
+}}} 
+
 Рекурентни невронски мрежи наоѓаат примена во многу области, како на пример:  процесирање на природни јазици, машинско преведување, предвудување во временски низи, одредување опис на слики, на пример врз основа на активноста на сликата и други. 
 
@@ -34 +47 @@
 
 
+{{{#!box type=todo
+Преводите не се усогласени. Горе стои долга краткорочна меморија, овде стои долго-краткорочна.
+}}} 
+
 
 Рекурентни невронски мрежи имаат еден недостаток кога се врши тренирање, односно кривата на учење може да биде или премногу мала, познато како проблем на исчезнување на градиент  , или да расте експоненцијално, познато како eксплодирачки градиент. Експлодирачкиот градиент се надминува со отсекување на градиентот, додека проблемот со исчезнување на градиентот се решава со посебен вид на рекурнтни невронски мрежи наречени LSTM – невронски мрежи со долго-краткорочна меморија. Во овој труд се искористени LSTM мрежите  затоа што не само што го решаваат проблемот на исчезнувачки градиент туку исто така се способни да учат зависности на долг план.  
+
+