Changes between Initial Version and Version 1 of AGMFM - 4.2. LSTM рекурентни невронски мрежи

Timestamp:

10/23/18 18:43:52 (7 years ago)

Author:

Monika Rizova

Comment:

—

AGMFM - 4.2. LSTM рекурентни невронски мрежи

@@ +1 @@
+**4.2. LSTM невронски мрежи** 
+
+Музиката е резултат на креативноста на човекот и неговото познавање за неа. Таа има сложена
+структура, односно контекст кој изразува чувства. За да може една машина како компјутер да создава дела со сложен контекст, кои ќе имаат некоја структура и смисла, потребна е меморија од минатото, 
+односно да биде способен да памети долгорочни зависности. Ова е овозможено со создавањето на рекурентните невронски мрежи со долго-краткорочна меморија, (на анг. Long-short term memory networks – LSTM networks). 
+Разликата помеѓу едноставна рекурентна невронска мрежа и рекурентна невронска мрежа со долго-краткорочна меморија е во бројот на слоеви, односно едноставната р.н.м. има еден слој, додека р.н.м. со д-к. меморија има четири интерактивни слоја. 
+ 
+Сл. 22. Ванила рекурентна н.  мрежа наспроти рекурентна н. м. со долго-краткорочна меморија
+LSTM невронските мрежи функционираат на следниот начин низ нивните четири слоја:
+
+1. Слој - Порта за заборавање
+
+[[Image()]]
+ 
+2. Слој – Порта за влез
+
+[[Image()]]
+
+i_t=σ (W_i [h_(t-1),x_t ]+ b_i )  - равенка за сигмоид слој
+  
+
+3. Слој на комбинирање
+
+Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба Ct-1 со ft и се додава it * Ct  - за да се додади новата кандидат вредност. 
+
+[[Image()]]
+                                                          
+Математички изразено равенката на овој слој е: C_t= f_t× C_(t-1)+ i_t×C_t
+
+
+4. Слој за филтрирање/излез на состојбата на ќелијата
+
+Тука се дефинира каков ќе биде излезот, а тоа го правиме со множење на двете функции сигмоид и тангенс, така што сигмуид функцијата ни кажува кој дел ќе оди на излез, а тангенс функцијата служи за да ја ограничи вредноста да биде помеѓу -1 и 1.  
+
+[[Image()]]
+
+Равенката на сигмоид функцијата е: σ_t=σ (W_о [h_(t-1),x_t ]+ b_о )
+Равенката за излезната состојба е:   h_t= σ_t  ×tanh(C_t )
+Постојат и повеќе видови на р.н.м. со долго-краткорочна меморија, но не се потребни во рамките на овој труд и затоа нема да бидат дискутирани.