Changes between Version 5 and Version 6 of AGMFM - 4.2. LSTM рекурентни невронски мрежи
- Timestamp:
- 10/23/18 18:50:18 (6 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
AGMFM - 4.2. LSTM рекурентни невронски мрежи
v5 v6 8 8 [[Image(diff-rnn-lstm.png,40%)]] 9 9 10 Сл. 22.Ванила рекурентна н. мрежа наспроти рекурентна н. м. со долго-краткорочна меморија10 **Сл. 22.** Ванила рекурентна н. мрежа наспроти рекурентна н. м. со долго-краткорочна меморија 11 11 12 12 13 13 LSTM невронските мрежи функционираат на следниот начин низ нивните четири слоја: 14 14 15 1. Слој - Порта за заборавање 15 **1. Слој - Порта за заборавање** 16 16 17 17 [[Image(forget.png,20%)]] 18 18 19 2. Слој – Порта за влез 19 **2. Слој – Порта за влез** 20 20 21 21 [[Image(input.png,20%)]] … … 24 24 25 25 26 3. Слој на комбинирање 26 **3. Слој на комбинирање** 27 27 28 28 Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба Ct-1 со ft и се додава it * Ct - за да се додади новата кандидат вредност. 29 29 30 30 [[Image(combine.png,20%)]] 31 32 31 33 32 34 Математички изразено равенката на овој слој е: C_t= f_t× C_(t-1)+ i_t×C_t 33 35 34 36 35 4. Слој за филтрирање/излез на состојбата на ќелијата 37 **4. Слој за филтрирање/излез на состојбата на ќелијата** 36 38 37 39 Тука се дефинира каков ќе биде излезот, а тоа го правиме со множење на двете функции сигмоид и тангенс, така што сигмуид функцијата ни кажува кој дел ќе оди на излез, а тангенс функцијата служи за да ја ограничи вредноста да биде помеѓу -1 и 1. … … 41 43 Равенката на сигмоид функцијата е: σ_t=σ (W_о [h_(t-1),x_t ]+ b_о ) 42 44 Равенката за излезната состојба е: h_t= σ_t ×tanh(C_t ) 45 46 43 47 Постојат и повеќе видови на р.н.м. со долго-краткорочна меморија, но не се потребни во рамките на овој труд и затоа нема да бидат дискутирани.
