Changes between Version 2 and Version 3 of AGMFM - 4.2. LSTM рекурентни невронски мрежи
- Timestamp:
- 10/23/18 18:48:15 (6 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
AGMFM - 4.2. LSTM рекурентни невронски мрежи
v2 v3 6 6 Разликата помеѓу едноставна рекурентна невронска мрежа и рекурентна невронска мрежа со долго-краткорочна меморија е во бројот на слоеви, односно едноставната р.н.м. има еден слој, додека р.н.м. со д-к. меморија има четири интерактивни слоја. 7 7 8 8 [[Image(diff-rnn-lstm.png,40%)]] 9 9 10 10 Сл. 22. Ванила рекурентна н. мрежа наспроти рекурентна н. м. со долго-краткорочна меморија … … 15 15 1. Слој - Порта за заборавање 16 16 17 [[Image( )]]17 [[Image(forget.png)]] 18 18 19 19 2. Слој – Порта за влез 20 20 21 [[Image( )]]21 [[Image(input.png)]] 22 22 23 23 i_t=σ (W_i [h_(t-1),x_t ]+ b_i ) - равенка за сигмоид слој … … 28 28 Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба Ct-1 со ft и се додава it * Ct - за да се додади новата кандидат вредност. 29 29 30 [[Image( )]]30 [[Image(combine.png)]] 31 31 32 32 Математички изразено равенката на овој слој е: C_t= f_t× C_(t-1)+ i_t×C_t … … 37 37 Тука се дефинира каков ќе биде излезот, а тоа го правиме со множење на двете функции сигмоид и тангенс, така што сигмуид функцијата ни кажува кој дел ќе оди на излез, а тангенс функцијата служи за да ја ограничи вредноста да биде помеѓу -1 и 1. 38 38 39 [[Image( )]]39 [[Image(output.png)]] 40 40 41 41 Равенката на сигмоид функцијата е: σ_t=σ (W_о [h_(t-1),x_t ]+ b_о )
