Changes between Version 16 and Version 17 of AGMFM - 4.2. LSTM рекурентни невронски мрежи
- Timestamp:
- 11/16/18 07:31:29 (6 years ago)
Legend:
- Unmodified
- Added
- Removed
- Modified
-
AGMFM - 4.2. LSTM рекурентни невронски мрежи
v16 v17 40 40 [[Image(input.png,20%)]] 41 41 42 Слојот порта за влез ни кажува кои информации ќе ги додадеме. Овој слој е дефиниран со две равенки, првата равенка го опишува сигмоид слојот од портата за влез, односно одлучува која вредност ќе се надогради, додека втората равенка e тангенс слојот од портата за влез, која креира нова можна вредност C t.42 Слојот порта за влез ни кажува кои информации ќе ги додадеме. Овој слој е дефиниран со две равенки, првата равенка го опишува сигмоид слојот од портата за влез, односно одлучува која вредност ќе се надогради, додека втората равенка e тангенс слојот од портата за влез, која креира нова можна вредност C,,t,,. 43 43 44 44 i,,t,,=σ (W,,i,, [h,,(t-1),, ,x,,t,, ]+ b,,i,, ) - равенка за сигмоид слој … … 49 49 **3. Слој на комбинирање** 50 50 51 Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба C t-1 со ft и се додава it * Ct- за да се додади новата кандидат вредност.51 Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба C,,t-1,, со f,,t,, и се додава i,,t,, * C,,t,, - за да се додади новата кандидат вредност. 52 52 53 53 [[Image(combine.png,20%)]] … … 55 55 56 56 57 Математички изразено равенката на овој слој е: C _t= f_t× C_(t-1)+ i_t×C_t57 Математички изразено равенката на овој слој е: C,,t,,= f,,t,,* C,,t-1,, + i,,t,, * C,,t,, 58 58 59 59