Changes between Version 4 and Version 5 of AGMFM - 4.2. LSTM рекурентни невронски мрежи


Ignore:
Timestamp:
10/23/18 18:49:27 (6 years ago)
Author:
Monika Rizova
Comment:

—

Legend:

Unmodified
Added
Removed
Modified

  • AGMFM - 4.2. LSTM рекурентни невронски мрежи

    v4 v5  
    15151. Слој - Порта за заборавање
    1616
    17 [[Image(forget.png,40%)]]
     17[[Image(forget.png,20%)]]
    1818 
    19192. Слој – Порта за влез
    2020
    21 [[Image(input.png,40%)]]
     21[[Image(input.png,20%)]]
    2222
    2323i_t=σ (W_i [h_(t-1),x_t ]+ b_i )  - равенка за сигмоид слој
    … …  
    2828Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба Ct-1 со ft и се додава it * Ct  - за да се додади новата кандидат вредност.
    2929
    30 [[Image(combine.png,40%)]]
     30[[Image(combine.png,20%)]]
    3131                                                         
    3232Математички изразено равенката на овој слој е: C_t= f_t× C_(t-1)+ i_t×C_t
    … …  
    3737Тука се дефинира каков ќе биде излезот, а тоа го правиме со множење на двете функции сигмоид и тангенс, така што сигмуид функцијата ни кажува кој дел ќе оди на излез, а тангенс функцијата служи за да ја ограничи вредноста да биде помеѓу -1 и 1. 
    3838
    39 [[Image(output.png,40%)]]
     39[[Image(output.png,20%)]]
    4040
    4141Равенката на сигмоид функцијата е: σ_t=σ (W_о [h_(t-1),x_t ]+ b_о )