4.2. LSTM невронски мрежи

Музиката е резултат на креативноста на човекот и неговото познавање за неа. Таа има сложена структура, односно контекст кој изразува чувства. За да може една машина како компјутер да создава дела со сложен контекст, кои ќе имаат некоја структура и смисла, потребна е меморија од минатото, односно да биде способен да памети долгорочни зависности. Ова е овозможено со создавањето на рекурентните невронски мрежи со долго-краткорочна меморија, (на анг. Long-short term memory networks – LSTM networks). Разликата помеѓу едноставна рекурентна невронска мрежа и рекурентна невронска мрежа со долго-краткорочна меморија е во бројот на слоеви, односно едноставната р.н.м. има еден слој, додека р.н.м. со д-к. меморија има четири интерактивни слоја.

Сл. 22. Ванила рекурентна н. мрежа наспроти рекурентна н. м. со долго-краткорочна меморија

LSTM невронските мрежи функционираат на следниот начин низ нивните четири слоја:

1. Слој - Порта за заборавање

2. Слој – Порта за влез

i_t=σ (W_i [h_(t-1),x_t ]+ b_i ) - равенка за сигмоид слој

3. Слој на комбинирање

Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба Ct-1 со ft и се додава it * Ct - за да се додади новата кандидат вредност.

Математички изразено равенката на овој слој е: C_t= f_t× C_(t-1)+ i_t×C_t

4. Слој за филтрирање/излез на состојбата на ќелијата

Тука се дефинира каков ќе биде излезот, а тоа го правиме со множење на двете функции сигмоид и тангенс, така што сигмуид функцијата ни кажува кој дел ќе оди на излез, а тангенс функцијата служи за да ја ограничи вредноста да биде помеѓу -1 и 1.

Равенката на сигмоид функцијата е: σ_t=σ (W_о [h_(t-1),x_t ]+ b_о ) Равенката за излезната состојба е: h_t= σ_t ×tanh(C_t ) Постојат и повеќе видови на р.н.м. со долго-краткорочна меморија, но не се потребни во рамките на овој труд и затоа нема да бидат дискутирани.