4.2. LSTM невронски мрежи

Музиката е резултат на креативноста на човекот и неговото познавање за неа. Таа има сложена структура, односно контекст кој изразува чувства. За да може една машина како компјутер да создава дела со сложен контекст, кои ќе имаат некоја структура и смисла, потребна е меморија од минатото, односно да биде способен да памети долгорочни зависности. Ова е овозможено со создавањето на рекурентните невронски мрежи со долго-краткорочна меморија. Разликата помеѓу едноставна рекурентна невронска мрежа и рекурентна невронска мрежа со долго-краткорочна меморија е во бројот на слоеви, односно едноставната р.н.м. има еден слој, додека р.н.м. со д-к. меморија има четири интерактивни слоја.

Сл. 18. Ванила рекурентна н. мрежа наспроти рекурентна н. м. со долго-краткорочна меморија

LSTM невронските мрежи функционираат на следниот начин низ нивните четири слоја:

1. Слој - Порта за заборавање

Овој слој ни овозможува да одлучиме кои информации ќе ги ќе ги отфрлиме, односно ќе ги заборавиме за во следниот чекор. Математички тоа е дефинирано со равенката (1):

f_t= σ (W_f [h_(t-1) ,x_t ]+ b_f ) (1), која значи да погледнеме во претходниот влез (h_t-1 и x_t) и со помош на сигмоидна функција како резултат ќе добиеме бр. од 0 до 1 кој ни кажува колку да зачуваме во состојбата C_t-1 .

2. Слој – Порта за влез

Слојот порта за влез ни кажува кои информации ќе ги додадеме. Овој слој е дефиниран со две равенки, првата равенка (2) го опишува сигмоид слојот од портата за влез, односно одлучува која вредност ќе се надогради, додека втората равенка (3) e тангенс слојот од портата за влез, која креира нова можна вредност C_t.

i_t=σ (W_i [h_(t-1) ,x_t ]+ b_i ) - равенка за сигмоид слој (2)

C_t=tanh(W_c [h_(t-1) ,x_t ]+ b_c ) - равенка за тангенс слој (3)

3. Слој на комбинирање

Во овој слој се врши комбинирање на претходно опишаните два слоја, односно се помножува старата состојба C_t-1 со f_t и се додава i_t * C_t - за да се додади новата кандидат вредност.

Математички изразено равенката на овој слој е (4) : C_t= f_t* C_t-1 + i_t * C_t (4)

4. Слој за филтрирање/излез на состојбата на ќелијата

Тука се дефинира каков ќе биде излезот, а тоа го правиме со множење на двете функции сигмоид и тангенс, така што сигмуид функцијата ни кажува кој дел ќе оди на излез, а тангенс функцијата служи за да ја ограничи вредноста да биде помеѓу -1 и 1.

Равенката на сигмоид функцијата е (5) : σ_t=σ (W_о [h_(t-1) ,x_t ]+ b_о ) (5) Равенката за излезната состојба е (6) : h_t= σ_t ×tanh(C_t ) (6)

Постојат и повеќе видови на р.н.м. со долго-краткорочна меморија, Постојат и повеќе видови на р.н.м. со долго-краткорочна меморија, меѓу кои спаѓаат: LSTM со порта за заборавање, шпионка(peephole) LSTM, LSTM со споени порта за заборавање и порта за влез.