Changes between Version 11 and Version 12 of AGMFM - 4.1. Рекурентни невронски мрежи


Ignore:
Timestamp:
11/16/18 06:37:00 (6 years ago)
Author:
Monika Rizova
Comment:

—

Legend:

Unmodified
Added
Removed
Modified

  • AGMFM - 4.1. Рекурентни невронски мрежи

    v11 v12  
    77-       Двонасочни
    88-       Хиерархиски
    9 -       Долга краткорочна меморија
     9-       Долго-краткорочна меморија
    1010-        Невронски Тјуринг машини
    1111и многу други. Причината која доведе до поголема популарност во денешно време на рекурентните невронски мрежи е тоа што се многу корисни во решавање проблеми со секвенциони податоци, така што секој неврон има своја внатрешна меморија за претходната состојба во кој бил и зачувува информација за претходниот влез. Пример, доколку имаме секвенца од примероци, односно ги знаеме вредностите x[t], x[t-1], x[t-2] … рекурентните невронски мрежи ќе ги искористат преткодните вредности како меморија за предвидување на x[t+1].
    … …  
    3838
    3939
    40 {{{#!box type=todo
    41 Преводите не се усогласени. Горе стои долга краткорочна меморија, овде стои долго-краткорочна.
    42 }}}
    43 
    44 
    4540Рекурентни невронски мрежи имаат еден недостаток кога се врши тренирање, односно кривата на учење може да биде или премногу мала, познато како проблем на исчезнување на градиент  , или да расте експоненцијално, познато како eксплодирачки градиент. Експлодирачкиот градиент се надминува со отсекување на градиентот, додека проблемот со исчезнување на градиентот се решава со посебен вид на рекурнтни невронски мрежи наречени LSTM – невронски мрежи со долго-краткорочна меморија. Во овој труд се искористени LSTM мрежите  затоа што не само што го решаваат проблемот на исчезнувачки градиент туку исто така се способни да учат зависности на долг план. 
    4641