P:
Zašto je umjetne ponavljajuće neuronske mreže često teško uvježbati?
A:Teškoća u treningu umjetnih ponavljajućih neuronskih mreža ima veze s njihovom složenošću.
Jedan od najjednostavnijih načina da se objasni zašto je rekurentne neuronske mreže teško uvježbati je da one nisu napredne neuronske mreže.
U naprednim neuronskim mrežama signali se kreću samo u jednom smjeru. Signal se kreće od ulaznog sloja do različitih skrivenih slojeva i naprijed prema izlaznom sloju sustava.
Suprotno tome, ponavljajuće neuronske mreže i druge različite vrste neuronskih mreža imaju složenije pokrete signala. Klasificirane kao "povratne" mreže, ponavljajuće neuronske mreže mogu imati signale koji putuju naprijed i nazad, a mogu sadržavati i razne "petlje" u mreži gdje se brojevi ili vrijednosti vraćaju natrag u mrežu. Stručnjaci to povezuju s aspektom ponavljajućih neuronskih mreža koji su povezani s njihovom memorijom.
Pored toga, postoji druga vrsta složenosti koja utječe na ponavljajuće neuronske mreže. Jedan izvrstan primjer toga je na polju obrade prirodnog jezika.
U sofisticiranoj obradi prirodnog jezika, neuronska mreža mora biti u stanju zapamtiti stvari. Također treba ulaziti u kontekst. Pretpostavimo da postoji program koji želi analizirati ili predvidjeti riječ unutar rečenice s drugim riječima. Na primjer, može postojati fiksna duljina od pet riječi za procjenu sustava. To znači da neuronska mreža mora imati ulaze za svaku od tih riječi, zajedno sa sposobnošću da se "pamte" ili uvježbavaju u kontekstu tih riječi. Iz tih i drugih sličnih razloga, ponavljajuće neuronske mreže obično imaju male skrivene petlje i povratne veze u sustavu.
Stručnjaci žale kako ove komplikacije otežavaju trening mreže. Jedan od najčešćih načina da se to objasni je navodeći eksplodirajući i nestajući gradijentni problem. U osnovi, težine mreže će dovesti do eksplozije ili nestajanja vrijednosti s velikim brojem prolaza.
Pionir neuronske mreže Geoff Hinton objašnjava ovaj fenomen na mreži rekavši da će unatrag linearni prolazi uzrokovati da se manja težina eksponencijalno smanji, a veće težine da eksplodiraju.
Taj se problem, nastavlja, pogoršava s dugim nizovima i brojnijim vremenskim koracima, u kojima signali rastu ili propadaju. Inicijalizacija težine može pomoći, ali ti su izazovi ugrađeni u ponavljajući model neuronske mreže. Uvijek će postojati taj problem povezan s njihovim određenim dizajnom i izgradnjom. U osnovi, neki složeniji tipovi neuronskih mreža zaista prkose našoj mogućnosti da ih lako upravljamo. Možemo stvoriti praktički beskonačnu količinu složenosti, ali često vidimo kako rastu predvidljivosti i skalabilnosti.
