Címke: Mesterséges Neurális Hálózat

Gradiens csökkentés 2. rész — plató vs. ReLU, lokális minimum

A mai részben körbejárjuk milyen problémákkal találkozhatunk a Gradiens csökkentés során. Egyrétegű neurális hálózat Loss tere Az első részben látott példa esetén a Loss értéke konvex. Ebben az esetben elmondhatjuk, hogy ha a Lépésköz nem túl nagy, a Gradiens csökkentés előbb vagy utóbb megtalálja az optimális paramétert. Ezt fogjuk most kicsit körbejárni. Mivel a Gradiens … Gradiens csökkentés 2. rész — plató vs. ReLU, lokális minimum olvasásának folytatása →

Hírdetés

Konvolúciós Neurális Hálózat – 1. rész

A korábban ismertetett teljesen csatolt Neurális Hálózatokkal szemben a mai bejegyzésben egy részlegesen csatolt rendszerről fogunk beszélni: a Konvolúciós Neurális Hálózatról (angolul: Convolutional neural network). Ezeket a rendszereket leggyakrabban képelemzésre használják, de másra is lehet. Ebben a begyezésben mi egy idősoron fogjuk kipróbálni.

Degradációs probléma

Korábban már volt szó néhány, a Neurális Hálózatokat érintő problémáról, mint a túlillesztés, vagy az eltűnő gradient. Mai bejegyzésemben egy újabb problémáról fogok beszélni. A túlillesztéses kapcsolatban említettem, hogy minél több rétegből épül fel egy NH, annál összetettebb modelleket képes előállítani. Ennek egyik következménye, hogy olyan esetekben is összefüggést vél felfedezni, ahol nincsenek. Ezt a … Degradációs probléma olvasásának folytatása →

Dropout réteg

A túlillesztésről szóló bejegyzésben volt szó a Dropoutról, mint egy eszközről, amivel elkerülhetjük ezt a problémát. Most ezt fogjuk megnézni részletesebben. Dropout teljesen kapcsolt hálózaton Teljesen kapcsolt neurális hálózatok esetén egy p valószínűséggel kihagyunk neuronokat a hálózatból a Dropout során. Nézzünk egy példát. A normális teljesen csatolt hálózat így néz ki: Ugye a A Mesterséges … Dropout réteg olvasásának folytatása →

A túlillesztés problémája

A mai bejegyzésben egy olyan problémáról fogunk beszélni, ami minden statisztikai elemzés szenved. Sőt igazából tovább mennék, valamibe, amitől rengetek ember is szenved. Általánosítás vs. Specializáció Minden modell a világ valamilyen szintű egyszerűsítése, aminek egyszerű számítástechnikai oka van: ahhoz, hogy a világot a teljesen részleteiben leírjuk annyi információ kellene tárolnunk mint maga a világ. Ez … A túlillesztés problémája olvasásának folytatása →

Hosszú munkamemóriájú Neurális Hálózat Kerassal — 2. rész

Az előző részben megnéztük a Keras alapjait. Majd megformáztuk a megfigyeléseinket a keras.layers.LSTM() elvárásainak megfelelően, mind „stateless” mind „stateful” formában. A mai részben megnézzük, hogy tanítjuk ezeket a modelleket és össze fogjuk hasonlítani az eredményüket. Stateful modell Kezdjük a stateful modellel. Először is hozzunk létre egy stateful Keras modellt. Ehhez két réteget kell definiálunk: a … Hosszú munkamemóriájú Neurális Hálózat Kerassal — 2. rész olvasásának folytatása →

Ismétlődő Neurális Hálózat

Nem olyan régen volt szó a Mesterséges Neurális Hálózatok legegyszerűbb fajtájáról a Feed Forward típusról. A mai posztban egy ennél összetettebb megoldást fogunk megvizsgálni: a Ismétlődő Neurális Hálózat1 (INH) típust. Amíg a FF egyedi megfigyelések vizsgálatára alkalmas, addig INH sorozatokra alkalmazható. A Feed Forward típus esetén lényegében független és azonos eloszlású véletlenszerű megfigyelésekkel tanítjuk a … Ismétlődő Neurális Hálózat olvasásának folytatása →

A Hosszú Munkamemóriájú Neurális Hálózat

Nem olyan régen szó volt a Mesterséges Neurális Hálózatok egy sorozatokra kifejlesztett változatáról, az Ismétlődő Neurális Hálózatról. Amint említettük, ez a típus hatványozottan szenved az Eltűnő Gradiens Problémától. Ennek a nehézségnek a megoldására született meg a "Hosszú Munkamemóriájú" (HMM, angolul: Long short-term memory) Neurális Hálózat. Mai bejegyzésünkben ezt megvizsgáljuk meg. A HMM mai formája 1997 … A Hosszú Munkamemóriájú Neurális Hálózat olvasásának folytatása →