Konvolúciós Neurális Hálózat – 1. rész

A korábban ismertetett teljesen csatolt Neurális Hálózatokkal szemben a mai bejegyzésben egy részlegesen csatolt rendszerről fogunk beszélni: a Konvolúciós Neurális Hálózatról (angolul: Convolutional neural network). Ezeket a rendszereket leggyakrabban képelemzésre használják, de másra is lehet. Ebben a begyezésben mi egy idősoron fogjuk kipróbálni.

Hírdetés

Degradációs probléma

Korábban már volt szó néhány, a Neurális Hálózatokat érintő problémáról, mint a túlillesztés, vagy az eltűnő gradient. Mai bejegyzésemben egy újabb problémáról fogok beszélni. A túlillesztéses kapcsolatban említettem, hogy minél több rétegből épül fel egy NH, annál összetettebb modelleket képes előállítani. Ennek egyik következménye, hogy olyan esetekben is összefüggést vél felfedezni, ahol nincsenek. Ezt a … Degradációs probléma olvasásának folytatása

Dropout réteg

A túlillesztésről szóló bejegyzésben volt szó a Dropoutról, mint egy eszközről, amivel elkerülhetjük ezt a problémát. Most ezt fogjuk megnézni részletesebben. Dropout teljesen kapcsolt hálózaton Teljesen kapcsolt neurális hálózatok esetén egy p valószínűséggel kihagyunk neuronokat a hálózatból a Dropout során. Nézzünk egy példát. A normális teljesen csatolt hálózat így néz ki: Ugye a A Mesterséges … Dropout réteg olvasásának folytatása

A túlillesztés problémája

A mai bejegyzésben egy olyan problémáról fogunk beszélni, ami minden statisztikai elemzés szenved. Sőt igazából tovább mennék, valamibe, amitől rengetek ember is szenved. Általánosítás vs. Specializáció Minden modell a világ valamilyen szintű egyszerűsítése, aminek egyszerű számítástechnikai oka van: ahhoz, hogy a világot a teljesen részleteiben leírjuk annyi információ kellene tárolnunk mint maga a világ. Ez … A túlillesztés problémája olvasásának folytatása

Hosszú munkamemóriájú Neurális Hálózat Kerassal — 2. rész

Az előző részben megnéztük a Keras alapjait. Majd megformáztuk a megfigyeléseinket a keras.layers.LSTM() elvárásainak megfelelően, mind „stateless” mind „stateful” formában. A mai részben megnézzük, hogy tanítjuk ezeket a modelleket és össze fogjuk hasonlítani az eredményüket. Stateful modell Kezdjük a stateful modellel. Először is hozzunk létre egy stateful Keras modellt. Ehhez két réteget kell definiálunk: a … Hosszú munkamemóriájú Neurális Hálózat Kerassal — 2. rész olvasásának folytatása

Ismétlődő Neurális Hálózat

Nem olyan régen volt szó a Mesterséges Neurális Hálózatok legegyszerűbb fajtájáról a Feed Forward típusról. A mai posztban egy ennél összetettebb megoldást fogunk megvizsgálni: a Ismétlődő Neurális Hálózat1 (INH) típust. Amíg a FF egyedi megfigyelések vizsgálatára alkalmas, addig INH sorozatokra alkalmazható. A Feed Forward típus esetén lényegében független és azonos eloszlású véletlenszerű megfigyelésekkel tanítjuk a … Ismétlődő Neurális Hálózat olvasásának folytatása

A Hosszú Munkamemóriájú Neurális Hálózat

Nem olyan régen szó volt a Mesterséges Neurális Hálózatok egy sorozatokra kifejlesztett változatáról, az Ismétlődő Neurális Hálózatról. Amint említettük, ez a típus hatványozottan szenved az Eltűnő Gradiens Problémától. Ennek a nehézségnek a megoldására született meg a "Hosszú Munkamemóriájú" (HMM, angolul: Long short-term memory) Neurális Hálózat. Mai bejegyzésünkben ezt megvizsgáljuk meg. A HMM mai formája 1997 … A Hosszú Munkamemóriájú Neurális Hálózat olvasásának folytatása

Mesterséges Neurális Hálózat alapjai – 2. rész

Az előző részben átnéztük, a Neurális Hálózat részeit és a lejátszási szakaszt. Most folytassuk a Hibaszámítással és a Visszajátszással! Hibaszámítás Az előző részben, a lejátszás végén kaptunk egy előrejelzést a bemeneti adatok alapján. A konkrét példánk esetében ez így alakult: (1)   $latex o = \begin{bmatrix} 0.81152104 \\1.77152357 \end{bmatrix} &s=2$ Mivel felügyelettel végrehajtott tanulást végzünk … Mesterséges Neurális Hálózat alapjai – 2. rész olvasásának folytatása