Degradációs probléma

Korábban már volt szó néhány, a Neurális Hálózatokat érintő problémáról, mint a túlillesztés, vagy az eltűnő gradient. Mai bejegyzésemben egy újabb problémáról fogok beszélni. A túlillesztéses kapcsolatban említettem, hogy minél több rétegből épül fel egy NH, annál összetettebb modelleket képes előállítani. Ennek egyik következménye, hogy olyan esetekben is összefüggést vél felfedezni, ahol nincsenek. Ezt a … Degradációs probléma olvasásának folytatása →

Reguláció

Egy korábbi bejegyzésben volt szó a túlillesztés problémájáról. Ma az egyik lehetséges megoldási lehetőséget nézzük át: a regulációt. A reguralizáció az összetettebb modellek büntetése az egyszerűbbekkel szemben. Miért jó ez? Mint tudjuk, hajlamosak vagyunk olyan esetekben is összefüggéséket felfedezni, amikor nincsenek. Ennek köszönhetően egyre összetettebb modelleket alkotunk, amik újabb és újabb "összefüggésekkel" egészítik ki az … Reguláció olvasásának folytatása →

A túlillesztés problémája

A mai bejegyzésben egy olyan problémáról fogunk beszélni, ami minden statisztikai elemzés szenved. Sőt igazából tovább mennék, valamibe, amitől rengetek ember is szenved. Általánosítás vs. Specializáció Minden modell a világ valamilyen szintű egyszerűsítése, aminek egyszerű számítástechnikai oka van: ahhoz, hogy a világot a teljesen részleteiben leírjuk annyi információ kellene tárolnunk mint maga a világ. Ez … A túlillesztés problémája olvasásának folytatása →