Címke: Paraméterbecslés

Gradiens csökkentés 2. rész — plató vs. ReLU, lokális minimum

A mai részben körbejárjuk milyen problémákkal találkozhatunk a Gradiens csökkentés során. Egyrétegű neurális hálózat Loss tere Az első részben látott példa esetén a Loss értéke konvex. Ebben az esetben elmondhatjuk, hogy ha a Lépésköz nem túl nagy, a Gradiens csökkentés előbb vagy utóbb megtalálja az optimális paramétert. Ezt fogjuk most kicsit körbejárni. Mivel a Gradiens … Gradiens csökkentés 2. rész — plató vs. ReLU, lokális minimum olvasásának folytatása →

Hírdetés

Gradiens csökkentés (aka. gradient descent) 1. rész — hogy működik

A mai bejegyzésben egy népszerű paraméter optimalizációs eljárással fogunk megismerkedni. A gradiens csökkentést gyakran alkalmazzuk neurális hálókban, így érdemes egy kis időt eltölteni a megismerésével. A probléma Tegyük fel, hogy a következő megfigyeléseink vannak: független változó (x)függő változó (y)0,51,42,31,92,93,2Megfigyelések Ezekre az adatokra szeretnénk egy lineáris modellt illeszteni. A kérdés mik lesznek az optimális paraméterei ennek … Gradiens csökkentés (aka. gradient descent) 1. rész — hogy működik olvasásának folytatása →

Cenzúrázott és csonkított Gaussian eloszlások Bayesian paraméterbecslése

A Gaussian eloszlás az egyik leggyakrabban szembejövő eloszlás a gyakorlati életben. Sajnos bizonyos esetekben a mintavételünk torzított ( jellemzően a farok tartományokban ) és ezért a paraméterbecslésünk nehéz lehet. A mai bejegyzésben két ilyen torzítást fogunk körbejárni: a cenzúrázást és a csonkítást. Cenzúrázott Gaussian eloszlás Cenzúrázott adatokról akkor beszélünk, ha a megfigyeléseink bizonyos értékhatár alatt … Cenzúrázott és csonkított Gaussian eloszlások Bayesian paraméterbecslése olvasásának folytatása →

Paraméterbecslés Maximum likelihood módszerrel — példa számítás

Statisztikai elemzéséknél gyakran kell paraméterbecslést végeznünk. Ez a következő probléma: van egy ismert típusú populációnk, viszont nem ismerjük azt a paramétert, ami a konkrét populációra jellemző. Ebben a posztban megpróbálom bemutatni, hogy határozhatjuk meg ezt a nem ismert paramétert a maximum likelihood módszerrel.1 Most érdekes elméleti kérdések helyett csak egy számítási sorvezető következik. Azért írtam … Paraméterbecslés Maximum likelihood módszerrel — példa számítás olvasásának folytatása →