Gradiens csökkentés 2. rész — plató vs. ReLU, lokális minimum

A mai részben körbejárjuk milyen problémákkal találkozhatunk a Gradiens csökkentés során. Egyrétegű neurális hálózat Loss tere Az első részben látott példa esetén a Loss értéke konvex. Ebben az esetben elmondhatjuk, hogy ha a Lépésköz nem túl nagy, a Gradiens csökkentés előbb vagy utóbb megtalálja az optimális paramétert. Ezt fogjuk most kicsit körbejárni. Mivel a Gradiens … Gradiens csökkentés 2. rész — plató vs. ReLU, lokális minimum olvasásának folytatása →

Gradiens csökkentés (aka. gradient descent) 1. rész — hogy működik

A mai bejegyzésben egy népszerű paraméter optimalizációs eljárással fogunk megismerkedni. A gradiens csökkentést gyakran alkalmazzuk neurális hálókban, így érdemes egy kis időt eltölteni a megismerésével. A probléma Tegyük fel, hogy a következő megfigyeléseink vannak: független változó (x)függő változó (y)0,51,42,31,92,93,2Megfigyelések Ezekre az adatokra szeretnénk egy lineáris modellt illeszteni. A kérdés mik lesznek az optimális paraméterei ennek … Gradiens csökkentés (aka. gradient descent) 1. rész — hogy működik olvasásának folytatása →

Lineáris modell determinációs együttható — statisztika alapok

A mai bejegyzésben körbejárjuk, hogyan tudjuk eldönteni két lineáris modell közül melyik a jobb. A Loss fügvényről szóló bejegyzésben már megemlítettük, hogy készítünk egyetlen lineáris modellt: Kipróbálunk egy rakás lineáris modellt, és a végén az kerül kiválasztásra, aminél a loss függvény eredménye a legkisebb. Ez a modell lesz az adott függő és független változók esetén … Lineáris modell determinációs együttható — statisztika alapok olvasásának folytatása →

Reguláció

Egy korábbi bejegyzésben volt szó a túlillesztés problémájáról. Ma az egyik lehetséges megoldási lehetőséget nézzük át: a regulációt. A reguralizáció az összetettebb modellek büntetése az egyszerűbbekkel szemben. Miért jó ez? Mint tudjuk, hajlamosak vagyunk olyan esetekben is összefüggéséket felfedezni, amikor nincsenek. Ennek köszönhetően egyre összetettebb modelleket alkotunk, amik újabb és újabb "összefüggésekkel" egészítik ki az … Reguláció olvasásának folytatása →

Support-vector machine

A Support Vector Machine (SVM) egy nagyon népszerű felügyelettel végrehajtott tanulási mód. Mai bejegyzésemben átnézzük működésének matematikai alapjait és egy naiv Python megvalósítását. Az SVM alapvetően lineáris klasszifikációs1 problémák megoldására szolgál. Vagyis a kiindulási pontja, hogy van két lineárisan elválasztható csoportunk és szeretnénk meghatározni az ideális határt a kettő között. Valahogy így: A fenti ábrán … Support-vector machine olvasásának folytatása →

A Loss függvény – statisztika alapok

A sorozat célja, hogy a Statisztika alap fogalmait tisztázza minél közérthetőben. A Loss függvényt tipikusan optimalizációs problémák megoldására szokták alkalmazni. A kérdés amire válaszol: melyik az a modell ami leginkább illeszkedik a mintavételi pontjainkra. Mint mindent, ezt is egy példa alapján lehet a legjobban megérteni, ezért nézzünk is egyet. Az alábbi példában van egy 20 … A Loss függvény – statisztika alapok olvasásának folytatása →