Ebben a bejegyzésben a Maximum likelihood után a második legnépszerűbb paraméterbecslési eljárást fogjuk megvizsgálni: a Momentumok módszerét.
A Method of moments-t 1887-ben Pafnutyij Lvovics Csebisev publikálta, ami mai napig tartó népszerűségét annak köszönheti, hogy nagyon könnyű számolni. Ezt mindjárt be is mutatjuk.
Az alap ötlet lényegében a többismeretlenes egyenletrendszerek megoldásán alapul. Mint tudjuk ezekben az esetekben annyi egyenletre van szükségünk a megoldáshoz amennyi ismeretlenünk van. Csebisev lényegében átültette ezt a gondolatot a paraméterbecslés feladatára. Semmi mást nem kell csinálnunk a paraméter megbecslésére, mint annyi egyenletet előállítanunk amennyi paramétert keresünk. Ehhez pedig egyszerűen elég hatványoznunk az elvárt értéket, ezek lesznek az úgynevezett Momentumok.
Nézzünk egy példát két paraméter becslésére: Legyen X egy normál eloszlás aminek a két paramétere 
(1) 
Mivel a megfigyelt változó az Y, ennek az elvárt értékét fogjuk hatványozni. Mivel csak két paramétert nem ismerünk elég csak két hatvány:
(2) ![E[Y] = \int_{-\infty}^{\infty} x^2 \cdot \frac{1}{\sqrt{2\pi \sigma^2} } \exp{\frac{-(x-\mu)^2}{2\sigma^2}} \text{dx} = \mu^2+\sigma^2](https://s0.wp.com/latex.php?latex=E%5BY%5D+%3D+%5Cint_%7B-%5Cinfty%7D%5E%7B%5Cinfty%7D+x%5E2+%5Ccdot+%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi+%5Csigma%5E2%7D++%7D++%5Cexp%7B%5Cfrac%7B-%28x-%5Cmu%29%5E2%7D%7B2%5Csigma%5E2%7D%7D++%5Ctext%7Bdx%7D+%3D+%5Cmu%5E2%2B%5Csigma%5E2+&bg=ffffff&fg=000000&s=2&c=20201002)
(3) ![E[Y^2] = \int_{-\infty}^{\infty} x^4 \cdot \frac{1}{\sqrt{2\pi \sigma^2} } \exp{\frac{-(x-\mu)^2}{2\sigma^2}} \text{dx}](https://s0.wp.com/latex.php?latex=E%5BY%5E2%5D+%3D+%5Cint_%7B-%5Cinfty%7D%5E%7B%5Cinfty%7D+x%5E4+%5Ccdot++%5Cfrac%7B1%7D%7B%5Csqrt%7B2%5Cpi+%5Csigma%5E2%7D++%7D++%5Cexp%7B%5Cfrac%7B-%28x-%5Cmu%29%5E2%7D%7B2%5Csigma%5E2%7D%7D+++%5Ctext%7Bdx%7D+&bg=ffffff&fg=000000&s=2&c=20201002)
Ami, ha elvégezzük az integrálást:
(4) ![E[Y^2] = \mu^4+6\mu^2\sigma^2 + 3(\sigma^2)^2](https://s0.wp.com/latex.php?latex=E%5BY%5E2%5D+%3D+%5Cmu%5E4%2B6%5Cmu%5E2%5Csigma%5E2+%2B+3%28%5Csigma%5E2%29%5E2&bg=ffffff&fg=000000&s=2&c=20201002)
Most már van két egyenletünk a két paraméter becslésére. Oldjuk meg1 :
Fejezzük ki a (2)-ből a 
(5) ![\hat{\sigma^2} = E[Y] - \mu^2](https://s0.wp.com/latex.php?latex=%5Chat%7B%5Csigma%5E2%7D+%3D+E%5BY%5D+-+%5Cmu%5E2+&bg=ffffff&fg=000000&s=2&c=20201002)
Most pedig helyesítsük be ezt (4)-be és fejezzük ki a 
(6) ![\hat{\mu} = \sqrt[4]{\frac{3E[Y]^2-E[Y^2]}{2} }](https://s0.wp.com/latex.php?latex=%5Chat%7B%5Cmu%7D+%3D+%5Csqrt%5B4%5D%7B%5Cfrac%7B3E%5BY%5D%5E2-E%5BY%5E2%5D%7D%7B2%7D+%7D+&bg=ffffff&fg=000000&s=2&c=20201002)
Készen is vagyunk. Ugye milyen egyszerű.
De ha ilyen egyszerű akkor miért használjuk inkább a Maximum likelihood-ot? Azért mert az robusztusabb.
Teszteljük:
mu = 30
sigma2 = 4
n = 10000
y_mm_mu = []
y_mm_sigma2 = []
x_mm_mu = []
x_mm_sigma2 = []
for j in range(5000):
# mintavétel
x = np.random.normal(mu, sigma2**0.5, n)
y = x**2
y_mm_mu.append( np.mean(y) )
y_mm_sigma2.append( np.sum( np.power(y-y_mm_mu[-1],2) )/n )
# method of moment for y=x**2
y2 = np.mean(np.power(y, 2))
x_mm_mu.append( np.power( (3*np.power(y_mm_mu[-1],2)-y2)/2 , 1/4) )
x_mm_sigma2.append( y_mm_mu[-1]-(x_mm_mu[-1]**2) )
# Ábra
%matplotlib qt
from matplotlib import rc
plt.clf()
plt.rc('text', usetex=True)
plt.rc('font', family='serif')
plt.rcParams['text.latex.unicode'] = True
plt.subplot(1,2,1)
plt.hist(x_mm_mu, label="Becsült $\mu$", density=True)
plt.legend()
plt.title("Átlag")
plt.subplot(1,2,2)
plt.hist(x_mm_sigma2, label="Becsült $\sigma^2$", density=True)
plt.title("Szórásnégyzet")
plt.legend()
plt.show()
Mint fentebb is látható, a paraméterbecslésünk megfelelően működik.
Nemsoká következik egy bejegyzés “Két kevert Gaussian eloszlás paraméterbecsléséről”, ott megnézzük a Momentumok módszerének őspéldáját, és a robusztusság kérdését is.
Lábjegyzet
- Persze használhatnánk Gauss-eliminációt is az egyenletrendszer megoldására, de ez tényleg annyira egyszerű, hogy most nem bonyolítom a dolgot.
Sajó Zsolt Attila 