Statystyka Matematyczna Skrypt

SKN MS
Statystyka Matematyczna
Spis treści
1 Oznaczenia i definicje
4
2 Wnioskowanie statystyczne
2.1 Statystyki dostateczne . . . . . . . . . . .
2.1.1 Rodzina rozkładów wykładniczych
2.2 Rozkłady niektórych statystyk . . . . . .
2.3 Estymatory . . . . . . . . . . . . . . . . .
2.3.1 Definicje . . . . . . . . . . . . . . .
2.3.2 Metody wyznaczania estymatorów
.
.
.
.
.
.
4
4
5
5
6
6
8
3 Testowanie hipotez statystycznych
3.1 Testy najmocniejsze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2 Testy ilorazowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8
8
9
4 Statystyka bayesowska
4.1 Bayesowskie przedziały ufności
4.2 Rodziny sprzężone . . . . . . .
4.3 Decyzje statystyczne . . . . . .
4.4 Reguły bayesowskie . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
10
10
10
11
11
5 Rachunek prawdopodobieństwa
5.1 Funkcje zmiennych losowych . . . .
5.2 Funkcje charakterystyczne . . . . .
5.3 Zbieżności probabilistyczne . . . .
5.4 Prawa wielkich liczb . . . . . . . .
5.4.1 Słabe prawa wielkich liczb .
5.4.2 Mocne prawa wielkich liczb
5.5 Centralne Twierdzenia Graniczne .
5.6 Nierówności . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
11
12
12
13
14
14
15
16
17
.
.
.
.
6 Tabela rozkładów dyskretnych
18
7 Tabela rozkładów ciągłych
19
20
Statystyka Matematyczna
Skrypt
SKN
Matematyki Stosowanej


s k n


 · · · 
· m s
11 czerwca 2006
1
Nazwa
Jednostajny
Normalny
Trójkątny
Log-normalny
Pareto
Wykładniczy
Gamma Γ(λ, s)
Beta
Laplace’a
Cauchy’ego
Uog. Cauchy’ego
Weibulla
Chi-kw (1 df)
Chi-kw (n df)
T-studenta (n df)
Snedecora
(x−m)2
Funkcja gęstości
1
χ<a,b> b−a
s
√1 e− 2σ2
σ 2π
|x|
1
a (1 − a )
ln(x−m)2
1
√
e− 2σ2
xσ 2π
χ<b,∞) aba x−(a+1)
χR++ λe−λx
λs
χR++ Γ(s)
xs−1 e−λx
Γ(p+q)
p−1
(1
− x)q−1
Γ(p)Γ(q) x
1 − |x−m|
σ
2σ e
1 1
π 1+x2
1
b
π b+(x−a)2
sλxs−1 eλx
√ 1
2eπx
−3
λe
(1+e−λx )2
x2
λ
n
x
x 2 −1 e−
n
2
Γ( n
2 )2
Γ( 1+n
2 )
n+1
√
x2
2
Γ( 12 )Γ( n
2 ) n(1+ n )
m m −1
2 x 2
(m
n )
n
mx (m+n)/2
B( m
2 , 2 )(1+ n )
−λx
χR++ λ2 xe−
χR++ 4λ√π2 x2 e−
Logistyczny
Maxwella
x2
λ
Rayleigha
Parametry
a<b
EX
+ b)
m
1
2 (a
0
σ>0
|x| < a
σ2
2
:a>1
em+
ba
a−1
2
D2 X
− a)2
σ
−1 2m+σ
)e
2 2
3a
1
12 (b
(eσ
2
2
Dystrybuanta
x−a
b−a
arctan(x) +
F. tworząca
eitb −eita
it(b−a)
−n
2
−1
2
−1
(1 − it
λ)
(1 − θit)−k
b2 a
(a−1)2 (a−2) : a >
1
λ2
s
λ2
pq
(p+q)2 (p+q+1)
(1 − 2it)
1 − ( xb )k
1 − e−λx
1
λ
s
λ
p
p+q
2σ 2
-
(1 − 2it)
2
1 − exp( −x
2σ 2 )
1
2
1 s
2
1
2
λ Γ(1 + s ) − Γ (1 + s )
2
1
π
m
-
2n
2
1 s
1
λ Γ(1 + s )
1
1
n
∧n>4
3π−8
2π λ
4−π
4 λ
2n2 (n+m−2)
m(n−2)2 (n−4)
n
n−2
n
n−2
1
2
q
2 πλ
√
λπ
∧n>2
0
σ>0
a, b > 0
λ>0
s>0
x, p, q > 0 x < 1
σ>0
b>0
λ, s > 0
n>2
λ>0
m>0∧n∈N
λ>0
λ>0
19
2
Tabela rozkładów ciągłych
7
Statystyka Matematyczna
SKN MS
Statystyka Matematyczna
SKN MS
SKN MS
SKN MS
Statystyka Matematyczna
m
p
1−p
p2
M
nM
(1−
N
N )(N −n)
(N −1)
m(1−p)
p2
1
p
Autorzy
Katarzyna Łuckowska
Marcin Szymański
Paweł Wietraszuk
Z
Γ(s) =
Γ(s + 1) =
Γ(n) =
B(p, q) =
B(p, q) =
∞
Logarytmiczny
Uj. dwumianowy (Pascala)
Hipergeometryczny
n
k
k
θ
− k log(1−θ)
np
λ
pk (1 − p)n−k
λk −λ
k! e
p(1 − p)k−1
−M
(Mk )(Nn−k
)
(Nn )
k−1
m
k−m
m−1 p (1 − p)
nM
N
n2 −1
12
n+1
2
1
n
np(1 − p)
λ
D2 X
1−p
EX
p
P (X = k)
P (1) = p P (0) = 1 − p
pk (1 − p)1−k
Γ(k+1,λ)
k!
Dystrybuanta
F. tworząca
exp(λ(eit − 1))
Tabela rozkładów dyskretnych
Nazwa
Zerojedynkowy
Dwupunktowy
Równomierny
Dwumianowy
Poissona
Geometryczny
6
Statystyka Matematyczna
Niniejszy skrypt napisany został jako pomoc dla studiujących statystykę matematyczną.
Wszelkie teksty w nim zawarte stanowią własność intelektualną autorów.
Pracę złożono w języku LATEX 2ε
ts−1 e−t dt
0
sΓ(s)
(n − 1)! ∧ n ∈ N
Z 1
tp−1 (1 − t)q−1 dt
0
Γ(p)Γ(q)
Γ(p + q)
c Studenckie Koło Naukowe Matematyki Stosowanej (???)
°
Warszawa 2006
18
3
SKN MS
1
Statystyka Matematyczna
Oznaczenia i definicje
SKN MS
5.6
Statystyka Matematyczna
Nierówności
Tw. 87 (Schwarz). Jeśli EX 2 < ∞ i EY 2 < ∞, to
Ozn. 1 (Przestrzeń parametrów). Θ
Ozn. 2 (Przestrzeń prób). X ∈ Rn
E(|XY |) ¬
Ozn. 3 (Obserwacja losowa). wektor losowy X ∈ X
Ozn. 4 (Rodzina rozkładów prawdopodobieństwa). {Pθ : θ ∈ X}
Def. 7 (Statystyka). Funkcja t : X → Rk taka, że ∀X ∈ X t(x) jest zmienną losową na (X, S, {Pθ : θ ∈ X}) ∧ S = B(X)
Def. 9 (k-ta statystyka pozycyjna). Xk:n k-ta liczba w rosnąco uporządkowanym ciągu
Def. 11 (Dystrybuanta empiryczna). Fˆn (t) =
Tw. 1 (Gliwenko-Cantelli).
Tw. 89 (Czebyszew). Niech X będzie nieujemną zmienną losową. Wtedy dla każdego ε > 0
Tw. 90 (Czebyszew). Niech g : R+ → R borelowska, niemalejące i dodatnia, wtedy
X n+1 :n ⇐⇒ n ≡ (1mod2)
2
1
n
n
2 (X 2 :n + X 2 +1:n ) ⇐⇒ 2 | n
card{xi :xi ¬t}
n
P (|X| > a) ¬
−−∞
→ 0
sup |F (t) − Fˆn (t)| −
n−→
∀ε > 0
Tw. 91 (Hölder). Niech p, q > 1 oraz
1
Fn (t, X) → F (t)
1
p
+
1
q
P (|X − EX| ­ ε) ¬
V ar X
.
ε2
= 1 i E|X|p < ∞, E|Y |q < ∞, wtedy E|XY | < ∞ oraz
1
1
E|XY | ¬ (E|X|p ) p (E|Y |q ) q .
2. ∀n ∀t ∈ R EF Fn (t, X) = F (t)
√ F (t,X)−F (t) d
→ Z ∼ N (0, 1)
3. n √n
Tw. 92 (Minkowski). Niech p ­ 1 wtedy
F (t)[1−F (t)]
1
2.1
Eg(|X|)
g(a)
[Przykład] Dla g(x) = x2 i X := X − EX otrzymujemy
Tw. 2 (Własności dystrybunaty empirycznej).
2
EX
.
ε
P (X ­ ε) ¬
t
1. ∀t ∈ R
EY 2 ,
g(EX) ¬ Eg(X).
Def. 8 (Statystyka k-wymiarowa). T : Rn → Rk T (X1 , . . . , Xn ) ∧ X1 , . . . , Xn ∼ iid F
Me =
√
ponadto równość zachodzi wtedy i tylko wtedy, gdy X i Y są liniowo zależne.
(X, S, {Pθ : θ ∈ X}) ∧ S = B(X)
Def. 6 (Identyfikowalność). Własność modelu: θ1 6= θ2 ⇒ Pθ1 6= Pθ2
EX 2 ·
Tw. 88 (Jensen). Niech E|X| < ∞ oraz g : R → R wypukła, taka że E|g(X)| < ∞, wtedy
Def. 5 (Model statystyczny; Przestrzeń statystyczna).
Def. 10 (Mediana).
√
1
1
(E|X + Y |p ) p ¬ (E|X|p ) p + (E|Y |p ) p
Wnioskowanie statystyczne
Tw. 93 (Kołomogorow). Niech X1 , ..., Xn będą niezależnymi zmiennymi losowymi, takimi że EXi = 0 i EXi2 < ∞ i =
1, ..., n. Jeśli ∃c > 0, że P (|Xi | ¬ c) = 1, i = 1, ..., n to
Statystyki dostateczne
Def. 12 (Statystyka dostateczna). T , że rozk. warunkowy Pθ {·|T = t} nie zależy od θ
∀ε > 0
Def. 13 (Statystyka dostateczna). Statystyka dostateczna dla θ to taka, która generuje podział dostateczny przestrzeni prób.
Tw. 3 (O faktoryzacji). T jest dostateczna ⇐⇒
P ( max |Sk | ­ ε) ­ 1 −
1¬k¬n
gdzie Sn = X1 + ... + Xn .
fθ (xn ) = gθ (T (xn ))h(xn )
gθ - zależy od θ, zależy od xn tylko przez T
h - nie zależy od θ, zależy od xn
Def. 14 (Podział dostateczny). Podział A przestrzeni prób X jest dostateczny dla θ, jeśli przy każdym ustalonym zbiorze
A ∈ A rozkład warunkowy próby pod warunkiem A nie zależy od θ.
Def. 15 (Konstrukcja minimalnego podziału dostatecznego). (do napisania)
Def. 16 (Minimalna statystyka dostateczna). Statystyka S jest minimalna statystyką dostateczną ⇐⇒ gdy dla każdej innej
statystyki dostatecznej T istnieje funkcja h taka, że S = h(T ).
Def. 17 (Minimalna statystyka dostateczna). Minimalna statystyka dostateczna dla θ to taka, która generuje minimalny
podział dostateczny przestrzeni prób.
Def. 18 (Statystyka zupełna). Statystyka T = T (X) jest zupełna, jeżeli dla wszystkich θ ∈ Θ z równości Eθ h(T ) = 0 wynika
że h ≡ 0 z prawdopodobieństwem 1 na zbiorze wartości T.
Def. 19 (Statystyka swobodna wzgl. θ). Statystyka, której rozkład nie zależy od θ.
Def. 20 (Statystyka swobodna I rzędu). Statystyka, której wartość oczekiwana nie zależy od θ.
Tw. 4 (Basu). Jeżeli T jest statystyką dostateczną zupełną dla θ, a V statystyką swobodną, to T i V są niezależnymi
zmiennymi losowymi.
Tw. 5. Minimalna statystyka dostateczna nie musi być zupełna
Tw. 6. Jeżeli T jest statystyką dostateczną zupełną to jest mininimalną statystyką dostateczną
4
17
(c + ε)2
,
ESn2
SKN MS
5.5
Statystyka Matematyczna
Centralne Twierdzenia Graniczne
2.1.1
Tw. 79 (CTG). Niech X1 , X2 , . . . będą niezależnymi zmiennymi losowymi o tym samym rozkładzie oraz niech EX = 0 i
V arX = 1. Wtedy
X1 + . . . + Xn d
√
→ N (0, 1).
n
Tw. 80. Niech X1 , X2 , ... będą niezależnymi zmiennymi losowymi o tym samym rozkładzie, niech EX1 = µ i V aRX1 = σ 2 .
Wtedy dla każdego ε
X1 + ... + Xn − nµ
√
¬ ε →n→∞ Φ(ε).
P
σ n
Tw. 81 (Lindeberga-Levy’ego). Jeżeli zmienne losowe X1 , X2 , ... są niezależne o jednakowych rozkładach z parametrami
EXk = µ , V aRXk = σ 2 dla k=1,2,..., to
Sn − nµ
√
lim P a <
¬ b = Φ(b) − Φ(a),
n→∞
σ n
gdzie Φ √jest dystrybuantą rozkładu normalnego N (0, 1). Oznacza to, że suma Sn ma rozkład asymptotycznie normalny
N (nµ, σ n).
Tw. 82 (de Moivre’a-Laplace’a). Jeżeli zmienne losowe X1 , X2 , ... są niezależne o jednakowych rozkładach dwupunktowych
Bern(p), to
Sn − np
lim P a < √
¬ b = Φ(b) − Φ(a),
n→∞
npq
gdzie Φ jest dystrybuantą rozkładu normalnego N (0, 1). Oznacza to, że suma Sn ma rozkład asymptotycznie normalny
√
N (np, npq).
Tw. 83 (Berry-Esséen). Jeżeli (Xn ) jest ciągiem niezależnych zmiennych losowych o tym samym rozkładzie i E|X1 |3 < ∞
to,
Sn − ESn
E|X1 − EX1 |3
√
sup P √
¬ t − Φ(t) ¬ C
,
σ3 n
V aRSn
t∈R
√
gdzie σ = V aRX1 oraz √12π ¬ C < 0, 8.
Tw. 84 (Poissona). Jeżeli zmienne losowe X1 , X2 , ... są niezależne o rozkładach dwumianowych Bin(n, pn ) i jeśli npn = λ
dla n=1,2,..., to
λk −λ
n!
lim P (Xn = k) = lim
pkn (1 − pn )n−k =
e .
n→∞
n→∞ (n − k)!k!
k!
Def. 86 (Warunek Lindeberga). Ciąg zmiennych losowych (Xn ) spełnia warunek Lindeberga, jeśli dla każedo ε > 0
n
1 X
E[(Xk − EXk )2 1{|Xk −EXk |>εsn } ] →n→∞ 0,
2
sn
k=1
gdzie s2n =
Pn
k=1
SKN MS
Statystyka Matematyczna
Rodzina rozkładów wykładniczych
Def. 21 (Rodzina rozkładów wykładniczych). Rodzina rozkładów {Pθ : θ ∈ Θ} taka, że każdy rokład jest postaci
Pk
c (θ)Tj (x)−b(θ)
pθ (x) = e j=1 j
h(x)
i T1 , . . . , Tk są liniowo niezależne, a c1 , . . . , ck tworzą k-wymiarowy zbiór
Tw. 7. Dla rodziny wykładniczej
(T1 (X), · · · , Tk (X))
jest minimalną statystyką dostateczną oraz statystyką zupełną.
Tw. 8. Dla próby z rodziny wykładniczej
X
X
(
T1 (Xi ), · · · ,
Tk (Xi ))
i
i
jest statystyką dostateczną zupełną.
2.2
Rozkłady niektórych statystyk
Def. 22 (Średnia). X =
1
n
P
Xi
• Jest nieobciążonym estymatorem wartości oczekiwanej
• Jest zgodnym estymatorem wartości oczekiwanej
Tw. 9. V ar(X) =
1
nV
ar(X)
Def. 23 (Wariancja z próby). S 2 =
1
n
P
(Xi − X)2
• Jest obciążonym estymatorem wariancji S 2 (X) =
n−1 2
n σ
2
Tw. 10 (Fisher). Jeżeli X1 , . . . , Xn ∼ iid N (m, σ ) to
1. X, S 2 są niezależne
2
2. X ∼ (m, σn )
3.
nS 2
σ2
∼ χ2n−1
Tw. 11. Jeżeli X1 , . . . , Xk ∼ iid N (0, 1) to
P 2
1.
Xi ∼ χ2k
P 2
Pk
2. E( Xi ) = i=1 EXi2 = k
Tw. 12. Jeżeli Y1 , . . . , Ym są niezależne ∧Yi ∼ χ2vi to
X
V aRXk .
2
Yi ∼ χP
v
i
Def. 87 (Warunek Lapunowa). Ciąg zmiennych losowych (Xn ) spełnia warunek Lapunowa, jeśli dla wszystkich k naturalnych
i dla pewnego δ > 0 jest E|Xk |2+δ < ∞ oraz
lim
1
n
X
n→∞ s2+δ
n
k=1
Tw. 13. Jeżeli X1 , . . . , Xn1 ∼ iid N (m1 , σ12 ) ∧ Y 1, . . . , Yn2 ∼ iid N (m2 , σ22 ) to
n1 S12
n2 S22
+
∼ χ2n1 +n2 −2
σ12
σ22
E|Xk − EXk |2+δ = 0.
Lem. 85. Warunek Lapunowa pociąga za sobą warunek Lindeberga.
Tw. 86. Jeśli ciąg niezależnych zmiennych losowych (Xn ) spełnia warunek Lindeberga, to
Sn − ESn
P
¬ a →n→∞ Φ(a)
sn
Tw. 14 (Gosset). Jeżeli X, Y są niezależne ∧X ∼ N (0, 1) ∧ Y ∼ χ2v to
1. √XY ∼ tv
v
√ X−m
v 2
σ
=
2. q vS
2
σ2
v−1
X−m
S
√
v − 1 ∼ tv−1
Tw. 15. Jeżeli X, Y są niezależne ∧X ∼ χ2v1 ∧ Y ∼ χ2v2 to
jednostajnie względem a.
F =
16
X
v1
Y
v2
∼ Fv1 ,v2
5
SKN MS
Statystyka Matematyczna
Lem. 16. (Na mocy CTG) Jeżeli X ma rozkład dwumianowy to
X − np
p
∼ N (np,
np(1 − p)
Tw. 71 (SPWL Markowa). Niech (Xn ) będzie ciągiem zmiennych losowych takich, że
lim
np(1 − p))
n→∞
n1 S 2
1
σ1
F =
n2 S 2
2
σ2
2.3
2.3.1
wtedy (Xn ) spełnia SPWL.
Tw. 72 (PWL Czebyszewa lub Markowa). Niech (Xn ) będzie ciągiem zmiennych losowych niezależnych o skończonych
wariancjach σn2 = V aRXn , n=1,2,... . Jeżeli
n
1 X 2
lim
σk = 0,
n→∞ n2
to ciąg (Xn ) spełnia SPWL.
Tw. 73 (SPWL Czebyszewa). Jeśli Xn są niezależne lub parami nieskorelowane i mają wspólnie ograniczone wariancję, tj.
Tw. 18 (Rozkład k-tej statystyki pozycyjnej).
fXk:n = P (Xk:n
∃K
n
X
n!
(F (x))i (1 − F (x))n−i =
m!(n − m)!
i=k
Z F (x)
n!
=
tk−1 (1 − t)n−k dt
(k − 1)!(n − k)! 0
n!
= x) =
(F (x))k−1 (1 − F (x))n−k f (x)
(k − 1)!(n − k)!
5.4.2
Def. 24 (Estymator). Statystyka T (X1 , X2 , ..., Xn ), której rozkład zależy od pewnego parametru θ rozkładu populacji, Dla
(X1 = x1 , ..., Xn = xn ), liczbę T (x1 , x2 , ..., xn ) nazywamy wartością estymatora.
2
Def. 25 (Kwadratowa funkcja straty estymatora T ). L(T, θ) = T (x) − g(θ)
Mocne prawa wielkich liczb
Def. 85 (MPWL). Mówimy, że ciąg (Xn ) spełnia mocne prawo wilkich liczb, jeżeli ciąg zmiennych losowych ( n1 (Sn − ESn ))
jest zbieżny do zera z prawdopodobieństwem 1, tzn. dla kazdego ε > 0
Sn − ESn
P lim
= 0 = 1.
n→∞
n
Tw. 75 (MPWL Bernoulliego). Oznaczmy przez Sn liczbę sukcesów w schemacie Bernoulliego n prób z prawdopodobieństwem
sukcesu w pojedynczej próbie równym p. Wtedy dla każdego ε > 0
Sk
lim P sup − p ¬ ε = 1.
n→∞
k
k­n
Def. 26 (Ryzyko estymatora T ; Błąd średniokwadratowy). RT (θ) = Eθ L(T, θ)
Tw. 19. Jeżeli T jest estymatorem θ to dla jego ryzyka zachodzi
RT (θ) = V arT (x) + (ET (x) − θ)2
T0 : ∀θ∈Θ ∀T ∈D RT0 (θ) ¬ RT (θ)
gdzie D - zbiór estymatorów
Def. 28 (Estymator zgodny). Estymator Un (ω, θ) = f (X1 (ω), X2 (ω), ..., Xn ; θ) parametru θ jest zgodny, gdy jest on zbieżny
według prawdopodobieństwa do parametru θ, tzn. gdy
Tw. 76 (Twierdzenie Kołomogorowa). Jeśli (Xn )∞
n=1 jest ciągiem niezależnych zmiennych losowych takich, że V aRXn < ∞,
n=1,2,..., przy czym
∞
X
V aRXn
< ∞,
n2
n=1
to z prawdopodobieństwem 1
lim
n→∞
∀ε > 0 lim P ({ω : |Un (ω; θ) − θ| > ε}) = 0
n→∞
∀n ∈ N
⇐⇒
E(Un ) = θ
Def. 30 (Estymator asymptotycznie nieobciążony). Estymator Un jest asymptotycznie nieobciążonym estymatorem parametru θ
⇐⇒
lim E(Un ) = θ
n→∞
Tw. 20. Jeżeli limn→∞ Eθ Un = θ (przynajmniej asymptotycznie nieobciążony) oraz limn→∞ D2 Un = 0, to Un jest zgodnym
estymatorem parametru θ.
Sn − ESn
= 0.
n
Tw. 77 (MPWL Kołomogorowa). Jeżeli (Xn )∞
n=1 jest ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,
E|X1 | < ∞, to (Xn ) spełnia MPWL, czyli
Sn
lim
= EX1
n→∞ n
z prawdopodobieństwem 1.
Lem. 78. Jeśli X1 , X2 , ... takie, że EXn = µ dla n = 1, 2, ... to jeśli
P ( lim
n→∞
Xn
= 0) = 0
µ
⇒
Def. 31 (Obciążenie estymatora). E(Un ) − θ
Def. 32 (Estymator NMW). Estymatorem nieobciążonym o minimalnej wariancji parametru θ nazywamy ten spośród nieobciążonych estymatorów tego parametru, który ma najmniejszą wariancję.
6
i = 1, 2, ...
to ciąg (Xn ) spełnia SPWL.
Definicje
Def. 29 (Estymator nieobciążony). Estymator Un jest nieobciążonym estymatorem parametru θ
V aR Xi < K
Tw. 74 (PWL Chinczyna). Niech (Xn ) będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie i skończonej
wartości oczekiwanej µ. Wtedy ciąg (Xn ) spełnia SPWL, tzn.
1
lim P Sn − µ ¬ ε = 1.
n→∞
n
Estymatory
Def. 27 (Najlepszy estymator).
V aRSn
= 0,
n2
k=1
∼ F (n1 − 1, n2 − 1)
n2 −1
FXk:n = P (Xk:n < x) =
Statystyka Matematyczna
p
Uwaga: Jeżeli nie znamy p to przy konstruowaniu przedziału ufności zakładamy najgorszy przypadek p = 12
P
P
Tw. 17. X1 , . . . , Xn1 iid ∼ N (m1 , σ12 ) ∧ S12 = n11 (Xi − X)2 ∧ Y1 , . . . , Yn2 iid ∼ N (m2 , σ22 ) ∧ S22 = n12 (Yi − Y )2
n1 −1
SKN MS
15
MPWL nie zachodzi
SKN MS
Statystyka Matematyczna
L1
1
Statystyka Matematyczna
Tw. 21 (Rao-Blackwella). Jeżeli ĝ jest estymatorem nieobciążonym funkcji g(θ) i jeżeli T jest statystyką dostateczną dla
rodziny rozkładów P, to Eθ (ĝ|T ) jest estymatorem nieobciążonym o wariancji jednostajnie nie większej od wariancji ĝ.
d) Jeżeli Xn → X, EXn → EX to Xn → X,
P
SKN MS
1
e) Jeżeli Xn → X, to istnieje podciąg (Xnk ) taki, że Xnk → X.
Tw. 64. Jeżeli P jest rozkładem dyskretnym, to dla zmiennych losowych określonych na przestrzeni probabilistycznej (Ω, F, P )
zachodzi równoważność:
1
P
Xn → X ⇔ Xn → X.
Tw. 22 (Lehmanna-Scheffego). Dla dowolnego estymatora nieobciążonego S(X) parametru θ estymator postaci
Eθ S(X)|T
(gdzie T jest statystyką dostateczną zupełną) jest ENMW.
Def. 81. Rodzinę zmiennych losowych {Xt : t ∈ T } nazywamy jednostajnie całkowalną, jeżeli
lim sup E |Xt | · I{|Xt |>C} = 0.
Lem. 23. Dla dowolnego estymatora θ̂ jego błąd średniokwadratowy jest sumą jego wariancji i kwadratu obciążenia, tj.
Lem. 65. Jeżeli |Xt | ¬ Y dla t ∈ T , EY < ∞, to rodzina zmiennych losowych {Xt : t ∈ T } jest jednostajnie całkowalna.
Def. 33 (Funkcja informacji Fishera).
C→∞ t∈T
p
L
P
i) Xn → X,
p
ii) Rodzina {|Xn | } jest jednostajnie całkowalna.
Def. 82. Niech (µn )∞
n=1 będzie ciągiem rozkładów prawdopodobieństwa na (E, B(E)). Mówimy, że jest on słabo zbieżny do
rozkładu µ jeżeli dla każdej funkcji ciągłej i ograniczonej f : E → R zachodzi
Z
Z
lim
f dµn =
f dµ.
n→∞
E
E
Def. 83. Niech X, X1 , X2 , . . . będą zmiennymi losowymi o rozkładach µ, µ1 , µ2 , . . . odpowiednio. Mówimy, że ciąg (Xn ) jest
d
zbieżny według rozkładu do X, jeżeli ciąg (µn ) słabo zbiega do µ, co zapisujemy Xn → X.
Tw. 67. Następujące warunki są równoważne:
b) lim supn→∞ µn (F ) ¬ µ(F ) dla każdego domkniętego zbioru F ,
c) lim inf n→∞ µn (G) ­ µ(G) dla każdego otwartego zbioru G,
2
= n · Eθ
∂lnfi (Xi , θ)
∂θ
2
Lem. 25. Przy spełnionych założeniach nierówności Rao-Cramera zachodzi:
2
∂
I(θ) = −Eθ
ln fθ (X)
2
∂θ
Tw. 26 (Nierówność Rao-Cramera).
V ar θ̂n ­
1
I(θ)
Tw. 27. Niech będą spełnione założenia nierówności Rao-Cramera. Wtedy estymator nieobciążony o wariancji I(θ)−1 istnieje
⇐⇒
h
i
∂
ln fθ (x) = a(θ) θ̃(X) − θ
∂θ
Wtedy θ̃(X) jest ENMW dla θ oraz a(θ) = I(θ).
Def. 35 (Estymator najefektywniejszy). θ̂ : ∀θ
d) limn→∞ µn (B) = µ(B) dla każdego zbioru B takiego, że µ(∂B) = 0.
Tw. 68 (Scheffe). Niech µ będzie miarą σ-skończoną oraz funkcje fn i f będą nieujemne i takie, że miary
Z
Z
νn (A) =
fn dµ, ν(A) =
f dµ
A
∂lnf (X, θ)
∂θ
Def. 34 (Efektywność estymatora). Efektywnością estymatora θ̂ nazywamy funkcję
!−1
V arθ (θ̂)
1
efθ (θ̂) =
=
.
1
V arθ (θ̂) · I(θ)
I(θ)
a) Ciąg (µn ) słabo zbiega do µ,
A
są miarami probabilistycznymi. Niech ponadto fn → f p.n. względem miary µ. Wówczas
sup |νn (A) − ν(A)| → 0.
A
Mówimy wtedy, że miary νn zbiegają do miary ν w normie całkowitej wariancji.
Tw. 69. Niech µn , µ będą rozkładami ciągłymi o gęstościach fn , f odpowiednio. Jeżeli fn → f p.n. względem miary
Lebesgue’a, to ciąg rozkładów (µn ) słabo zbiega do rozkładu µ.
5.4.1
I(θ) = Eθ
Tw. 66. Xn → X dla p ­ 1 wtedy i tylko wtedy, gdy
5.4
E(θ̂ − θ)2 = V ar(θ̂) + (E(θ̂) − θ)2 .
Lem. 24. Jeżeli estymator jest nieobciążony to jego błąd średniokwadratowy (ryzyko) jest równe wariancji.
efθ (θ̂) = 1
Lem. 28. Jeśli estymator jest estymatorem najefektywniejszym to jest on również ENMW. (Implikacja odwrotna jest nieprawdziwa)
Def. 36 (Błąd standardowy estymatora). Błędem standardowym estymatora θ̂ parametru θ nazywamy dowolny estymator
jego odchylenia standardowego σ(θ̂) i oznaczamy go SE(θ̂).
Def. 37 (Estymator studentyzowany). Niech θ̂ będzie nieobciążonym estymatorem parametru θ. Wówczas studentyzowanym
estymatorem θ nazywamy wielkość
θ̂ − θ
.
SE(θ̂)
Def. 38 (Funkcja centralna). Funkcją centralną nazywamy funkcję t(X, θ), której rozkład nie zależy od θ i która dla każdego
X = x jest monotoniczną funkcją θ.
Def. 39 (Konstrukcja zbiorów ufności). Wyznaczamy stałe t1 , t2 takie, że Pθ (t1 ¬ t(X, θ) ¬ t2 ) = 1 − α.
t1 ¬ t(X, θ) ¬ t2 ⇐⇒ θ̂1 (X) ¬ θ ¬ θ̂2 (X)
Prawa wielkich liczb
Przedział hθ̂1 (X); θ̂2 (X)i jest przedziałem ufności dla θ na poziomie ufności 1 − α.
Słabe prawa wielkich liczb
Def. 84 (SPWL). Mówimy, że ciąg (Xn ) spełnia słabe prawo wielkich liczb, jeżeli ciąg zmiennych losowych ( n1 (Sn − ESn ))
jest zbieżny według prawdopodobieństwa do zera, tzn. dla kazdego ε > 0
Sn − ESn Sn − ESn >ε =0
¬ ε = 1.
lim P lim P n→∞
n→∞
n
n
Tw. 70 (PWL Bernoulliego). Jeżeli Sn = X1 + X2 + ... + Xn ma rozkład dwumianowy Bin(n, p), to dla każdego ε > 0
Sn
− p ¬ ε = 1.
lim P n→∞
n
14
Def. 40 (Przedział ufności). Para statystyk L(X), U (X) określa przedział ufności na poziomie ufności 1 − α, α ∈ (0, 1) ustalone.
1) Jeżeli Pθ [L(X) ¬ θ ¬ U (X)] ­ 1 − α to [L(X), U (X)] - przedział ufności dla θ na poziomie ufności 1 − α
2) Jeżeli Pθ [L(X) ¬ θ] ­ 1 − α to [L(X), +∞] - przedział ufności dla θ na poziomie ufności 1 − α
3) Jeżeli Pθ [θ ¬ U (X)] ­ 1 − α to [−∞, U (X)] - przedział ufności dla θ na poziomie ufności 1 − α
Def. 41 (Asymptotyczny przedział ufności). Przedział hg n ; g n i, gdzie g n = g(x1 , . . . , xn ) i g n = g(x1 , . . . , xn ), jest asymptotycznym przedziałem ufności dla g(θ) na poziomie 1 − α, jeżeli
∀θ∈Θ lim Pθ g n ¬ g(θ) ¬ g n ­ 1 − α
n→∞
7
SKN MS
2.3.2
Statystyka Matematyczna
Metody wyznaczania estymatorów
Def. 42 (Metoda momentów).
x = EX = f (θ) ⇒ θ = f −1 (x)
Def. 43 (Metoda największej wiarygodności).
f (x1 , . . . , xn , θ) = Πni=1 f (xi , θ)
∂ ln f (x1 , . . . , xn , θ)
θ̂ :
=0
∂θ
3
Testowanie hipotez statystycznych
Def. 44 (Test zrandomizowany). Test H0 : θ ∈ Θ0 przeciw H1 : θ ∈ Θ1 utożsamiamy z funkcją ϕ : (X) → h0; 1i taką że jeżeli
ϕ(x) = 0 to nie odrzucamy H0 , jeżeli ϕ(x) = 1 to odrzucamy H0 , a jeżeli ϕ(x) ∈ (0; 1), to uruchamiamy losowanie niezależne
od próby losowej X, w którym odrzucamy H0 z prawdopodobieństwem ϕ(x).
Def. 45 (Test niezrandomizowany).
SKN MS
Statystyka Matematyczna
Tw. 56 (O odwrotnym przekształceniu Fouriera). Rozkład prawdopodobieństwa µ, który ma całkowalną funkcję charakterystyczną ϕ, ma także ograniczoną i ciągłą gęstość f, daną wzorem
Z ∞
1
f (x) =
e−isx ϕ(s)ds.
2π −∞
Tw. 57. Jeżeli funkcja charakterystyczna ϕ zmiennej losowej X jest okresowa o okresie 2π, to X jest zmienną losową typu
dyskretnego, przyjmującą tylko wartości całkowite
Z π
1
P (X = k) =
e−itk ϕ(t)dt.
2π π
5.3
Zbieżności probabilistyczne
Def. 80. Ciąg zmiennych losowych (Xn )∞
n=1 jest zbieżny do zmiennej losowej X:
a) prawie na pewno, jeżeli
P {ω : lim Xn (ω) = X(ω)} = 1,
n→∞
ϕ : X → {0; 1}
1
co oznaczamy Xn → X,
Def. 46 (Obszar krytyczny testu).
W = {x ∈ X : ϕ(x) = 1}
b) według prawdopodobieństwa, jeżeli dla każdego ε > 0
Wtedy ϕ(x) = χW (x)
lim P (|Xn − X| > ε) = 0,
Def. 47. Test hipotezy H0 na poziomie istotności α jest to każdy test ϕ taki, że
∀θ∈Θ Eθ ϕ(X) ¬ α
Dla testu niezrandomizowanego
n→∞
P
co oznaczamy Xn → X,
b) według p-tego momentu (w Lp ), 0 < p < ∞, jeżeli E|X|p < ∞, E|Xn |p < ∞ dla n = 1, 2, . . . oraz
Eθ ϕ(X) = Pθ (X ∈ W )
lim E|Xn − X|p = 0,
n→∞
Lp
Def. 48 (Błąd I rodzaju). Odrzucenie prawdziwego H0
co oznaczamy Xn → X.
Tw. 58 (Warunek równoważny zbieżności prawie na pewno).
Def. 49 (Błąd II rodzaju). Przyjęcie fałszywego H0
Def. 50 (Poziom istotności; rozmiar testu). α = P {xn ∈ W |H0 } = P(I rodz.)
1
Xn → X
Def. 51. β = P {xn ∈ (X \ W |H1 } = P(II rodz.)
P∞
∀ε > 0 :
⇔
lim P
N →∞
sup |Xk − X| ­ ε
k­N
=0
1
Def. 52 (Moc testu). P {xn ∈ W |H1 } = M (W ) = 1 − β
Tw. 59. Jeżeli dla każdego ε > 0
Def. 53. Funkcja mocy testu jest to funkcja π : Θ → h0; 1i,
π(θ) = Eθ ϕ(X) , θ ∈ Θ1
Tw. 60. Jeżeli EXn2 < ∞, EX 2 < ∞ oraz
n=1
P (|Xn − X| ­ ε) < ∞, to Xn → X.
P∞
1
n=1
E(Xn − X)2 < ∞,to Xn → X.
Def. 54 (Test nieobciążony). Dla α ∈ (0, 1) P {xn ∈ W |H0 } = α ∧ P {xn ∈ W |H1 } > α
Tw. 61 (Twierdzenie o dwóch szeregach). Jeśli (X)n ) - niezależne zmienne losowe oraz
X
X
X
EXn < ∞
V aR Xn < ∞ ⇒
Xn zb. p.n.
Def. 55 (Test zgodny). limn→∞ P {xn ∈ W |H1 } = 1
Tw. 62 (Warunki Cauchy’ego). Zachodzą następujące warunki Cauchy’ego:
Tw. 29 (Porównanie mocy testów). Założenia: W, W ∗ ∈ X ∧ P {xn ∈ W ∗ |H0 } ¬ P {xn ∈ W |H0 }
Jeżeli M (W ∗ ) = P {xn ∈ W ∗ |H1 } ­ P {xn ∈ W |H1 } = M (W ) to test oparty na W ∗ jest jednostajnie mocniejszy od testu
opartego na W
3.1
Testy najmocniejsze
Def. 56 (Test najmocniejszy). Test, który minimalizuje β przy zadanym α
Lem. 30 (Neymana - Pearsona). Niech R będzie dowolnym zbiorem w X takim, że Pθ0 (R) ¬ α. Przypuśćmy że istnieje zbiór
(x)
­ K}, dla którego Pθ0 (R∗ ) = α. Wtedy Pθ1 (R∗ ) ­ Pθ1 (R).
R∗ ⊂ X, gdzie R∗ = {x : pp01 (x)
Lem. 31 (Wniosek z lematu Neymana-Pearsona). Jeśli β jest mocą testu najmocniejszego na poziomie α ∈ (0; 1) dla
H0 : P = P0 przeciw H1 : P = P1 , to β > α, chyba że P0 = P1 .
a)

1
Xn → X
⇔
∀ε > 0 :
lim P 
N →∞

|Xn − Xm | < ε = 1,
n,m­N
b)
P
Xn → X
⇔
∀ε > 0 :
Tw. 63. Zachodzą następujące implikacje:
1
P
Lp
P
a) Jeżeli Xn → X, to Xn → X,
b) Jeżeli Xn → X, to Xn → X,
Lp
lim P (|Xn − Xm | > ε) = 0.
n,m→∞
Lq
c) Jeżeli Xn → X, p ­ q to Xn → X,
8
\
13
SKN MS
5.1
Statystyka Matematyczna
Funkcje zmiennych losowych
Tw. 48. Jeżeli zmienna losowa X : Ω → (a, b), −∞ ¬ a < b ¬ ∞ ma rozkład o gęstości fX oraz ϕ : (a, b) → R jest klacy
C 1 oraz ϕ 6= 0. to zmienna losowa Y = ϕ(X) ma rozkład o gęstości
SKN MS
Statystyka Matematyczna
Def. 57 (Monotoniczny iloraz wiarygodności). Mówimy, że rodzina rozkładów {Pθ : θ ∈ Θ} jest rodziną rozkładów z monotonicznym ilorazem wiarygodności, jeżeli istnieje taka funkcja T (x), że dla θ0 > θ iloraz
pθ0 (x)
pθ (x)
0
fY (y) = fX (h(y))|h (y)|Iϕ(a,b) (y),
−1
gdzie h = ϕ
jest niemalejącą funkcją argumentu T (x).
.
Tw. 49. Załóżmy, że znamy gęstość fX,Y wektora dwuwymiarowego (X, Y ) oraz, że dany jest wektor (U, W ) = (ϕ1 (X, Y ), ϕ2 (X, Y )).
Zatem mamy
u = ϕ1 (x, y) x = φ1 (u, w)
w = ϕ2 (x, y) y = φ2 (u, w)
wtedy Jakobian J wyraża się wzorem
∂φ1
∂u
J = ∂φ1
∂u
∂φ1 ∂w ∂φ2 Tw. 32. Rodzina rozkładów o funkcji prawdopodobieństwa pθ (x) =
ilorazie wiarygodności.
Tw. 33. Jednoparametrowa rodzina wykładnicza pθ (x) = ec(θ)t(x)−b(θ) h(x) jest rodziną o monotonicznym ilorazie wiarygodności.
Tw. 34. Rodzina rozkładów jednostajnych U (0; θ), θ > 0 jest rodziną o monotonicznym ilorazie wiarygodności.
a) Dla weryfikacji H0 przeciw H1 istnieje test jednostajnie najmocniejszy określony jako:

 1 dla T (x) > k
c dla T (x) = k
ϕ(x) =

0 dla T (x) < k
∂w
fU,W (u, w) = |J| · fX,Y (φ1 (u, w), φ2 (u, w)).
gdzie stałe c, k są wyznaczone z warunku Eθ0 ϕ(X) = α.
s
λ
Tw. 50 (Addytywność rozkładu Gamma). Jeżeli Xi ∼ Γ(λ, si ) = χR++ Γ(s)
xs−1 e−λx to
b) Funkcja β(θ) = Eθ ϕ(X) = Pθ (T (x) > k) jest ściśle rosnąca w zbiorze w którym β(θ) < 1.
θXi ∼ Γ(λ, θsi )
X
Xi ∼ Γ(λ,
X
c) Dla każdego θ0 test zdefiniowany w a) jest jednostajnie najmocniejszy dla H00 : θ ¬ θ0 przeciw H10 : θ > θ0 na poziomie
istotności α0 = β(θ).
si )
d) Dla dowolnego θ < θ0 test z a) minimalizuje prawdopodobieństwo błędu I rodzaju β(θ) wśród wszystkich testów spełniających Eθ0 (X) = α.
i
5.2
θx (1 − θ)n−x , θ ∈ (0; 1) jest rodziną o monotonicznym
Tw. 35 (Test JNM dla monotonicznego ilorazu wiarygodności). Niech H0 : θ ¬ θ0 , H1 : θ > θ0 , a {pθ : θ ∈ Θ} jest rodziną
rozkładów z monotonicznym ilorazem wiarygodności. Wówczas:
natomiast funkcja gęstości wektora losowego (U, W ) wygląda następująco
oraz dla sumy
n
x
Funkcje charakterystyczne
Lem. 36 (Wniosek). Jeżeli {Pθ : θ ∈ Θ} jest rodziną wykładniczą o gęstościach
Def. 78 (Funkcja charakterystyczna). Funkcją charakterystyczną zmiennej losowej X : Ω → R nazywamy funkcję ϕX : R →
C, daną wzorem
ϕX (t) = EeitX
t ∈ R.
Tw. 51 (Własności funkcji charakterystytcznych). Niech ϕX będzie funkcją charakterystyczną zmiennej losowej X. Wtedy
1. ϕX (0) = 1
pθ (x) = ec(θ)T (x)−b(θ) h(x)
i jeżeli c(θ) jest funkcją ściśle rosnącą, to test JNM ϕ(x) ma postać jak w punkcie a powyższego twierdzenia. Jeśli c(θ) jest
funkcją ściśle malejącą to w definicji testu ϕ znaki nierówności zmieniają się na przeciwne.
3.2
Testy ilorazowe
Def. 58. Wiarogodnością hipotezy Hi (i = 0; 1) gdy zaobserwowano x nazywamy liczbę
2. |ϕX (t)| ¬ 1
LHi (x) = sup L(x; θ)
3. ϕX (t) = ϕX (−t)
θ∈Θi
Def. 59 (Iloraz wiarogodności). λ(x) =
4. ϕX (t) jest jednostajnie ciągła
Def. 79. Funkcję ϕ : R → C nazywamy dodatnio określoną wtedy i tylko wtedy, gdy dla każdego naturalnego n, dla każdego
ciągu t1 , ..., tn liczb rzeczywistych i zespolonych z1 , ..., zn mamy
X
ϕ(tk − tl )zk zl ­ 0.
k,l¬n
Tw. 52 (Bochnera). Funkcja ϕ jest funkcją charakterystyczną pewnego rozkładu prawdopodobieństwa wtedy i tylko wtedy,
gdy jest ciągła, dodatnio określona i ϕ(0) = 1.
n
Tw. 53. Jeśli E|X| < ∞, n ∈ N̄, to n-ta pochodna funkcji charakterystycznej
ponadto
(n)
ϕX (0) = in EX n .
(n)
ϕX
istnieje i jest jednostajnie ciągła, a
Tw. 54. Jeśli X, Y są niezależnymi zmiennymi losowymi, to
Def. 60 (Obszar krytyczny). W = {x : λ(x) > k} gdzie k jest takie, aby supθ∈Θ0 Pθ (λ(x) > k) = α. Jeśli z powodu
dyskretności rozkładu nie zachodzi powyższa równość, wtedy ustala się k 0 tak, aby Pθ (λ(x) > k 0 ) ¬ α < Pθ (λ(x) > k 0 − 1)
Tw. 37 (Rozkład ilorazu wiarogodności w dużych próbach). Przy następujących założeniach:
- X = X1 , . . . , Xn - próba losowa
- Θ ∈ Rs
- Hipoteza H0 oraz zbiór Θ0 określone przez układ liniowo niezależnych warunków postaci hj (θ) = 0 , j = 1, . . . , r
- θ0 6= θ00 ⇒ Pθ0 6= Pθ00
- L(X, θ) = pθ (X) dwukrotnie różniczkowalna w sposób ciągły względem θ
- supθ∈Θ0 L(X, θ) = L(X, θ̇)
oraz spełnionych warunkach regularności z nierówności Rao-Cramera, dla zmiennej losowej 2 ln λ(X) zachodzi:
ϕX+Y (t) = ϕX (t)ϕY (t).
Tw. 55. Jeśli rozkłady prawdopodobieństwa µ i ν na (R, B(R)) mają równe funkcje charakterystyczne, czyli ϕµ (t) = ϕν (t)
dla wszystkich t ∈ R, to µ = ν.
12
LH1 (x)
LH0 (x)
d
2 ln λ(X) → χ2r
gdzie λ(X) =
L(X,θ̂N W )
,
L(X,θ̇)
a r jest liczbą równań określających hipotezę H0 .
Obszar krytyczny testu ma wówczas postać {x : 2 ln λ(X) > k}, gdzie k jest kwantylem rzędu 1 − α rozkładu χ2r .
9