metoda najmniejszych kwadratów

Metoda najmniejszych
kwadratów
Przykład wstępny. W ekonomicznej teorii produkcji rozważa się funkcję produkcji Cobba–Douglasa:
z = ALα K β
gdzie z oznacza wielkość produkcji, L jest nakładem
pracy, K nakładem kapitału. Liczby A, α, β są pewnymi stałymi. Ekonomiści interesują się wielkościami
A, α i β. W celu oceny nieznanych wielkości prowadzone są obserwacje wielkości produkcji Zi przy różnych nakładach Li oraz Ki , przy czym zakłada się,
że obserwacje te obarczone są błędami losowymi εi ,
tzn.:
β
Zi = ALα
i = 1, . . . , n
i Ki + εi ,
Jako oszacowania nieznanych parametrów przyjmuje
się takie wartości, przy których błędy losowe są małe
n
X
i=1
ε2i =
n
X
β 2
K
(Zi − ALα
i
i ) = min!
i=1
..................................................
W Z Statmat 8.1
Obserwujemy zmienne losowe Y1 , . . . , Yn takie, że
EYi = gi (θ),
θ ⊂ Rk ;
S(θ) =
n
X
i = 1, . . . , n
gi : Θ → R1
(Yi − gi (θ))2
i=1
Definicja 8.1 Estymatorem najmniejszych kwadratów parametru θ (EM N K[θ]) nazywamy wielkość
minimalizującą S(θ).
ozn
Resztowa suma kwadratów (EM N K[θ] ===
θ̂)
S(θ̂) =
n
X
(Yi − gi (θ̂))2
i=1
W Z Statmat 8.2
Definicja 8.2 Modelem liniowym nazywamy model
statystyczny, w którym obserwacje Y1 , . . . , Yn mają
postać
Yi = β1 x1i + · · · + βp xpi + εi ,
i = 1, . . . , n
gdzie xji są ustalonymi liczbami, βj są nieznanymi
parametrami modelu, εi są niezależnymi „błędami
losowymi” takimi, że Eεi = 0 oraz D2 εi = σ 2 .
Zapis macierzowy
Y = Xβ + ε.
Y0 = (Y1 , . . . , Yn )
β0 = (β0 , β1 , . . . βp )
ε0 = (ε1 , . . . , εn )
x
··· x 
11
 x12
X=
 ..
.
x1n
p1
···
···
···
xp2 
.. 

.
xpn
Założenie: macierz X jest pełnego rzędu
W Z Statmat 8.3
Resztowa suma kwadratów
S(β) =
n
X
i=1

Yi −
p
X
2
βj xji 
j=1
= (Y − Xβ)0 (Y − Xβ)
= kY − Xβk2
Xβ jest rzutem Y na {Xβ : β ∈ Rp }
(Y − Xβ)0 X = 0
ozn
EM N K[β] = (X0 X)−1 X0 Y ===
β̂
Jeżeli c ∈ Rp , to
EM N K[c0 β] = c0 β̂
W Z Statmat 8.4
Przykład . Na podstawie obserwacji Y1 , . . . , Yn szacujemy wartość oczekiwaną µ. Model
Yi = µ + εi ,
i = 1, . . . , n
W zapisie macierzowym
β = µ,
X = 1n
EM N K[µ] = (X0 X)−1 X0 Y = Ȳ
..................................................
Przykład . Rozważmy model
Yi = xi1 µ1 + xi2 µ2 + εi ,
i = 1, . . . , n
przy czym
xi1 = 1, xi2 = 0 dla i = 1, . . . , n1
xi1 = 0, xi2 = 1 dla i = n1 + 1, . . . , n
Szacujemy różnicę µ1 − µ2 .
W Z Statmat 8.5
Zapis macierzowy
β0 = (µ1 , µ2 ),
X=
1n1
0n−n1
0n1
1n−n1
EM N K[β] = (X0 X)−1 X0 Y
−1 Pn1
n1 0
Pn i=1 Yi
=
0 n2
i=n1 +1 Yi
Pn1
1
Y
n1 P i=1 i
=
n
1
i=n1 +1 Yi
n−n1
Jeżeli c0 = (1, −1), to c0 β = µ1 − µ2
n1
1 X
1
EM N K[µ1 − µ2 ] =
Yi −
n1 i=1
n − n1
n
X
Yi
i=n1 +1
Jeżeli c0 = (1, 0), to c0 β = µ1
n1
1 X
EM N K[µ1 ] =
Yi
n1 i=1
..................................................
W Z Statmat 8.6
Twierdzenie 8.1 EM N K[β] jest estymatorem nieobciążonym o wariancji σ 2 (X0 X)−1
Definicja 8.3 Funkcję parametryczną c0 β nazywamy estymowalną, jeżeli istnieje jej estymator nieobciążony postaci b0 Y.
Twierdzenie 8.2 Funkcja parametryczna c0 β jest
estymowalna wtedy i tylko wtedy, gdy c ∈ ImX0
Twierdzenie 8.3 (Gaussa–Markowa) Jeżeli błędy
losowe ε1 , . . . , εn są nieskorelowanymi zmiennymi losowymi o zerowej wartości oczekiwanej i takiej samej
wariancji, to dla każdej estymowalnej funkcji parametrycznej c0 β i dla każdego nieobciążonego estymatora liniowego b0 Y tej funkcji zachodzi
D2 (c0 β̂) ≤ D2 (b0 Y),
∀β ∈ Rp
W Z Statmat 8.7
Estymacja wariancji σ 2
Resztowa suma kwadratów
kY − Xβ̂k2 = (Y − Xβ̂)0 (Y − Xβ̂)
= (Y − X(X0 X)−1 X0 Y)0 (Y − X(X0 X)−1 X0 Y)
= Y0 (I − X0 (X0 X)−1 X)(I − X(X0 X)−1 X0 )Y
= Y0 (I − X(X0 X)−1 X0 )Y
E kY − Xβ̂k2
= E Y0 (I − X(X0 X)−1 X0 )Y
= trE (I − X(X0 X)−1 X0 )YY0
0
−1 0
0
= tr (I − X(X X) X )E (YY )
= σ 2 tr(I − X(X0 X)−1 X0 )
= (n − rzX)σ 2
σ̂ 2 =
1
Y0 (I − X(X0 X)−1 X0 )Y
(n − rzX)
W Z Statmat 8.8
Przykład . Rozważamy model
Yi = µ + εi ,
i = 1, . . . , n
W zapisie macierzowym
β = µ,
X = 1n
W modelu rzX = 1
1
1
0
σ̂ =
Y (I − 1n 10n )Y
n−1
n
1
1
=
Y0 Y − (Y0 1n ) (10n Y)
n−1
n


!
2
n
n

1 X 2 1 X
=
Yi −
Yi

n−1
n
2
i=1
i=1
n
2
1 X
Yi − Ȳ
=
n − 1 i=1
..................................................
W Z Statmat 8.9
Przykład . Rozważmy model
Yi = xi1 µ1 + xi2 µ2 + εi ,
i = 1, . . . , n
przy czym
xi1 = 1, xi2 = 0 dla i = 1, . . . , n1
xi1 = 0, xi2 = 1 dla i = n1 + 1, . . . , n
Zapis macierzowy (n2 = n − n1 )
1n1
β0 = (µ1 , µ2 ), X =
0n2
0n1
1n2
W modelu rzX = 2
(n − 2)σ̂ 2
=Y
=
0
n1
X
i=1
1
I− n1
0n2
1
Yi −
n1
+
n
X
i=n1 +1
0n1
1n2
n1
X
n1 0
0 n2
!!2
Yi
−1 10n1
00n1
+
i=1
1
Yi −
n2
!
00n2
Y
10n2
n
X
!!2
Yi
i=n1 +1
..................................................
W Z Statmat 8.10
Przykład (praktyczny). Niech Y1 , Y2 , Y3 , Y4 będą
lotniczymi pomiarami kątów θ1 , θ2 , θ3 , θ4 pewnego
czworokąta na powierzchni ziemi. Zakładając, że obserwacje obciążone są niezależnymi błędami o zerowej wartości oczekiwanej i takiej samej wariancji σ 2 ,
wyznaczyć EM N K wielkości θ. Wyznaczyć nieobciążony estymator wariancji σ 2 .
Model
Y1
Y2
Y3
Y4
2π
= θ1 + ε1
= θ2 + ε2
= θ3 + ε3
= θ4 + ε4
= θ1 + θ2 + θ3 + θ4
Zapis macierzowy
Y0 = (Y1 , Y2 , Y3 , Y4 , 2π);
β0 = (θ1 , θ2 , θ3 , θ4 )
ε = (ε1 , ε2 , ε3 , ε4 , 0)


1 0 0 0
0 1 0 0


X = 0 0 1 0


0 0 0 1
1 1 1 1
W Z Statmat 8.11

0.8
 −0.2
(X0 X)−1 = 
−0.2
−0.2

0.8
 −0.2
(X0 X)−1 X0 = 
−0.2
−0.2

−0.2 −0.2 −0.2
0.8 −0.2 −0.2 

−0.2
0.8 −0.2
−0.2 −0.2
0.8

−0.2 −0.2 −0.2 0.2
0.8 −0.2 −0.2 0.2 

−0.2
0.8 −0.2 0.2
−0.2 −0.2
0.8 0.2
Estymatory kątów:
1
θ̂i ==
?= Yi + 5
2π −
4
X
!
Yi
,
i = 1, 2, 3, 4
i=1
Estymator wariancji:
1
σ̂ ==
?= 5
2
2π −
4
X
!2
Yi
i=1
W Z Statmat 8.12
Wiadomo, iż dany czworokąt jest równoległobokiem
takim, że θ1 = θ3 oraz θ2 = θ4 . Wyznaczyć EMNK
kątów i estymator wariancji σ 2 .
Model
Y 1 = θ1 + ε1
Y 2 = θ2 + ε2
Y 3 = θ3 + ε3
Y 4 = θ4 + ε4
2π = θ1 + θ2 + θ3 + θ4
0 = θ1 − θ3
0 = θ2 − θ4
Zapis macierzowy
Y0 = (Y1 , Y2 , Y3 , Y4 , 2π, 0, 0);
β0 = (θ1 , θ2 , θ3 , θ4 )
ε = (ε1 , ε2 , ε3 , ε4 , 0, 0, 0)


1 0 0 0
0 1 0 0


0 0 1 0


X = 0 0 0 1


1
1
1
1




1 0 -1 0
0 1 0 -1
..................................................
W Z Statmat 8.13
Przykład (Regresja liniowa). Model
Yi = β0 + β1 xi + εi , i = 1, . . . , n,
εi są niezależnymi zmiennymi losowymi
D 2 εi = σ 2 ,
Eεi = 0,
i = 1, . . . , n
Znaleźć takie β0 i β1 by
n
X
(Yi − (β0 + β1 xi ))2 = min
i=1
Zapis macierzowy
Y0 = (Y1 , . . . , Yn ); β0 = (β0 , β1 ); ε0 = (ε1 , . . . , εn )
X0 =
1
x1
···
···
n
X0 X = P
xi
1
xn
P P x2i
xi
W Z Statmat 8.14
(X0 X)−1
P 2
Pxi
= P 2
P 2
n xi − ( xi ) − xi
1
−
P
xi
n
P
Y
X0 Y = P i
xi Yi
β̂0
β̂1
= EM N K




1
n
P
β0
β1
= (X0 X)−1 X0 Y =
P
P

x
Y
(
)(
)
i
i
P
P 2
Yi − n1 ( xi )

( xi )

P
P
P

1
xi Yi − n
xi )(
Yi )
(
P 2 1 P 2
xi − n (
xi )
P
P
1
xi Yi − n
1
x2i − n

P

 β̂1 = Pxi yi − nx̄Ȳ
x2i − nx̄2


β̂0 = Ȳ − β̂1 x̄
..................................................
W Z Statmat 8.15
Rozkłady prawdopodobieństwa estymatorów
Y = Xβ + ε.
β0 = (β0 , β1 , . . . βp )
ε0 = (ε1 , . . . , εn ) ∼ Nn (0, σ 2 In )
β̂ = (X0 X)−1 X0 Y
s2 = σ̂ 2 =
1
Y0 (I − X(X0 X)−1 X0 )Y
(n − rzX)
Twierdzenie 8.4 Jeżeli Y ∼ Nn (Xβ, σ 2 In ) oraz
rzX = p, to
1. β̂ ∼ Np (β, σ 2 (X0 X)−1 )
2. (β̂ − β)0 X0 X(β̂ − β) ∼ σ 2 χ2p
3. β̂ jest niezależne od s2
4. (n − p)s2 ∼ σ 2 χ2n−p
W Z Statmat 8.16