Ekonometria - Cwiczenia nr 2

Transkrypt

KMNK – przypomnienie
Mierniki dopasowania modelu
Test istotności zmiennych
Współliniowość
Poprawna specyfikacja modelu
Ekonometria
Ćwiczenia nr 2
Jakub Mućk
Katedra Ekonomii Ilościowej
Jakub Mućk
Ekonometria
Ćwiczenia 2
Weryfikacja liniowego modelu jednorównaniowego
1 / 28
Współliniowość
Agenda
1
Estymator MNK
Twierdzenie Gaussa -Markowa
Estymator macierzy wariancji-kowariancji
2
Współczynnik R2
Kryteria informacyjne
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Test Davidsona-McKinnona
Jakub Mućk
Ekonometria
Ćwiczenia 2
2 / 28
Współliniowość
Agenda
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
2 / 28
Współliniowość
Agenda
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
2 / 28
Współliniowość
Agenda
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
2 / 28
Współliniowość
Agenda
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
2 / 28
Współliniowość
Estymator MNK
Outline
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
3 / 28
Współliniowość
Estymator MNK
Oznaczenia
Zapis ogólny:
y = β0 + β1 x1 + β2 x2 + . . . + βk xk + (1)
y = Xβ + ε
(2)
Zapis macierzowy
gdzie
y1
 y2 

y=
 ... 
yn


1
 1
X=
 ...
1

β0
 β1 

β=
 ... 
βk


x1,1
x2,1
..
.
xn,1
...
...
..
.
...
x1,2
x2,2
..
.
xn,2
x1,k
x2,k 
.. 

.
xn,k

ε1
 ε2 

ε=
 ... 
εn


k – liczba zmiennych objaśniających; n – liczba obserwacji.
Jakub Mućk
Ekonometria
Ćwiczenia 2
4 / 28
Współliniowość
Estymator MNK
Estymator MNK
Załóżmy, że badane zjawisko można opisać modelem postaci [lub prawdziwy proces
generujący zmienną y jest następujący]:
y = β0 + β1 x1 + β2 x2 + ... + βk xk + ε
(3)
Nieznane parametry można uzyskać przy pomocy Metody Najmniejszych Kwadratów (OLS – ordinary least squares). Idea tej metody polega na znalezieniu
takich wartości nieznanego wektora parametrów β, który minimalizują sumę kwadratów reszt, czyli różnic pomiędzy wartościami obserwowanymi a teoretycznymi:
β̂ = arg min eT e
(4)
β
gdzie e = y − ŷ = y − Xβ̂.
Ostatecznie estymator OLS (MNK) dla wektora β:
β̂ OLS = (XT X)−1 XT y
(5)
Szczegóły
β a β̂
β oznacza nieznany i prawdziwy wektor parametrów, a β̂ jest oszacowaniem
punktowym wektora parametrów.
Jakub Mućk
Ekonometria
Ćwiczenia 2
5 / 28
Współliniowość
Estymator MNK
Załóżmy:
1
rz(X) = k + 1 ≤ n
2
Zmienne xi są nielosowe, a zatem są niezależne od składnika losowego
3
E() = 0
D2 (ε) = E(εεT ) = I σ
εi ∼ N (0, σ 2 )
4
5
Twierdzenie Gaussa - Markowa
Estymator β̂ uzyskany Klasyczną Metodą Najmniejszych Kwadratów jest
estymatorem BLUE [best linear unbiased estimator], tj. zgodnym, nieobciążonym i najefektywniejszy w klasie liniowych estymatorów wektora β.
nieobciążoność, czyli E(β̂) = β
najefektywniejszy, czyli posiadający najmniejszą wariancję w swojej klasie
zgodny, czyli limn→∞ P(|β̂n − β|) < δ
Jakub Mućk
Ekonometria
Ćwiczenia 2
6 / 28
Współliniowość
Estymator MNK
Interpretacja
Załóżmy, że oszacowaliśmy parametry modelu ekonometrycznego:
ŷ = β̂0 + β̂1 x1 + β̂2 x2 + . . . + β̂k xk
(6)
Interpretacja:
Wzrost xi o jednostkę powoduje wzrost y o βi ceteris paribus
jednostek.
Uwagi:
Należy pamiętać o zasadzie ceteris paribus.
Oszacowanie wyrazu wolnego zazwyczaj nie ma interpretacji ekonomicznej
(dlaczego?).
Pułapka przyczynowości.
Jakub Mućk
Ekonometria
Ćwiczenia 2
7 / 28
Przykład
[Greene, 2003] Funkcja konsumpcji została oszacowana dla gospodarki
amerykańskiej w latach 1970-1979. Wydatki konsumpcyjne (C ) są objaśniane
dochodem do dyspozycji (Y ) [obie zmienne w mln USD w cenach bieżących]:
Ĉ = −67.58 + 0.979Y
(7)
900
0.53924
2.4815
2.6814
800
Konsumpcja
850
8.5299
−9.78
750
−11.291
−9.3407
700
11.181
1.3359
3.6636
750
800
850
900
950
Dochod
Obserwowane wartości, wartości teoretyczne, reszty.
1000
Współliniowość
Estymator MNK
Estymacja błędów szacunku
W przypadku MNK, możemy wyznaczyć estymator macierzy wariancji-kowariancji
dla parametrów β̂ OLS :
D̂2 (β̂ OLS ) = S2ε (XT X)−1
(8)
gdzie
S2 =
SSE(β̂ OLS )
εT ε
=
n − (k + 1)
df
(9)
gdzie SSE(β̂ OLS ) to suma kwadratów reszt, a df to liczba stopni swobody.
Element diagonalne macierzy wariancji-kowariancji (oznaczmy jako d̂ii ), stanowią wariancję estymowanych parametrów. Zatem błąd szacunku dla
i-tego parametru jest równy:
√
S(β̂i ) = dii
(10)
Względny błąd szacunku
S(β̂i ) β̂i Jakub Mućk
Ekonometria
Ćwiczenia 2
(11)
9 / 28
Współliniowość
Współczynnik R2
Outline
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
10 / 28
Współliniowość
Współczynnik R2
Współczynnik determinacji R2
Współczynnik determinacji R2 pozwola zmierzyć jaką częścią zmienności (wariancji) zmiennej objaśnianej jest wyjaśniana zmiennością
wartości teoretycznych wynikających z modelu.
n
X
R2 =
(ŷi − ȳ)2
i=1
n
X
(12)
2
(yi − ȳ)
i=1
gdzie:
yi - empiryczna (obserwowana) wartość zmiennej y dla i-tej obserwacji,
ŷi - teoretyczna wartość zmiennej y dla i-tej obserwacji,
ȳ - średnia wartość zmiennej objaniającej.
Zazwyczaj R2 ∈ (0, 1)
Konstrukcja współczynnika determinacji R2 posiada dwa mankamenty:
i) faworyzuje modele z większą liczbą zmiennych egzogenicznych
ii) jego konstrukcja opiera się o uwzględnienie wyrazu wolnego w modelu.
Jakub Mućk
Ekonometria
Ćwiczenia 2
11 / 28
Współliniowość
Współczynnik R2
2
Niescentrowany współczynnik RN
W przypadku, gdy w specyfikacji modelu ekonometrycznego nie uwzględniono wyrazu wolnego, współczynnik R2 może przyjmować wartości powyżej
jedności.
2
Rozwiązaniem tego problemu jest niescentrowany RN
:
2
RN
=1−
eeT
yyT
(13)
e - wektor reszt.
y - wektor obserwacji zmiennej endogenicznej.
2
RN
∈< 0, 1 >
2
Interpretacja: większa wartość RN
oznacza większa rola zmiennych egzogenicznych w wyjaśnianiu zmienności zmiennej objaśnianej.
Jakub Mućk
Ekonometria
Ćwiczenia 2
12 / 28
Współliniowość
Współczynnik R2
Skorygowany współczynnik R̄2
Współczynnik determinacji R2 zawsze będzie faworyzował modele z
większą liczbą zmiennych.
W porównaniu z podstawowym współczynnikiem R2 , skorygowany współczynnik R̄2 uwzględnia również liczbę stopni swobody:
R̄2 = R2 −
k
(1 − R2 )
n − (k + 1)
(14)
Skorygowany współczynnik R2 przyjmuje zazwyczaj niższe wartości:
R̄2 ≤ R2
(15)
w szczególności możliwe jest przyjmowanie wartości poniżej 0.
R̄2 jest pozbawiony standardowej interpretacji.
Jakub Mućk
Ekonometria
Ćwiczenia 2
13 / 28
Współliniowość
Współczynnik R2
Wartości wpółczynnika R2
Typowe wartości R2 zależą od rodzaju danych empirycznych, tj. :
Dane makroekonomiczne oparte na surowych (poziomach) szeregach czasowych: R2 > 0.9
Dane makroekonomiczne oparte na przyrostach szeregów czasowych:
R2 ∈ (0.7, 0.9)
Dane przekrojowe o wyższym poziomie agregacji: R2 ∈ (0.3, 0.7)
Dane przekrojowe dla jednostek indywidualnych: R2 ∈ (0.05, 0.4)
Jakub Mućk
Ekonometria
Ćwiczenia 2
14 / 28
Współliniowość
Współczynnik R2
Kryterium Akaike’a
Kryterium Akaike’a (AIC) jest miernikiem, który uwzględnia zarówno dopasowanie do obserwacji (funkcja wiarygodności) oraz liczbę stopni swobody:
AIC =
ln
1
n
n
X
ei2
+
i=1
|
{z
2(k + 1)
n
(16)
| {z }
}
funkcja wiarygodności
liczba stopni swobody
gdzie n to liczba obserwacji, k + 1 to liczba oszacowanych parametrów oraz ei to
reszta dla i-tej obserwacji.
Kryterium AIC maleje wraz ze wzrostem funkcji wiarygności oraz rośnie wraz ze
wzrostem liczby parametrów.
Kryterium AIC nie posiada interpretacji i jest wykorzytywane do porównania dopasowania modeli.
W większośći pakietów ekonometryczny dostępne są inne kryteria informacyjne,
jak np. bayesowskie kryterium Schwarza (BIC ), Hannana-Quinna (HQ). Kryteria
te różnią się od AIC, ponieważ w większym stopniu uwzględniają liczbę stopni
swobody. Ogólnie:
AIC ≤ HQ ≤ BIC
(17)
Jakub Mućk
Ekonometria
Ćwiczenia 2
15 / 28
Współliniowość
Współczynnik R2
Mierniki dopasowania modelu ekonometrycznego do danych
Miernik
Opis
R2
Ogólny miernik, interpretacja, rośnie wraz z liczbą
zmiennych
uwzględnia korektę na liczbę zmiennych, porównanie modeli
model bez wyrazu wolnego
uwzględnia korektę na liczbę zmiennych, porównanie modeli
Skorygowany R2
Niescentrowany R2
Kryterium AIC
Powyższe mierniki kwantyfikują jedynie dopasowanie modelu do
obserwowanych danych. Wspomniane dopasowanie do danych ma
charekter informacyjny i nie stanowi głównego kryterium w wyborze modelu.
Jakub Mućk
Ekonometria
Ćwiczenia 2
16 / 28
Współliniowość
Błąd I rodzaju
Test t-Studenta
Test Walda
Outline
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
17 / 28
Współliniowość
Błąd I rodzaju
Test t-Studenta
Test Walda
Błąd I i II rodzaju a p-value
Zgodnie z zasadami wnioskowania statystycznego można wyróżnić dwa ryzyka wynikające z wykorzystania testów statystycznych, których konstrukcja opiera się na
klarownie sformułowanych hipotezach: zerowej (H0 ) oraz alternatywnej (H1 ):
Błąd pierwszego rodzaju
to odrzucenie H0 , która w rzeczywistości jest prawdziwa.
Błąd drugiego rodzaju
to przyjęcie H0 , która w rzeczywistości jest fałszywa.
W pakietach ekonometryczno-statystycznych szeroko stosowane jest p-value, które
mierzy prawdopobieństwo błędu pierwszego rodzaju.
W praktyce ekonometrycznej nie rozważa się minimalizacji obu ryzyk i wnioskowanie statystyczne jest najczęściej przeprowadzane na podstawie analizy prawdopodobieństwa błędu pierwszego rodzaju.
Poziom krytyczny oznacza arbitralnie wybrany poziom prawdopodobieństwa błędu
I rodzaju, który można uznać za akceptowalny. Najczęściej jest równy: 0.01, 0.05
lub 0.1.
Jakub Mućk
Ekonometria
Ćwiczenia 2
18 / 28
Współliniowość
Błąd I rodzaju
Test t-Studenta
Test Walda
Test t-Studenta
Test t-studenta pozwala zweryfikować istotność oszacowania parametru dla
każdej zmiennej objaśniającej (xj ) osobno, tj.:
H0 : βj = 0
H1 : βj 6= 0
(18)
Statystyka testowa:
tj =
β̂j
S(β̂i )
(19)
gdzie β̂j to oszacowanie punktowe parametru βj , a S(β̂i ) to błąd szacunku.
Statystyka testowa testu t-studenta jest odwrotnością względnego błędu szacunku.
Wartości krytyczne pochodzą z rozkładu t-studenta i można je uzyskać dla
określonej liczby stopni swobody (df = n − (k + 1)) oraz przyjętego
poziomu krytycznego (α).
Jeżeli |tj | > t df ,α - to dorzucamy H0 na rzecz H1 .
Jeżeli |tj | < t df ,α - to nie ma podstaw do odrzucenia H0 na rzecz H1 .
Jakub Mućk
Ekonometria
Ćwiczenia 2
19 / 28
Współliniowość
Błąd I rodzaju
Test t-Studenta
Test Walda
Test Walda
Łączna istotność oszacowań parametrów może być weryfikowana przy pomocy testu Walda, tj.:
H0 :
β1 = β2 = . . . = βk
=0
(20)
H1 :
∃j∈{1,...,k} βj
6= 0
(21)
Statystyka testowa:
F=
(1 −
R2 /k
− (k + 1))
R2 )/(n
(22)
Statystyka testowa F ma rozkład F-Snedecora z r1 = k oraz r2 = n − (k + 1)
stopniami swobody.
Jeżeli F > F r1 ,r2 ,α - to dorzucamy H0 na rzecz H1 .
Jeżeli F < F r1 ,r2 ,α -to nie ma podstaw do odrzucenia H0 na rzecz H1 .
Jakub Mućk
Ekonometria
Ćwiczenia 2
20 / 28
Współliniowość
Błąd I rodzaju
Test t-Studenta
Test Walda
Test Walda
Test Walda umożliwia przede wszystkim szersze testowanie restrykcji liniowych.
H0 : R × β = q
(23)
Macierz restrykcji R jest wymiarów r × (k + 1), gdzie r to liczba restrykcji. Restrykcje są zapisywane wierszowo, a test Walda pozwala na weryfikację koniunkcji
wszystkich restrykcji.
Statystyka testowa:
F=
(SSE(β̂) − SSE(β̂ R ))/r
SSE(β̂)/(n − (k + 1))
(24)
ma rozkład F-Snedecora z r1 = r oraz r2 = n − (k + 1).
SSE(β̂ R ) - jest sumą kwadratów reszt modelu z restrykcjami;
SSE(β̂) - jest sumą kwadratów reszt modelu bez restrykcji;
Przykłady wykorzystania testu Walda:
Weryfikowanie restrykcji ekonomicznych.
Test pominiętych zmiennych.
Jakub Mućk
Ekonometria
Ćwiczenia 2
21 / 28
Współliniowość
Błąd I rodzaju
Test t-Studenta
Test Walda
Przykłady zapisu macierzowego w teście liniowych restrykcji Walda
Przykład #1: test Walda na istotność zmiennych w modelu:
 0
 0
R= .
.
.
0
1
0
..
.
0
0
1
..
.
0
...
...
..
.
...
0
0
..
.
1
 0 
 oraz q =  0 

 .. 

.
0
Przykład #2: załóżmy, że mamy cztery zmienne egzogeniczne oraz
1
2
3
β1 = β3
β2 = ν
β1 + β4 = γ.
Wtedy:
"
R=
Jakub Mućk
Ekonometria
0
0
0
1
0
1
0
1
0
Ćwiczenia 2
−1
0
0
0
0
1
#
"
oraz
q=
0
ν
γ
#
22 / 28
Współliniowość
Outline
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
23 / 28
Współliniowość
Współliniowość deterministyczna to sytuacja, w której jedna ze zmiennych
objąśniających może zostać przedstawiona jako kombinacja liniowa pozostałych regresorów. Wówczas niemożliwe jest uzyskanie estymatora β OLS .
Współliniowość stochastyczna polega na wysokiej zależności statystycznej pomiędzy zmiennymi objaśniającymi.
Problem współliniowości (stochastycznej) może powodować zwiększenie wariancji
estymatora MNK (zmniejszenie efektywności).
Współliniowość może zostać zidentyfikowana przy pomocy czynnika inflacji wariancji CIW (ang. Variance Inflation Factor). Dla każdej ze zmniennych
objaśniających konstruowany jest model xj , w którym zmienną objaśnianą jest ona
sama, a zmiennymi objaśniającymi pozostałe zmienne z wyjściowego zbioru regresorów, czyli:
∀j∈J−{j} xj = β0 + β1 x1 + ... + βJ xJ + ε
(25)
Dla każdego modelu jest obliczany współczynnik determinacji R2 , a następnie
CIWj :
1
(26)
CIWj =
1 − Rj2
Wartości CIW powyżej 10 sugerują problem współliniowości. Wtedy R2
z regresji pomocniczej jest większe od 0.9.
Jakub Mućk
Ekonometria
Ćwiczenia 2
24 / 28
Współliniowość
Współliniowość– rozwiązanie
W przypadku współlniowości kluczowa jest identyfikacja źródeł tego problemu, tj. czy wynika z jakości danych czy też specyfikacji modelu ekonometrycznego.
Brak zmian.
Usunięcie zmiennych współliniowych zmiennych objaśniającyh.
Usunięcie zmiennych objaśniających z specyfikacji modelu może doprowadzić do obciążenia oszacowań parametrów uzyskanych MNK.
Transformacja zmiennych objaśniających.
Wykorzystanie regresji grzbietowej (ridge regression):
β̂ RIDGE = (XT X + λI )−1 XT y
(27)
gdzie λ to skalar a I to macierz jednostkowa.
Estymator regresji grzbietowej β̂ RIDGE jest obciążony, ale posiada mniejszą wariancję (jest bardziej efektywny) niż β̂ OLS .
Jakub Mućk
Ekonometria
Ćwiczenia 2
25 / 28
Współliniowość
Test RESET
Outline
1
Estymator MNK
2
Współczynnik R2
3
Błąd I rodzaju
Test t-Studenta
Test Walda
4
Współliniowość
5
Test RESET
Jakub Mućk
Ekonometria
Ćwiczenia 2
26 / 28
Współliniowość
Test RESET
Test poprawnej specyfikacji modelu Ramseya RESET (ang. Regression Equation
Specification Error Test) jest ogólnym testem, który pozwala zidentyfikować niepoprawną postać funkcyjną modelu ekonometrycznego.
Rozważmy standardowy model regresji liniowej:
y = β0 + β1 x1 + β2 x2 + . . . + βk xk + ε
(28)
W drugim kroku, obliczmy wartości teoretyczne, tj.
ŷ = βˆ0 + β1 x1 + β̂2 x2 + . . . + β̂k xk
(29)
W kolejnym kroku, rozważmy model (28) rozszerzonego o kwadraty i iloczyny wartości teoretycznych ŷ:
y = γ0 + γ1 x1 + . . . + γk xk + γk+1 ŷ 2 + γk+2 ŷ 3 + ε
(30)
Następnie przy pomocy testu Walda, zweryfikujmy istostność oszacowań parametrów γk+1 oraz γk+1 . Hipoteza zerowa oznacza poprawną postać funkcyjną
modelu:
H0 : γk+1 = γk+2 = 0
(31)
Statystyka testu RESET ma rozkład F-Snedecora.
W przypadku dużej liczby stopni swobody, warto również testować nieliniowy wpływ poszczególnych zmiennych objąśniających (tj. przez uwzględnienie kwadratów i sześcianów) oraz interakcje pomiędzy tymi zmiennymi (ich
iloczyny).
Alternatywna statystyka testu RESET jest równa nR2 , gdzie współczynnik determinacji jest obliczany z modelu (30). Alternatywna statystyka ma rozkład χ2 z
liczbą stopni swobody równej liczbie dodanych zmiennych.
Jakub Mućk
Ekonometria
Ćwiczenia 2
27 / 28
Współliniowość
Test RESET
Test Davidsona-McKinnona pozwala na porównanie dwóch modeli, które:
1 tłumaczą tę samą zmienną objaśniającą,
2 posiadają identyczną postać funkcyjną,
3 posiadają rozłączne zbiory zmiennych objaśniających.
Rozważmy dwa modele:
model A:
y
=
β0 + β1 x1 + β2 x2 + . . . + βk xk + ε
model B:
y
=
γ0 + γ1 z1 + γ2 z2 + . . . + γk zk + η
Szacujemy wektory parametrów, tj β̂ oraz γ̂.
Wyznaczamy wartości teoretyczne zmiennej objaśnianej z modeli A i B, tj. ŷ A oraz
ŷ B . Wyznaczone wartości teoretyczne dołączamy do konkurencyjnego modelu, tj.
model A:
y
=
β0 + β1 x1 + β2 x2 + . . . + βk xk + βk+1 ŷ B + ε
model B:
y
=
γ0 + γ1 z1 + γ2 z2 + . . . + γk zk + γk+1 ŷ A + η
Sprawdzamy czy parametr przy wartości teoretycznej z konkurencyjnego modelu
jest statystycznie istotny (np. czy βk+1 w modelu A).
W przypadku, gdy oszacowanie parametru nie jest istotne statystycznie, to wówczas
model jest kompletny względem swojego konkurenta (np. jeżeli βk+1 nie jest statystycznie
istotne, to model A jest kompletny względem modelu B)
Korzystając z testu Davidsona-Mackinnona należy sprawdzić kompletność modeli w
obu wariantach. Może się okazać, że oba modele są (nie)kompletne względem siebie
i wtedy test nie jest konkluzywny.
Jakub Mućk
Ekonometria
Ćwiczenia 2
28 / 28

Ekonometria - Cwiczenia nr 2

Transkrypt

Podobne dokumenty

PEG003 - zagadki Sfinksa

ĆWICZENIA 4. CHARAKTERYSTYKI LICZBOWE WIELO

lista tytułów w pdf

ćwiczenia z rachunku prawdopodobieństwa matematyka, III rok lista

cennik - KrokDalej

Ekonometria - Wprowadzenie do modelowania ekonometrycznego

Łomża Test humanistyczny (klucz)

Mierniki pradu elektrycznego