(Microsoft PowerPoint - MJ prezentacja I zajecia.ppt [tryb zgodno

Modelowanie wielopoziomowe
wstęp
Maciej Jakubowski
Artur Pokropek
październik 2008
Plan dzisiejszych zajęć
1)
Co to są dane wielopoziomowe? Dlaczego dane
edukacyjne?
2)
Co to jest modelowanie wielopoziomowe? Jakiego rodzaju
modele są stosowane w praktyce? Zalety i wady modeli
wielopoziomowych
3)
Charakterystyka baz danych, z których będziemy korzystać:
PISA, baza EWD-CKE, baza CKE-PENTOR
4)
Oprogramowanie
5)
Literatura
2
Co to są dane wielopoziomowe?
ZałóŜmy, Ŝe interesuje nas wpływ poglądów politycznych w rodzinie na
decyzje zawodowe jej członków
Losujemy z populacji próbę gospodarstw domowych
W kaŜdym gospodarstwie losujemy lub zapraszamy do badania wszystkich
członków gospodarstwa
Jak pogrupowane są te dane?
Jaka jest liczba unikalnych statystycznie obserwacji?
Czy poglądy polityczne i zawodowe róŜnić się będą bardziej między
rodzinami (gospodarstwami domowymi) czy między członkami rodzin
(osobami)
Czy jeśli chcielibyśmy kontrolować wiek respondentów (przypuszczając,
Ŝe ma kluczowy wpływ zarówno na poglądy jak i pozycję zawodową), to
będzie on wyjaśniał róŜnice wewnątrz rodzin czy między osobami?
Czy badane zaleŜności zachodzą między rodzinami czy wewnątrz rodzin?
3
Co to są dane wielopoziomowe?
ZałóŜmy, Ŝe interesuje nas wpływ metod nauczania na wyniki uczniów
Losujemy z populacji próbę szkół
W kaŜdej szkole losujemy 2 klasy
W kaŜdej klasie losujemy 20 uczniów
Jak pogrupowane są te dane?
Jaka jest liczba unikalnych statystycznie obserwacji?
Czy metody nauczania będą się róŜnić między szkołami, klasami, czy
uczniami? Czy wyniki uczniów będą się róŜnić między szkołami, klasami,
czy uczniami?
ZałóŜmy, Ŝe chcemy kontrolować wpływ wieku nauczycieli. Czy będzie on
się róŜnił między szkołami, klasami, czy uczniami?
Czy wyniki uczniów zaleŜy od cech szkół, klas, czy uczniów (osób i ich
rodzin)?
Czy wpływ metod nauczania na wyniki uczniów zaleŜy od cech szkół,
klas, czy uczniów (osób i ich rodzin)?
4
Jak tworzone są zbiory danych
wielopoziomowych?
losowanie z populacji szkół
szkoła 27
losowanie klas
klasa A
szkoła 53
losowanie klas
klasa C
klasa D
klasa E
5
Jak tworzone są zbiory danych
wielopoziomowych?
cała populacja szkół i uczniów
jako próba z „superpopulacji” szkół i uczniów
szkoła 27
wszystkie klasy i uczniowie
szkoła 53
wszystkie klasy i uczniowie
6
Dlaczego dane edukacyjne?
Współczesne badania edukacyjne najczęściej opierają się o
losową próbę uczniów lub dane dla całej populacji szkół i uczniów
Jeśli mamy do czynienia z próbą uczniów to nie jest to nigdy (w
kaŜdym razie nie znamy takiego przypadku) prosta próba losowa
to byłoby zbyt kosztowne, bardzo skomplikowane organizacyjnie
nie moŜna badać procesów wewnątrzszkolnych
znacznie taniej jest wylosować próbę szkół, a potem uczniów lub
całych klas
wtedy moŜemy badać procesy wewnątrzszkolne, ew. takŜe
róŜnice między klasami (nauczycielami)
Dane edukacyjne mają prawie zawsze strukturę
wielopoziomową (hierarchiczną)
7
dlaczego struktura danych ma znaczenie?
uczniowie w szkołach są podobni do siebie, poniewaŜ:
procesy selekcji i segregacji w systemie szkolnym
pozaszkolne róŜnice między osiedlami, miejscowościami, regionami
uczeni są przez tym samych nauczycieli, uŜywając tych samych metod,
podręczników itp.
efekty rówieśników, motywacja, klimat szkolny – bardzo silne, choć mało
poznane czynniki
jeśli badamy cechy na poziomie szkół (klas, nauczycieli) to mamy
tak naprawdę tyle obserwacji, co szkół (klas, nauczycieli)
dane o uczniach pomagają jednak zwiększyć precyzję przez
uwzględnienie ich cech
zastosowanie zwykłych metod do danych o uczniach
pogrupowanych w szkołach często prowadzi do błędnych
interpretacji
8
Poziomy analizy w Polsce
poziom regionu
dane makroekonomiczne i społeczne (BDR GUS)
poziom powiatu
zarządzanie szkolnictwem średnim, dane o
bezrobociu itp. (BDR GUS)
poziom gminy
zarządzanie przedszkolami i szkolnictwem
podstawowym oraz gimnazjalnym (BDR GUS)
miejscowość/osiedle cechy społeczne i ekonomiczne, w Polsce
dane tylko dla miejscowości = gmina/powiat
szkoła
główny poziom analizy, dane SIO, agregaty z danych
egzaminacyjnych
klasa
agregaty z danych egzaminacyjnych,
potencjalnie dane o nauczycielach (kwestionariusze)
uczeń
pomiar umiejętności, kwestionariusze ucznia i rodziców
wielokrotne pomiary dla tego samego ucznia dane dopiero powstają
9
Modelowanie wielopoziomowe
Opierają się na modelu regresji liniowej, mają korzenie w ANOVA
Wiele nazw:
- Hierarchical Linear Models (HLM)
- Multilevel models
- Mixed models
- Random Effects (intercept, coefficient) models
- Growth models, Latent (curve) variable models – np. dla danych z
wielokrotnym pomiarem umiejętności uczniów
Modele wielopoziomowe dominują w socjologii i badaniach edukacyjnych
wszystkich dyscyplin, ale i w analizach biznesu (firmy i pracownicy),
badaniach sondaŜowych i wszędzie gdzie mamy hierarchiczne dane i
procesy na poziomie indywidualnym i grupowym
Ekonomiści uŜywają regresji liniowej z błędami standardowymi
skorygowanymi o skorelowanie reszt wewnątrz grup („clustered robust
standard errors”) – w pewnych warunkach dają identyczne rezultaty
10
Modelowanie wielopoziomowe a regresja liniowa
Regresja liniowa odnosi wariancję w ciągłej, mierzonej na skali
interwałowej zmiennej zaleŜnej do wariancji we wszelkiego typu
zmiennych niezaleŜnych (ciągłych, mierzonych na skali interwałowej;
porządkowych; nominalnych)
Na przykład model objaśniający wyniki uczniów przez płeć (zmienna
nominalna), status społeczno-ekonomiczny rodziców (ciągła na poziomie
ucznia) oraz średni status w szkole (ciągła na poziomie szkoły)
yij = β 0 + β1 girlij + β2 SESij + β3 SE S j + ε ij
W takim modelu nie bierzemy pod uwagę, Ŝe:
uczniowie pogrupowani są w szkołach, a przez to ich wyniki (reszty z
regresji) są skorelowane wewnątrz szkół
średni wynik szkoły jest zmienną na poziomie szkoły, a nie ucznia, przez co
liczba dostępnych obserwacji jest zawyŜona
szkoły róŜnią się pod względem innych, tzw. ukrytych cech
cechy ukryte mogą być niemierzalne lub po prostu niedostępne czy
pominięte w modelu
11
Modele wielopoziomowy z losową stałą
Dwu- lub trzy-poziomowe modele z losową stałą
Skorygujmy poprzedni model o róŜnice między szkołami
yij = β 0 + β1 girlij + β2 SESij + β3 SE S j + u j + ε ij
u j to tzw. efekt szkoły, a sposób w jaki uwzględnimy go w modelu określa
rodzaj zastosowanego modelu i jego interpretację
w modelach wielopoziomowych zakładamy, Ŝe efekty te mają charakter
losowy, a przez to rozkład normalny o stałej, znanej wariancji
u j ~ (0, σ u2 )
w ten sposób zamiast estymować dla kaŜdej szkoły jej „efekt” (jak w
modelu z efektami stałymi) wystarczy, Ŝe oszacujemy jedynie wariancję
efektów szkół (standardowo przyjmując, Ŝe ich średnia wynosi zero).
Taki model nazywamy wielopoziomowym = hierarchicznym = z losową
stałą = z efektami losowymi
12
Modele wielopoziomowy z losową stałą
i losowym nachyleniem
Zakładamy, Ŝe związek między pochodzeniem społecznym uczniów a
wynikami nie jest taki sam w kaŜdej szkole
Zakładamy przy tym, Ŝe zmiany w nachylenie SES między szkołami mają
charakter losowy, a więc nachylenie ma rozkład normalny o stałej
wariancji
yij = β 0 + β1 girlij + β2 SESij + β3 SE S j + u1 j SESij + u0 j + ε ij
Zwykle zakładamy, Ŝe
u0 j ~ (0, σ u20 )
u1 j ~ (0, σ u21 )
cov(u0 , u1 ) ≠ 0
Czyli, Ŝe efekty losowe mają rozkłady normalne o stałej wariancji i są ze
sobą skorelowane
13
Modele wielopoziomowy z losową stałą
i losowym nachyleniem
Losowe nachylenie moŜemy objaśniać interesującymi nas zmiennymi
ciekawym zagadnieniem jest, czy relacja między pochodzeniem
społecznym a wynikami uczniów w szkole zaleŜy od średniego statusu w
szkole, a więc od środowiska społecznego szkoły
yij = β 0 + β1 girlij + β2 SESij + β3 SE S j + β 4 SESij ⋅ SE S j
+ u1 j SESij + u0 j + ε ij
Oczekujemy (i to na pewno potwierdzą dane), Ŝe zarówno SES ucznia, jak
i średni SES szkoły, pozytywnie wpływają na wyniki
RóŜne teorie przewidują inny efekt interakcji między tymi zmiennymi
Pozytywna ocena parametru β 4 oznacza, Ŝe im wyŜszy średni SES, tym
bardziej stroma relacja między wynikami a pochodzeniem, czyli szkoły o
„lepszym” składzie nie są korzystne dla uczniów z niskim SES
Ocena negatywna sugeruje, Ŝe szkoły o wysokim SES mają zdolność do
wyrównywania szans edukacyjnych, sprzyjając uczniom z niskim SES
14
Jak jest w istocie? Analiza dla Polski PISA 2006
uruchamiamy do-file szacujący podobne modele dla danych z PISA
2006 dla Polski
ESCS to skala statusu społeczno-ekonomicznego oraz zasobów
kulturowo-materialnych rodziny ucznia
pv1scie – to wynik ucznia, a dokładniej pierwsza „plausible value”
mierząca osiągnięcia w naukach ścisłych („science literacy „)
szacujemy pięć modeli:
1.
2.
3.
4.
5.
pusty
ze zmiennymi na poziomie ucznia
ze zmiennymi na poziomie ucznia i szkoły
ze zmiennymi na poziomie ucznia i szkoły oraz losowym
nachyleniem SES w szkole
ze zmiennymi na poziomie ucznia i szkoły oraz losowym
nachyleniem SES w szkole objaśnianym przez średni SES w szkole
15
Jak jest w istocie? Analiza dla Polski PISA 2006
zmienna
girl
model 1
escs
model 2
-0.745
model 3
-0.877
model 4
-0.896
model 5
-0.929
(2.21)
(2.21)
(2.21)
(2.21)
36.817
35.254
35.261
36.361
(1.38)
(1.45)
(1.53)
(1.71)
16.225
16.133
15.921
(4.53)
(4.56)
(4.53)
mean_escs
escs*mean_escs
4.221
(3.07)
_cons
499.786
510.18
514.168
514.057
513.222
var(eij)
6932.0
var(cons)
996.1
var(slope)
corr(cons, slope)
6194.7
494.6
6192.5
452.1
6171.1
443.1
38.2
0.061
6175.2
433.0
32.8
0.062
16
Dlaczego potrzebujemy modeli
wielopoziomowych
Metody analizy wariancji (ANOVA, ANCOVA) dopuszczają jako
zmienne niezaleŜne tylko nominalne lub pojedyncze zmienne
ciągłe, a zmienna zaleŜna musi być ciągła
Stąd wykorzystuje się metodę regresji liniowej dla ciągłych
zmiennych zaleŜnych i podobne metody dla zmiennych nieciągłych
(probit, logit, mlogit, ologit itp.) - w ten sposób moŜna
modelować dowolne zestawy zmiennych
Jednak typowe modele nie biorą pod uwagę pogrupowania danych
i podają błędne (zaniŜone) błędy standardowe
Wiele znanych artykułów wnioskuje w nieuprawiony sposób, Ŝe
badane relacje są istotne statystycznie, poniewaŜ zawyŜa ilość
dostępnej informacji
Modele wielopoziomowe pozwalają na modelowanie relacji
między zmiennymi dowolnego typu poprawne szacując błędy
standardowe
17
Dlaczego potrzebujemy modeli
wielopoziomowych
Niemal te same wyniki moŜemy uzyskać stosując regresję liniową
z efektami stałymi i korektą błędów standardowych z uwagi na
pogrupowanie (np. uczniów w szkołach), co jest obecnie
standardem w ekonometrii i jest łatwo wykonalne w Stata
Modele te nie szacują jednak wariancji w zmiennej zaleŜnej na
róŜnych poziomach analizy, która sama w sobie stanowi często
zainteresowanie analityków
W modelu z efektami stałymi nie moŜemy włączać do analizy
zmiennych na poziomie grupy, bo cała zmienność jest wyjaśniona
przez oszacowane efekty stałe (osobne parametry dla kaŜdej
grupy)
Modele wielopoziomowe szacują wariancję na kaŜdym
poziomie grupy i pozwalają na jej objaśnianie zmiennymi na
tym poziomie
18
Przykład: regresja, regresja z korektą
oraz model wielopoziomowy
zmienna
girl
escs
mean_escs
_cons
regresja liniowa
regresja liniową z
korektą na
pogrupowanie
model
wielopoziomowy
z losową stałą
-0.01
-0.01
-0.88
(2.3)
(2.3)
(2.2)
35.29
35.29
35.25
(1.5)
(1.5)
(1.4)
15.53
15.53
16.23
(2.9)
(5.1)
(4.5)
513.78
513.78
514.17
19
Kiedy moŜna stosować modele
wielopoziomowe
hierarchiczna struktura danych
jeśli analizowane grupy są postrzegane jako losowa próba z
większej populacji (lub superpopulacji)
jeśli kaŜda grupa postrzegana jest jako odrębny podmiot, którym
„rządzą” specyficzne dla kaŜdej grupy prawa, to powinno stosować
się model z efektami stałymi (np. płeć, grupa etniczna itp.)
kiedy chcemy objaśniać procesy „rządzące” grupami, o których
zakładamy, Ŝe są dla tych grup wspólne
jeśli rozmiary grup są niewielkie (<100), wtedy zakładając, Ŝe
grupami rządzą podobne „prawa” szacujemy efekty grup
wykorzystując informację z całej populacji, a nie tylko kilkunastu
obserwacji dla tej grupy, która jest mało precyzyjna
z drugiej strony, zakładamy, Ŝe efekty grupowe mają rozkład
normalny, co nie zawsze jest prawdziwe i musi być testowane
20
Bazy danych, z których będziemy korzystać
PISA: dane z 2000, 2003 i 2006 są publicznie dostępne w
Internecie dla wszystkich uczestniczących krajów
EWD-CKE - losowa próba z bazy danych wykorzystywanej przez
Centralną Komisję Egzaminacyjną do szacowania Edukacyjnej
Wartości Dodanej
CKE-PENTOR - badanie Centralnej Komisji Egzaminacyjnej
zrealizowane przez PENTOR
W oparciu o te dane mają Państwo przeprowadzić badanie na
zaliczenie zajęć
MoŜna teŜ uŜyć innych danych (np. PIRLS, TIMSS), ale po naszej
zgodzie
Dane PISA oraz EWD-CKE poznamy na najbliŜszych zajęciach
21
międzynarodowe badania osiągnięć uczniów
PISA (reading, mathematics, science) – Polska we wszystkich
edycjach
2000 - reading
2003 - mathematics
2006 – science
2009 - reading
PIRLS – reading literacy, 2001, 2006, czwarta klasa, Polska w 2006
po raz pierwszy
TIMSS (mathematics + science), 1995, 1999, 2003, 2007, czwarta i
ósma klasa – Polska nigdy nie uczestniczyła
CIVIC – badanie kompetencji obywatelskich – Polska uczestniczy
22
Pomiar umiejętności
w PISA, PIRLS, TIMSS i NAEP
róŜne przedmioty
i róŜne ich definicje
(PISA – reading, math, science; PIRLS – reading; TIMSS – math, science)
PISA - umiejętności potrzebne w Ŝyciu dorosłym
TIMSS, PIRLS, NAEP - umiejętności ujmowane w curriculum
róŜnice w losowaniu (PISA – szkoły, PIRLS, TIMSS – klasy)
podobne metody pomiaru umiejętności uczniów
skalowanie przez IRT (Item Response Theory)
rotating test booklets
ocena umiejętności ucznia jako plausible values – prawidłowa jeśli
wnioskujemy o całej populacji
23
Plausible values
24
600
RóŜnice
osiągnięciach
uczniów
Science:
średniw
wynik
i odchylenie standardowe,
PISA 2006
PISA 2006
mean performance in science
450
500
550
FIN
CAN
NLD
KOR
HUN
POL
ESP
PRT
IRL
SWE
DNK
SVK
GRC
JPN
AUS
DEU
AUTCZE
CHE
BEL
ISL
LUX
NOR
NZL
GBR
FRA
USA
ITA
TUR
400
MEX
80
90
100
standard deviation of scores
110
25
Poziom kapitału ludzkiego w Polsce:
badanie kompetencji 15-latków PISA 2000 - czytanie
0
.001
Density
.002
.003
.004
Polska a inne kraje: czytanie w PISA 2000
0
200
400
600
plausible value in reading
Polska
800
1000
OECD
26
Poziom kapitału ludzkiego w Polsce:
badanie kompetencji 15-latków PISA 2003 - matematyka
0
.001
Density
.002
.003
.004
Polska a inne kraje: matematyka w PISA 2003
0
200
400
600
plausible value in math
Polska
800
1000
OECD
27
Poziom kapitału ludzkiego w Polsce:
badanie kompetencji 15-latków PISA 2006 - science
0
.001
Density
.002
.003
.004
Polska a inne kraje: science w PISA 2006
0
200
400
600
plausible value in science
Polska
800
1000
OECD
28
Poziom kapitału ludzkiego w Polsce:
zmiany między PISA 2000 a 2006 – czytanie
0
.001
Density
.002
.003
.004
Polska: czytanie w PISA 2000 i PISA 2006
0
200
400
600
plausible value in reading
2000
800
2006
29
Dane PISA
15-latkowie
2000 w Polsce: uczniowie I klasy szkół średnich
2003 i 2006 w Polsce: uczniowie III klas gimnazjów
Porównywalne międzynarodowo, kilkadziesiąt krajów w kaŜdej
edycji, próby od 2 do 20 tysięcy uczniów w kaŜdym kraju
kwestionariusz ucznia i pomiar umiejętności imputowany dla
kaŜdego ucznia dla kaŜdej dziedziny
bogaty zestaw zmiennych charakteryzujących ucznia i jego
rodzinę
mało informacji na poziomie szkoły
zmienne określające motywację, metody uczenia się itp.
w skrócie moŜna stwierdzić, Ŝe PISA to dane dla socjologów, a
PIRLS i TIMSS dla pedagogów i psychologów
30
400
PISA science score
450
500
550
600
650
Relacja między SES rodziców a
wynikiem ucznia w PISA 2006
20
40
60
highest parental occupational status (sei)
Polska
Finlandia
80
OECD
31
0
.001
.002
.003
.004
różnica w wynikach immigrantów, PISA 2006
0
200
400
600
plausible value in science
native
800
1000
migrants
32
baza danych EWD-CKE
losowa próba powstała z danych dla niemal całej populacji
uczniów w Polsce, dostępna dla Państwa i niedługo w Internecie
połączone, na poziomie ucznia, wyniki sprawdzianu
szóstoklasistów z egzaminem gimnazjalnym w obu częściach
3 kohorty:
2002 sprawdzian 2005 egzamin gimnazjalny
2003 sprawdzian 2006 egzamin gimnazjalny
2004 sprawdzian 2007 egzamin gimnazjalny
Wylosowana próba obejmuje 200 szkół z 1-2 klasami dla kaŜdej
kohorty, niemal 28000 uczniów
wyniki oraz płeć i dysleksja jako cechy ucznia
zmienne z baz GUS na poziomie gminy, a w przyszłości zmienne z
baz SIO na poziomie szkoły
zmienne zagregowane do poziomu szkoły i gminy z danych
egzaminacyjnych dla całej populacji
33
Dane CKE-Pentor
Badanie zrealizowane w maju/czerwcu 2006 roku
wylosowano 94 gimnazja, a w nich wylosowano do 20 uczniów
zrealizowano ok. 1500 ankiet z wylosowanymi uczniami i ok. 2500
z wszystkimi uczniami wylosowanych klas
ankiety rodziców – ok. 1800 zrealizowanych ankiet
ankiety dla nauczycieli – ok. 1000 zrealizowanych ankiet
ankiety dyrektorów szkół – ok. 90 zrealizowanych ankiet
dołączono wyniki uczniów z egzaminu gimnazjalnego (dla ok. 1200
uczniów)
ankiety podobne do ankiet PISA + pomiar IQ
raporty opublikowane w Biuletynie Badawczym CKE i dostępne na
WWW.CKE.EDU.PL
skorygowana baza danych będzie dostępna dla Państwa i niedługo
w Internecie
34
Oprogramowanie
Specjalistyczne programy: HLM, Mplus …
niektóre bardzo drogie, choć dostępne teŜ wersje studenckie
w większości tylko do szacowania modeli wielopoziomowych
Wielozadaniowe pakiety statystyczne
SAS – PROC MIXED – pierwszy pakiet
SPSS – SPSS MIXED – popularny wśród socjologów, ale mało
zaawansowany, nieelastyczny
Stata – popularny wśród ekonomistów, ale i w naukach
społecznych. Od wersji 10 nieograniczone moŜliwości
modelowania wielopoziomowego. Dodatkowe pakiety pisane
przez uŜytkowników umoŜliwiają przeprowadzenie niemal
kaŜdej analizy statystycznej. Pakiet analiz danych
sondaŜowych.
R – język analiz statystycznych, nieograniczone moŜliwości,
ale nieco trudniejszy
35
Literatura
Rabe-Hesketh S., Skrondal A. (2005, II wydanie 2008). Multilevel
and Longitudinal Modeling Using Stata. Stata Press.
Raudenbush S. W., Bryk A., 2002, “Hierarchical Linear Models”,
wyd. II, Sage
Snijders Tom A.B., Bosker Roel J., 1999, “Multilevel Analysis: An
Introduction to Basic and Advanced Multilevel Modeling”, Sage
Goldstein H., 1999, „Multilevel Statistical Models” (poprawione
wydanie II dostępne na: www.ats.ucla.edu/stat/examples/
msm_goldstein/goldstein.pdf)
36
Dziękuję za uwagę!
37