05. Wnioskowanie psychom

5. WNIOSKOWANIE PSYCHOMETRYCZNE
Model klasyczny Gulliksena
Wynik otrzymany i prawdziwy
Błąd pomiaru
Rzetelność pomiaru testem
Standardowy błąd pomiaru
Błąd estymacji wyniku prawdziwego
Teoria Odpowiadania na Pozycje Testowe (IRT)
Teoria Wyników Generycznych (uniwersalizacji).
Teorie rzetelności pomiaru
Dwa modele psychometryczne opisu
błędu pomiaru i rzetelność pomiaru:
Klasyczna Teoria Testów (Gulliksen, 1950;
Lord i Novick, 1968) oraz
Teoria odpowiadania na pozycje Testowe
(IRT)
Nowoczesną formą KTT jest Teoria Wyników
Generycznych.
W odniesieniu do wyniku testowego:
1. obserwowany (otrzymany) wynik testu
2. wynik prawdziwy
3. błąd pomiaru
W odniesieniu do wariancji wyników testu:
1. wariancja wyników otrzymanych
2. wariancja wyników prawdziwych
3. wariancja błędu.
Wynik prawdziwy średnia wyników otrzymanych w nieskończenie wielu
niezależnych pomiarach cechy określonym testem u
jednej osoby.
Jest to średnia wszystkich potencjalnych wyników
osoby przy pomiarze określonym testem.
Błąd pomiaru testowego - źródła
§ Właściwości osoby badanej
(techniki wypełniania testu, zdolność rozumienia
instrukcji, znajomość specyficznego zachowania)
§ Czynniki osoby badanej o incydentalnym charakterze
(zdrowie, zmęczenie, motywacja, napięcie
emocjonalne, warunki zewnętrzne – światło, hałas,
temperatura, itp.).
Założenie 1.
Wszystkie błędy jakie otrzymalibyśmy, badając tę
samą osobę nieskończenie wiele razy, mają rozkład
normalny, a ich średnia wynosi zero
Mb = 0
Założenie o nieobciążoności narzędzia pomiarowego.
Założenie 2.
Błąd pomiaru ma charakter losowy, a więc nie ma
związku między wynikiem prawdziwym a błędem
pomiaru
rpb = 0
Założenie o niezależności, wynik prawdziwy i błąd są
nieskorelowane.
Założenie 3.
Jeżeli błąd pomiaru ma charakter losowy, to również
nie możemy oczekiwać istnienia żadnego związku
między błędami otrzymanymi w dwóch kolejnych
badaniach tym samym testem, a więc
rb1b2 = 0
Błędy różnych pomiarów są nieskorelowane.
Wariancja to w statystyce
klasyczna miara zmienności.
Intuicyjnie utożsamiana jest ze zróżnicowaniem
zbiorowości.
Jest to średnia arytmetyczna kwadratów
odchyleń poszczególnych wartości cechy
od wartości oczekiwanej.
Rzetelność dokładność (precyzja) pomiaru badanej cechy;
Pojęcie rzetelności jest bezpośrednio powiązane
z pojęciem błędu pomiaru –
nie istnieje pomiar bez błędu,
im większy jest błąd, tym mniejsza jest rzetelność
pomiaru danym testem
Błąd obniża precyzję pomiaru –
zamiast wyniku prawdziwego otrzymujemy wynik
zniekształcony przez błąd.
Interpretacja współczynnika rzetelności
Współczynnik rzetelności wskazuje, jaka część
wariancji wyników otrzymanych wynika z błędu lub
ze zmienności wyników testu (niespójności odpowiedzi
testowych),
np. rtt=0,80 oznacza, że 80% zróżnicowania wyników
uzyskanych z badania testem spowodowana została
rzeczywistymi różnicami między ludźmi, a pozostałe
20% to efekt błędu pomiaru.
Im mniejsze zróżnicowanie wyników testowych, tym
niższa rzetelność testu.
Ocena rzetelności indywidualnego wyniku
Współczynnik rzetelności testu –
parametr opisujący stopień precyzji wyników
otrzymywanych za pomocą określonego testu
Gdy interesuje nas test dla celów indywidualnej
diagnozy, wtedy ważniejsza jest możliwość oceny
wyniku prawdziwego konkretnej osoby
Do tego celu przydatna jest znajomość standardowego
błędu pomiaru.
Standardowy błąd pomiaru to
odchylenie standardowe różnic X - T
Jest to błąd, który popełniamy wtedy, gdy
przyjmujemy, że wynikiem prawdziwym danej
osoby jest średni wynik, jaki uzyskałaby ta
osoba w nieskończenie wielu pomiarach tym
samym testem.
Interpretacja standardowego
błędu wyników otrzymanych
Wielokrotne badanie jednej osoby nie jest możliwe
(ze względu na motywację oraz pamięć) –
z tego względu brany jest pod uwagę rozkład błędów
pomiaru u wszystkich osób badanych
(nie ma istotnej różnicy pomiędzy efektami losowymi
w grupie wielu osób badanych jednorazowo oraz
wielokrotnym badaniem jednej osoby – ten sam model
czynników losowych).
Standardowy błąd pomiaru wskazuje zakres wyników,
w obrębie którego lokuje się wynik prawdziwy osoby
badanej (z określonym prawdopodobieństwem) i jest
identyczny dla wszystkich osób badanych (niezależnie
od wyniku otrzymanego)
Standardowy błąd pomiaru jest stosowany do
wyznaczania przedziału ufności
dla wyniku prawdziwego
z określoną pewnością (0,99, 0,95)
Musi być pomnożony przez wartość „z” rozkładu
normalnego, czyli = 2,58 lub 1,96.
Przedziały ufności
Od wyniku otrzymanego odejmujemy
oraz dodajemy pewną stałą wartość
Ta stała wartość jest równa (zα/2)(Sbp).
z α0,05 = 1,96
z α0,01 = 2,58
z α0,001 = 3,29
Sbp = So√(1 - rtt)
WAIS M=100, SD=15 rtt=0,90
Sb=15√1-0,90 = 15x0,316=4,74
dla poz. α0,05 1,96x4,74=9,29
dla poz. α0,01 2,58x4,74=12,23
wynik otrzymany II = 93
wynik prawdziwy:
dla 95% ufności 84-102
dla 99%
81-105
Od wyniku otrzymanego odejmujemy
(otrzymujemy dolną granicę przedziału)
oraz do wyniku otrzymanego dodajemy
(otrzymujmy górną granicę przedziału)
pewną stałą wartość (błąd pomiaru).
Teoria odpowiadania na pozycje testu
(item response theory)
Teoria IRT konkurencyjna do KTT
- to zbiór twierdzeń opisujących sposób, w jaki osoba
badana odpowiada na pozycje testu.
Ustala się związek między odpowiedziami udzielanymi
przez b. a zakładaną, nieobserwowalną cechą leżącą u
podstaw zachowań testowych
np. odpowiedzi w podskali Rozumienie (WAIS) - to
funkcja hipotetycznej, nieobserwowalnej cechy,
tj. rozumienia sytuacji i norm społecznych.
W klasycznej teorii testów (KTT) przyjmuje się,
że związek między wynikiem prawdziwym
(wynik stand. z ) a wynikiem otrzymanym w teście
jest związkiem prostoliniowym (regresja liniowa)
Przedziały ufności (zaznaczone linia przerywaną)
są takie same dla wszystkich wyników, a wartość
błędu pomiaru zależy od konkretnej badanej
populacji.
W teorii odpowiadania na pozycje testu (IRT)
związek między wynikiem prawdziwym a
wynikiem otrzymanym nie jest związkiem
liniowym, a szerokość przedziałów ufności jest
inna w środku, a inna na krańcach rozkładu
(przedziały są szersze dla skrajnych wyników)
Błąd standardowy pomiaru nie jest związany
z konkretną populacją, podobnie jak nie są z nią
związane parametry opisujące pozycje testowe.
Teoria uniwersalizacji
Teoria uniwersalizacji (wyników generycznych)
wykorzystała koncepcję testów równoległych
co pozwoliło zrezygnować z nietestowalnych
założeń i twierdzeń na rzecz obserwowalnych
Zależności (błędy mogą być skorelowane i może
to być empirycznie stwierdzone).
Testy równoległe - pojęcie
Testy równoległe: mierzą tę samą cechę z taką samą
dokładnością
M1 = M2
S12 = S22
Testy równoważne: mierzą tę samą cechę, ale
nie tak samo dokładnie
M1 # M2
Testy quasi-równoważne: mierzą tę samą cechę
wraz z dodatkowym czynnikiem
M1 = M2 + c
Podsumowanie
Pomiar psychologiczny ma charakter pośredni
Aby na podstawie obserwowanego zachowania
osoby wyznaczyć pozycję jej cechy latentnej –
musimy dysponować modelem wiążącym
konstrukt psychologiczny (cechę latentną)
z poziomem zachowań.
W KTT wynik danej osoby w teście jest sumą
dwóch składowych:
wyniku prawdziwego danej osoby i
błędu pomiaru
Ograniczenia modelu - wynik prawdziwy
określany jest tylko w stosunku do
konkretnego zbioru pozycji testowych,
a statystyczne właściwości pozycji testowych
nie są bezpośrednio wiązane z zachowaniami
testowymi.
W RIT buduje się modele wiążące poziom
nieobserwowalnej cechy psychologicznej
z odpowiedzią na każdą kolejną pozycję testową.
Zaletą tych modeli jest to, że poziom mierzonej
cechy może zostać oszacowany na podstawie
każdej pozycji testowej pod warunkiem,
że znane są jej parametry, a statystyczne
właściwości tych pozycji są bezpośrednio
wiązane z zachowaniami testowymi
(Embredson, 2000).
Zagadnienia
Elementy składowe Klasycznej Teorii Testów
Elementy składowe wyniku otrzymanego
Co to jest wynik prawdziwy
Źródła błędu pomiaru testowego
Założenia dotyczące błędu pomiaru
Pojecie rzetelności
Interpretacja współczynnika rzetelności
Standardowy błąd pomiaru
Od czego zależy wielkość stand. błędu pomiaru
Jak wyznaczamy przedziały ufności
Teoria Odpowiadania na Pozycje Testowe – różnice w
stosunku do KTT
12. Teoria Uniwersalizacji – pojęcie testów równoległych.
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.