Ocena ekwiwalencji skal pomiarowych w badaniach mi

Zesz yty
Naukowe nr
659
2005
Akademii Ekonomicznej w Krakowie
Adam Sagan
Katedra Analizy Rynku i Badaƒ Marketingowych
Ocena ekwiwalencji skal
pomiarowych w badaniach
mi´dzykulturowych
1. Ekwiwalencja pomiaru w badaniach mi´dzykulturowych
Jednym z podstawowych problemów w mi´dzykulturowych zastosowaniach
skal jest ocena ekwiwalencji pomiaru. Jest ona jednà z kategorii oceny jakoÊci
badaƒ mi´dzykulturowych. Tabela 1 przedstawia podstawowe rodzaje ekwiwalencji badaƒ wyst´pujàcych na wszystkich etapach procesu badawczego1.
Ekwiwalencja pomiaru jest zwiàzana z ocenà stopnia, w jakim pomiary sà
dokonywane w badanych kulturach z wykorzystaniem tych samych jednostek
miar i dotyczàcych tych samych cech respondentów z uwzgl´dnieniem ró˝nych
warunków i kontekstu obserwacji (spo∏eczno-kulturowego, przestrzennego lub
czasowego). Dokonywany pomiar powinien si´ charakteryzowaç niezmienniczoÊcià. W przypadku braku inwariancji pomiaru wszelkie ró˝nice mi´dzy jednostkami i grupami nie mogà byç sensownie interpretowane w porównaniach
mi´dzykulturowych. Jest to szczególnie wa˝ne w badaniach z wykorzystaniem
skal z∏o˝onych, gdzie stosowane jednostki miar majà charakter wzgl´dny
i umowny, zwiàzany z przyjmowanym przez respondentów kulturowym uk∏adem odniesienia. Zagadnienia oceny ekwiwalencji pomiarowej w uj´ciu prezentowanym w artykule dotyczà wykorzystania skal z∏o˝onych w badaniach mi´dzykulturowych. Za∏o˝enia tej procedury oceny ekwiwalencji sà nast´pujàce:
1 C.S. Craig, S.P. Douglas, International Marketing Research, Wiley 2000; T.D. Little, On the
Comparability of Constructs in Cross-Cultural Research: A Critique of Cheung and Rensvold,
„Journal of Cross-Cultural Psychology” 2000, nr 31, s. 213–219; A. Sagan, Metodologiczne aspekty mi´dzykulturowych badaƒ marketingowych [w:] Wspó∏czesne problemy marketingu mi´dzynarodowego, pod red. J.W. Wiktora, AE w Krakowie, Kraków 1999; J.-C. Usunier, Marketing
Across Cultures, Prentice Hall 1996.
Adam Sagan
60
– skala pomiarowa jest skalà sk∏adajàcà si´ z wielu pozycji (itemów),
– pozycje skali charakteryzujà si´ addytywnoÊcià (skala sumowanych ocen),
– pozycje majà charakter refleksyjny (sà odzwierciedleniem ukrytego wymiaru lub zmiennej ukrytej),
– pomiar jest dokonywany w dwóch grupach lub w dwóch momentach czasowych.
Tabela 1. Rodzaje kategorii ekwiwalencji w badaniach mi´dzykulturowych
Kategorie mi´dzykulturowej Rodzaje ekwiwalencji
ekwiwalencji badaƒ
w ramach kategorii
Charakterystyka
Ekwiwalencja problemu
badawczego
Koncepcyjna
Funkcjonalna
To˝samoÊç badanych konstruktów.
Podobieƒstwo funkcji poj´ç i dzia∏aƒ,
trafnoÊç prognostyczna
Ekwiwalencja t∏umaczenia
Leksykalna
Idiomatyczna
Znaczenie s∏ownikowe poj´ç
Znaczenie przenoÊne i zwyczajowe
poj´ç
OdpowiednioÊç struktur gramatycznych
Znaczenie potoczne poj´ç w codziennym ˝yciu i dzia∏aniu
Gramatyczna
Pragmatyczna
Ekwiwalencja pomiaru
Globalna
Strukturalna
Metryczna
Skalarna
B∏´dów pomiaru
Podobieƒstwo macierzy kowariancji
OdpowiednioÊç modeli pomiaru
PorównywalnoÊç jednostek pomiaru
Podobieƒstwo skali pomiaru
JednorodnoÊç wp∏ywu czynników
swoistych
Ekwiwalencja próby
Jednostki losowania
PorównywalnoÊç jednostek losowania,
ról spo∏ecznych w rodzinie
ZgodnoÊç operatów losowania,
wymiarów spo∏eczno-demograficznych
stratyfikacji spo∏ecznej
ReprezentacyjnoÊci
Ekwiwalencja
gromadzenia danych
Komunikacji z respondentem
Kontekstowa
Stylu i nastawienia
odpowiedzi
Podobieƒstwo wzorów zachowaƒ,
definicji sfery prywatnej i publicznej
WspólnoÊç kulturowego kontekstu
zadawanych pytaƒ, obszarów
spo∏ecznego tabu i przyzwolenia
ZgodnoÊç zwyczajów potakiwania,
podobieƒstwa reakcji na pytania i
motywów braków odpowiedzi
èród∏o: opracowanie w∏asne.
Skale tego typu majà najcz´Êciej charakter skal Likerta lub skal Guttmana.
Pierwszy rodzaj skal jest rodzajem skal równoleg∏ych, w których ka˝da pozycja skali jest alternatywnym i równowa˝nym narz´dziem pomiaru danej cechy
Ocena ekwiwalencji skal pomiarowych...
61
ukrytej. Oceny rzetelnoÊci i ekwiwalencji pomiarowej w badaniach mi´dzykulturowych tego typu skal dokonuje si´ w nurcie klasycznej teorii testu za pomocà wielogrupowej konfirmacyjnej analizy czynnikowej.
Skala Guttmana jest przyk∏adem hierarchicznej skali skumulowanej. Pozycje tej skali odzwierciedlajà nasilenie cechy ukrytej i charakteryzujà si´ rosnàcym monotonicznie stopniem trudnoÊci lub „afektywnoÊci” (wywo∏ywaniem
emocjonalnego zaanga˝owania u respondenta w reakcji na pozycj´ skali).
W ocenie rzetelnoÊci i mi´dzykulturowej ekwiwalencji tych skal wykorzystywana jest najcz´Êciej teoria reakcji na pozycj´, a w szczególnoÊci modele Rascha pozwalajàce na estymacj´ i ocen´ tzw. krzywych charakterystycznych pozycji skali Guttmana.
2. Ocena ekwiwalencji pomiarowej skali Likerta
W ocenie ekwiwalencji pomiarowej skal Likerta stosowana jest najpowszechniej wielogrupowa konfirmacyjna analiza czynnikowa (multigroup confirmatory factor analysis). Dla porównywania pomiarów w kilku momentach
czasowych stosowane sà modele ukryte krzywej wzrostu (latent growth curve
models).
Ocena mi´dzykulturowej ekwiwalencji pomiaru obejmuje trzy podstawowe
obszary zagadnieƒ: ocen´ niezmienniczoÊci (inwariancji) konfiguracyjnej, metrycznej i skalarnej2. Model dwugrupowej analizy czynnikowej przedstawiony
jest na rys. 1.
Zmienne xij sà zmiennymi obserwowalnymi stanowiàcymi refleksyjne
wskaêniki j zmiennej ukrytej x1 w badanych grupach i. Porównania
mi´dzygrupowe wartoÊci Êrednich xij w obu grupach odzwierciedlajà równie˝
wartoÊci Êrednie dla zmiennej ukrytej x1 w obu grupach. Model ten mo˝na
wyraziç w formie uk∏adu równaƒ:
Xik = τik + Λik + δik
(1)
gdzie:
Xik – wektor zmiennych obserwowalnych (pozycji skali),
Λik – macierz ∏adunków czynnikowych (wspó∏czynników regresji mi´dzy
zmiennà ukrytà ξ a zmiennymi obserwowalnymi X),
τik – wektor wyrazów wolnych,
δik – wektor czynników swoistych odzwierciedlajàcych b∏´dy pomiaru
zmiennej ukrytej przez danà pozycj´.
2 J.-B. Steenkamp, H. Baumgarten, Assessing Measurement Invariance in Cross-National
Consumer Research, „Journal of Consumer Research” 1998, nr 25, s. 78–90; R.J. Vandenberg,
C.E. Lance, A Review and Synthesis of the Measurement Invariance Literature: Suggestions,
Practices, and Recommendations for Organizational Research, „Organizational Research
Methods” 2000, nr 3, s. 4–69.
Adam Sagan
62
ξ1
λ11
x11
ξ1
λ12
Kultura A
δ11
λ21
x2
x21
δ12
δ21
λ22
Kultura B
x22
δ22
Rys. 1. Model dwugrupowej konfirmacyjnej analizy czynnikowej
èród∏o: opracowanie w∏asne.
Przy za∏o˝eniu braku korelacji mi´dzy sk∏adnikami losowymi oraz braku
wektora wyrazów wolnych, powy˝sze równanie mo˝na napisaç w nast´pujàcej
formie:
∑i = ΛXi Φi Λ’Xi + Θδi
(2)
gdzie:
∑i – macierz wariancji-kowariancji mi´dzy pozycjami skali w danej populacji (grupie),
ΛXi – macierz ∏adunków czynnikowych,
Φi – macierz wariancji-kowariancji mi´dzy czynnikami ukrytymi,
Θδi – macierz wariancji czynników swoistych odzwierciedlajàcych wariancj´ b∏´du pomiaru.
Ocena ekwiwalencji pomiarowej zwiàzana jest z przeprowadzeniem serii testów sprawdzajàcych hipotezy zwiàzane z wyst´pujàcymi ró˝nicami mi´dzygrupowymi. Testy te nale˝y przeprowadzaç w ustalonej kolejnoÊci, bowiem z∏e
dopasowanie modelu bardziej ogólnego czyni bezzasadnym testowanie kolejnego poziomu pomiaru ekwiwalencji mi´dzykulturowej3.
1. Ocena globalnej równowa˝noÊci. Jest to ad hoc test równoÊci macierzy
wariancji-kowariancji w badanych próbach losowych z danych populacji:
Si = Si’. Jest to globalny test mi´dzykulturowej ekwiwalencji pomiarowej. Nale˝y podkreÊliç, ˝e we wszelkich porównaniach mi´dzygrupowych jako ma3 W. Meredith, Measurement Invariance, Factor Analysis and Factorial Invariance, „Psychometrika” 1993, nr 58, s. 525–543.
Ocena ekwiwalencji skal pomiarowych...
63
cierz danych wejÊciowych powinna byç stosowana macierz wariancji-kowariancji, która umo˝liwia porównywanie efektów mi´dzygrupowych w kategoriach
wartoÊci oryginalnych jednostek miar stosowanych w procesie pomiaru, a nie
macierz korelacji. Je˝eli macierze wariancji-kowariancji nie ró˝nià si´ istotnie
w obu badanych grupach, mo˝na dokonywaç dalszej analizy poszczególnych
aspektów ekwiwalencji pomiarowej. Poni˝ej przedstawiono przyk∏adowe macierze wariancji-kowiariancji mi´dzy 4 stwierdzeniami skali Likerta obliczone
dla 2 kultur.
Macierz kowariancji dla kultury A:
1,2
0,8
0,7
0,8
0,8
0,9
0,7
0,8
0,7
0,7
1,1
0,6
0,8
0,8
0,6
0,9
0,7
0,8
1,1
0,7
0,8
0,7
0,7
0,9
Macierz kowariancji dla kultury B:
1,0
0,7
0,7
0,8
0,7
1,1
0,8
0,7
Do oceny podobieƒstwa macierzy zastosowano procedur´ symulacyjnà
QAP (Quadratic Assigment Procedure), opracowanà przez L. Huberta i J.
Schultza4. Pozwala ona na ocen´ stopnia podobieƒstwa macierzy na podstawie
oceny wspó∏czynników zgodnoÊci mi´dzy odpowiadajàcymi wartoÊciami
w macierzach kowariancji, poddanymi wielorakiej permutacji. Permutacja wartoÊci macierzy pozwala na okreÊlenie cz´stoÊci, w jakiej przypadkowe zwiàzki mi´dzy elementami macierzy sà podobne lub silniejsze od obliczonych na
podstawie aktualnych wartoÊci macierzy. Wspó∏czynniki zgodnoÊci mi´dzy
macierzami kowariancji w obu kulturach sà przedstawione w tabeli 2.
Z tabeli 2 wynika, ˝e proporcja zwiàzków przypadkowych, które by∏y tak
wysokie jak wartoÊci obserwowalne (0,98 dla korelacji i 0,62 dla zgodnoÊci),
nie by∏a wi´ksza ni˝ 0,042. Mo˝na wi´c przyjàç hipotez´ (na typowym poziomie 0,05), ˝e macierze kowariancji w obu kulturach sà podobne do siebie
i przystàpiç do dalszego etapu analizy.
2. Ocena strukturalnej ekwiwalencji zmiennych ukrytych (zwanej te˝ ekwiwalencjà konfiguracyjnà) w porównywalnych kulturach i podobieƒstwach
struktury czynnikowej w obu grupach. Odzwierciedla to test hipotezy o równoÊci macierzy wariancji-kowariancji w populacji: ∑i = ∑i’5. Oceny tej doko4 L. Hubert, J. Schultz, Quadratic Assignment as a General Data Analysis Strategy, „British
Journal of Mathematic Statistical Psychology” 1976, nr 29, s. 190–241.
5 B. Bloxom, Alternative Approaches to Factorial Invariance, „Psychometrika” 1972, nr 37,
s. 425–440.
Adam Sagan
64
nuje si´ na podstawie stopnia dobroci dopasowania niezale˝nych modeli strukturalnych budowanych na podstawie danych z poszczególnych kultur. Dobre
dopasowanie modeli do danych Êwiadczy o istnieniu inwariancji konfiguracyjnej i umo˝liwia porównywanie mi´dzy sobà konstruktów w przekroju danych
kultur. Stopieƒ dopasowania jest najcz´Êciej testowany za pomocà statystyki
χ2, wskaênika CFI Bentlera, indeksu TLI Tuckera-Lewisa lub wspó∏czynnika
RMSEA Steigera-Lindta. Je˝eli ten rodzaj inwariancji nie jest spe∏niony (dopasowanie modelu jest s∏abe), wówczas stosowana skala nie mo˝e byç u˝ywana w porównaniach mi´dzykulturowych, poniewa˝ badane konstrukty sà specyficzne dla poszczególnych kultur (sugerowane jest wówczas podejÊcie typu
emic w badaniach mi´dzykulturowych). Tabela 3 prezentuje oceny stopnia dopasowania modeli do danych szacowanych niezale˝nie w przekroju poszczególnych kultur. Analiza danych zosta∏a przeprowadzona za pomocà programu
modelowania strukturalnego Mplus 2,136.
Tabela 2. Wyniki symulacji QAP
Miary podobieƒstwa macierzy
Wskaêniki
WartoÊç obserwowana
Proporcja relacji przypadkowych
korelacja
zgodnoÊç
0,98
0,042
0,625
0,042
èród∏o: opracowanie w∏asne.
Tabela 3. Ocena dobroci dopasowania modeli niezale˝nych
Wskaêniki dobroci dopasowania modelu
Kultura A
Kultura B
WartoÊç χ2
Stopnie swobody (s.s.)
Poziom p
19,50
5
0,0002
36,72
3
0,0000
TLI
CFI
0,977
0,954
0,901
0,952
RMSEA
0,158
0,212
èród∏o: opracowanie w∏asne.
WartoÊci testów dobroci dopasowania wskazujà, ˝e model jest niezbyt dobrze dopasowany do danych (istotne wartoÊci testu χ2 oraz nieistotna wartoÊç
6 B.O. Muthen, Latent Variable Modeling in Heterogenous Populations, „Psychometrika”
1989, nr 54, s. 557–588; B.O. Muthen, L.K. Muthen, Mplus. Statistical Analysis with Latent
Variables, User’s Guide, Los Angeles 2002.
Ocena ekwiwalencji skal pomiarowych...
65
parametru RMSA). Wskaêniki porównawcze (TLI, CFI) wskazujà jednak, ˝e
model ten jest istotnie lepszy od modelu bazowego.
3. Ocena równowa˝noÊci metrycznej. Zwiàzana jest ona z ocenà stopnia,
w jakim dane wskaêniki mierzà – w ró˝nych grupach – te same zmienne ukryte i testowaniem hipotezy, ˝e Λi = Λi’. Ocena ta polega na porównaniu oceny
wzgl´dnego dopasowania dwóch modeli strukturalnych.
Pierwszy model jest modelem, w którym odpowiednie ∏adunki czynnikowe
modelu sà ustalone jako równe we wszystkich grupach (∏adunek czynnikowy
λ1 w pierwszej grupie jest równy wartoÊci ∏adunku λ1 w drugiej grupie badanych osób). W drugim modelu ∏adunki te sà w obu grupach wolnymi parametrami. Je˝eli dopasowanie modelu z ustalonymi ∏adunkami nie jest istotnie gorsze od modelu z ∏adunkami uwolnionymi, to pozycje skali mierzà ukryte
zmienne w porównywalny sposób w analizowanych grupach. Je˝eli stopieƒ dopasowania modelu z ustalonymi ∏adunkami jest istotnie gorszy, wówczas porównanie ∏adunków czynnikowych mi´dzy grupami umo˝liwia ocen´ jedynie
cz´Êciowej niezmiennoÊci pomiarowej mi´dzy grupami. Nale˝y podkreÊliç, ˝e
w celu identyfikacji zmiennych ukrytych nale˝y przypisaç im umownà jednostk´ miary. W badaniach mi´dzykulturowych jest to dokonywane najcz´Êciej poprzez ustalenie tzw. markera, czyli zmiennej obserwowalnej, której wartoÊç ∏adunku czynnikowego jest ustalona na poziomie 1,007. NiezmienniczoÊç
metryczna jest bardzo istotna w badaniach mi´dzykulturowych, oznacza bowiem istnienie tych samych jednostek miar dla zmiennych ukrytych w porównywalnych kulturach. Umo˝liwia to ocen´ i porównywanie ró˝nic mi´dzygrupowych w ocenach na skalach (np. ze wzgl´du na p∏eç, wiek i inne cechy
demograficzne) w ramach kultur.
Parametry dopasowania modelu z ∏adunkami ustalonymi nie sà gorsze od
modelu z ∏adunkami uwolnionymi. Oznacza to, ˝e pozycje skali mierzà ukryte
zmienne w podobny sposób w obu kulturach. Nale˝y równie˝ zauwa˝yç, ˝e
ró˝nica w wartoÊci testu χ2 wynosi 5,07 dla 3 stopni swobody. Istotnà cechà
rozk∏adu chi-kwadrat jest to, ˝e ró˝nice wartoÊci testu równie˝ majà rozk∏ad
chi-kwadrat i ich istotnoÊç mo˝na weryfikowaç korzystajàc z odpowiednich tablic lub kalkulatorów prawdopodobieƒstwa. Ró˝nica ta, jak wynika z tabel rozk∏adu χ2, nie jest statystycznie istotna (poziom p = 0,166). Oznacza to, ˝e ∏adunki czynnikowe (jako ca∏oÊç) nie ró˝nià si´ istotnie w obu grupach. Sugeruje
to przyj´cie hipotezy, ˝e pozycje skali w porównywalny sposób odzwierciedlajà mierzonà zmiennà latentnà w obu kulturach. Analizowana skala jest wi´c inwariantna metrycznie.
4. Ocena równowa˝noÊci skalarnej. Zwiàzana jest ona z testowaniem hipotezy o równoÊci wyrazów wolnych w grupach: τi = τi’. Umo˝liwia ona porów-
7 Alternatywnym rozwiàzaniem jest uwolnienie tego ∏adunku i ustalenie wariancji ka˝dej
zmiennej ukrytej na poziomie 1. To rozwiàzanie jest rzadziej stosowane w badaniach mi´dzykulturowych.
Adam Sagan
66
nywanie wartoÊci Êrednich dla zmiennych ukrytych8. Skalarna inwariancja pomiaru zwiàzana jest z mi´dzykulturowymi ró˝nicami w reakcjach na stwierdzenia skali i efektami nastawienia respondentów i ró˝nic w stylu ich odpowiedzi
na stwierdzenia danej skali (tzw. efekt yes-saying lub no-saying). Identyfikacja tego typu niezmienniczoÊci jest mo˝liwa dzi´ki uwzgl´dnieniu w modelu
strukturalnym wartoÊci Êrednich dla zmiennych ukrytych oraz wyrazów wolnych funkcji regresji opisujàcej relacj´ mi´dzy wartoÊciami zmiennych obserwowalnych a wartoÊciami zmiennych ukrytych (w klasycznych modelach
strukturalnych przyjmuje si´, ˝e wartoÊç wyrazu wolnego wynosi zero). Relacja ta jest przedstawiona na rys. 2.
Tabela 4. Porównanie modelu z ograniczonymi i nieograniczonymi ∏adunkami
Statystyki testowe
Rodzaj modeli
χ2
s.s.
∆χ2
∆s.s.
CFI
RMSEA
Model z ograniczonymi ∏adunkami
czynnikowymi
54,05
7
–
–
0,967
0,169
Model z wolnymi ∏adunkami
czynnikowymi
48,98
4
5,07
3
0,969
0,219
èród∏o: opracowanie w∏asne.
Stopieƒ nachylenia linii regresji (wspó∏czynnik kierunkowy) odpowiada
wartoÊci ∏adunku czynnikowego i identyfikuje jednostk´ miary zmiennej ukrytej, a wartoÊç wyrazu wolnego wskazuje na oczekiwanà wartoÊç danej zmiennej obserwowalnej, gdy wartoÊç zmiennej ukrytej wynosi 0. W sytuacji przedstawionej na rys. 2 te same wartoÊci zmiennych obserwowalnych na skali
Likerta nie odpowiadajà tym samym wartoÊciom zmiennej ukrytej w obu kulturach A i B z powodu ró˝nych poziomów wyrazu wolnego funkcji regresji.
WartoÊç wyrazu wolnego umo˝liwia równie˝ ocen´ poznawczej lub emocjonalnej „trudnoÊci” danej pozycji dla respondentów w poszczególnych kulturach, gdzie ró˝nice w afektywnych lub poznawczych reakcjach na pozycje
skali majà swoje êród∏o w kulturowych uwarunkowaniach stylów i nastawieƒ
odpowiedzi.
Równie˝ i w przypadku analizy ekwiwalencji skalarnej parametry dopasowania dla modelu ograniczonego nie sà gorsze od modelu z wolnymi parametrami. Ró˝nica wartoÊci testu χ2 nie jest statystycznie istotna na poziomie 0,05
(poziom krytyczny odczytany z tablic 0,096) i pozwala na przyj´cie hipotezy,
˝e wyrazy wolne modeli nie ró˝nià si´ w przekroju analizowanych grup.
8 T.D. Little, Mean and Covariance Structures (MACS) Analyses of Cross-Cultural Data:
Practical and Theoretical Issues, „Multivariate Behavioral Research” 1997, nr 32, s. 53–76.
Ocena ekwiwalencji skal pomiarowych...
67
WartoÊci ocen
dla zmiennej ukrytej
Kultura A
TA
Kultura B
TB
IA
IB
0
1
2
3
4
5
WartoÊci ocen zmiennych
obserwowalnych
(5-punktowa skala Likerta)
XA = XB
Rys. 2. Relacja mi´dzy zmiennymi obserwowalnymi a zmiennà ukrytà w modelu
czynnikowym
èród∏o: opracowanie w∏asne.
Tabela 5. Porównanie modelu z ograniczonymi i nieograniczonymi wyrazami wolnymi
Statystyki testowe
Rodzaj modeli
χ2
s.s.
∆χ2
∆s.s.
CFI
RMSEA
Model z ograniczonymi wartoÊciami wyrazów wolnych
59,761
10
–
–
0,965
0,146
Model z wolnymi wartoÊciami
wyrazów wolnych
48,98
4
6
0,969
0,219
10,77
èród∏o: opracowanie w∏asne.
Nale˝y podkreÊliç, ˝e realizacja ka˝dego kolejnego etapu testowania jest
mo˝liwa przy spe∏nieniu warunków modelu dla etapu poprzedniego. Odrzucenie hipotezy dla danego testu uniemo˝liwia testowanie kolejnej hipotezy. Je˝eli np. nie istnieje strukturalna ekwiwalencja zmiennych ukrytych w badanych
kulturach, to równie˝ nie mo˝na testowaç hipotezy o istnieniu ekwiwalencji
skalarnej, metrycznej czy b∏´dów pomiarowych.
Powy˝sze 4 testy sà cz´sto uzupe∏niane przez testy uwzgl´dniajàce tzw.
mi´dzykulturowà inwariancj´ strukturalnà, dotyczàcà relacji zachodzàcych tylko mi´dzy zmiennymi ukrytymi.
68
Adam Sagan
5. Ocena równoÊci wariancji zmiennych ukrytych w grupach: (Φii) = (Φii’).
Jest to test równoÊci elementów przekàtniowych macierzy kowariancji mi´dzy
czynnikami ukrytymi w badanych grupach.
6. Ocena równoÊci kowariancji zmiennych ukrytych w grupach (Φij) =
= (Φij’). Jest to test równoÊci elementów pozaprzekàtniowych macierzy kowariancji mi´dzy czynnikami ukrytymi w badanych grupach.
Drugim, alternatywnym podejÊciem do oceny mi´dzykulturowej ekwiwalencji skal jest teoria reakcji na pozycje skali, majàca zastosowanie g∏ównie do
oceny ekwiwalencji skal Guttmana.
3. Ocena ekwiwalencji pomiaru skali Guttmana
Ekwiwalencja pomiaru w badaniach mi´dzykulturowych prowadzonych
przy zastosowaniu skali Guttmana jest oceniana cz´Êciej na podstawie teorii reakcji na pozycje skali. Wià˝e si´ to z cechami tej skali, która jest skalà monotonicznà i skumulowanà. Zastosowanie liniowego modelu czynnikowego (konfirmacyjnej analizy czynnikowej) do macierzy korelacji lub kowariancji
pozycji skali Guttmana odzwierciedla wewn´trznà struktur´ danych znanà jako simplex. Jest ona spowodowana wyst´powaniem silniejszych korelacji mi´dzy sàsiednimi pozycjami skali skumulowanej, a s∏abszych mi´dzy pozycjami
bardziej odleg∏ymi. W wyniku tego wyst´powaç mogà wysokie wspó∏czynniki korelacji (bliskie jednoÊci) pod g∏ównà przekàtnà macierzy korelacji i monotonicznie maleç w kolejnych pozaprzekàtniowych rz´dach macierzy korelacji. Relacja mi´dzy zmiennymi obserwowalnymi a zmiennà ukrytà w modelu
opartym na teorii reakcji na pozycj´ jest przedstawiona na rys. 3.
W odró˝nieniu od poprzedniego modelu, relacje mi´dzy pozycjami skali
a zmiennà ukrytà majà postaç nieliniowà, cz´Êciej wykorzystuje si´ w pomiarze
skumulowane skale Guttmana (wyst´pujà tylko odpowiedzi typu „tak”/„nie”),
a mierzone konstrukty majà charakter jednowymiarowy.
Krzywe opisujàce zale˝noÊç mi´dzy ogólnym wynikiem uzyskanym na skali (cechà ukrytà) a prawdopodobieƒstwem udzielenia odpowiedzi pozytywnej
na poszczególne stwierdzenie skali noszà nazw´ tzw. krzywych charakterystycznych pozycji testowych (item characteristic curve – ICC) lub funkcji reakcji na pozycj´ testowà (item response function – IRF). Teoria ta pozwala na
wyjaÊnienie mechanizmu le˝àcego u podstaw odpowiadania respondenta na
pozycje skali zarówno z punktu widzenia w∏asnoÊci skali, jak równie˝ cech respondentów zwiàzanych z mierzonym zjawiskiem (np. zdolnoÊci, kompetencji, zaanga˝owania emocjonalnego, skutecznoÊci w rozwiàzywaniu zadania
itp.). Parametry funkcji matematycznej, nale˝àcej zazwyczaj do rodziny funkcji logistycznych, sà szacowane niezale˝nie i odnoszà si´ do tego samego wymiaru. Najcz´Êciej stosowane sà: trójparametryczny model Birnbauma oraz
(najcz´Êciej) jednoparametryczny model Rascha, który jest dany równaniem logistycznym:
Ocena ekwiwalencji skal pomiarowych...
Pi(+ | βv, δi) =
69
e(βv – δi)
(3)
1 + e(βv – δi)
gdzie:
P(+ | βv, δi) – prawdopodobieƒstwo, ˝e respondent ν, przejawiajàcy mierzonà w∏asnoÊç β, udzieli pozytywnej odpowiedzi na stwierdzenie i przy danym
wspó∏czynniku trudnoÊci pozycji δi,
δi – parametr okreÊlajàcy trudnoÊç pozycji skali na kontinuum cechy ukrytej,
βv – parametr okreÊlajàcy w∏asnoÊci respondenta (jego kompetencje w odpowiadaniu na pozycje skali).
Ptawdopodobieƒstwo
odpowiedzi „tak”
na pozycj´ skali
Kultura A
PA
Kultura B
PB
CA
CB
–1
–2
0
1
2
WartoÊci ocen
zmiennej ukrytej
Rys. 3. Model teorii reakcji na pozycj´
èród∏o: opracowanie w∏asne.
Niezale˝noÊç parametrów umo˝liwia bezpoÊrednie porównywanie trudnoÊci poszczególnych stwierdzeƒ ze zdolnoÊciami respondentów w odpowiadaniu na nie.
Podstawowym za∏o˝eniem skal opartych na teorii reakcji na pozycj´, które
umo˝liwia wykorzystywanie krzywych ICC do oceny ekwiwalencji pomiaru
w badaniach mi´dzykulturowych, jest za∏o˝enie o niezale˝noÊci odpowiadania
na pozycje skali przez respondentów oraz specyficznej obiektywnoÊci (specific objectivity) pozycji i respondentów, która g∏osi, ˝e parametry respondentów
Adam Sagan
70
sà niezale˝ne od poszczególnych pozycji oraz parametry pozycji sà niezale˝ne
od poszczególnych respondentów9.
Z tego punktu widzenia, przyjmujàc za∏o˝enie, ˝e dana skala jest mi´dzykulturowo trafna, parametry okreÊlajàce pozycje szacowane na próbach pochodzàcych z ró˝nych kultur powinny ró˝niç si´ nieznacznie. Je˝eli parametry dla pozycji ró˝nià si´ w przekrojach kulturowych, wówczas oznacza to, ˝e prawdopodobieƒstwo odpowiedzi na pozycj´ skali jest ró˝ne dla respondentów charakteryzujàcych si´ tà samà wartoÊcià cechy ukrytej. Sytuacja ta jest przedstawiona na rys.
3, gdzie dla danej wartoÊci cechy ukrytej wyst´pujà ró˝ne prawdopodobieƒstwa
zgody z danà pozycjà skali w obu kulturach. Procedura oceny inwariancji pomiaru na podstawie teorii reakcji na pozycje jest oparta na analizie funkcji reakcji na
pozycje skali i polega na ocenie wyst´powania ró˝nicowania poszczególnych pozycji (differential item functioning – DIF). IstotnoÊç ró˝nic mi´dzy parametrami
poszczególnych pozycji w grupach kulturowych mo˝e byç testowana np. za pomocà testu χ2 Lorda lub wykresu zgodnoÊci parametrów charakteryzujàcych pozycje skali w obu badanych grupach kulturowych. W przyk∏adzie przedstawiono
wykres parametrów charakteryzujàcych miejsca pozycji skali Guttmana na kontinuum zmiennej ukrytej. WartoÊci parametrów sà przedstawione w tabeli 6.
Tabela 6. Parametry pozycji w modelu Rascha
Paremetry pozycji skali Guttmana
na kontinuum cechy ukrytej
Pozycja 1
Pozycja 2
Pozycja 3
Pozycja 4
Pozycja 5
Kultura A
Kultura B
– 1,945
– 0,637
– 0,190
1,386
1,386
– 1,824
– 0,492
– 0,032
0,816
1,533
èród∏o: opracowanie w∏asne.
WartoÊci parametrów uzyskano na podstawie modelu Rascha obliczonego
za pomocà programu WINMIRA 2001.
Zestawienie parametrów z tabeli 6 dla kultury A i B w postaci wykresu
zgodnoÊci jest zaprezentowane na rys. 4.
W przypadku istnienia kulturowej inwariancji pomiarowej wszystkie
punkty reprezentujàce pary parametrów pozycji skali oszacowane dla obu
kultur powinny le˝eç dok∏adnie na linii przechodzàcej pod kàtem 45°. Mo˝na
zauwa˝yç, ˝e pozycje skali nr 1–3 oraz pozycja 5 sà kulturowo inwariantne. Po
wyeliminowaniu pozycji nr 4 i ponownym oszacowaniu parametrów modelu
wszystkie pozycje skali sà kulturowo inwariantne.
9 T. Salzberger, R.R. Sinkovics, B.B. Schlegelmilch, Data Equivalence in Cross-Cultural Research: A Comparison of Classical Test Theory and Latent Trait Theory Based Approaches,
„Australian Marketing Journal” 1998, nr 7.
Ocena ekwiwalencji skal pomiarowych...
71
2,0
Pozycja 5
1,5
Kultura B
1,0
Pozycja 4
0,5
Pozycja 3
0,0
Pozycja 2
–0,5
–1,0
–1,5
–2,0
–2,0
Pozycja 1
–1,5
–1,0
–0,5
0,0
0,5
1,0
1,5
2,0
Kultura A
Rys. 4. Porównanie parametrów pozycji w skali Guttmana w modelu Rascha
èród∏o: opracowanie w∏asne.
2,5
Pozycja 5
2,0
1,5
Kultura B
1,0
0,5
Pozycja 3
0,0
Pozycja 2
–0,5
–1,0
–1,5
Pozycja 1
–2,0
–2,0
–1,5
–1,0
–0,5
0,0
0,5
1,0
1,5
2,0
2,5
Kultura A
Rys. 5. Porównanie parametrów pozycji w skali Guttmana w modelu Rascha
dla zredukowanej liczby pozycji
èród∏o: opracowanie w∏asne.
72
Adam Sagan
Jak wynika z rys. 5, poszczególne parametry znajdujà si´ na linii 45°, co jest
wskaênikiem akceptowalnej ekwiwalencji pomiarowej poszczególnych pozycji skali.
Podsumowujàc, ocena ekwiwalencji pomiarowej w badaniach mi´dzykulturowych jest wa˝nym obszarem zastosowaƒ konfirmacyjnej analizy czynnikowej oraz modeli opartych na teorii reakcji na pozycj´. Wzrastajàca popularnoÊç
badaƒ mi´dzykulturowych powoduje koniecznoÊç wykorzystania tych podejÊç
do trafnej i wyczerpujàcej oceny mo˝liwoÊci porównywania wyników badaƒ
uzyskanych w ró˝nych kontekstach kulturowych.
Literatura
Bloxom B., Alternative Approaches to Factorial Invariance, „Psychometrika” 1972, nr 37.
Craig C.S., Douglas S.P., International Marketing Research, Wiley 2000.
Hubert L., Schultz J., Quadratic Assignment as a General Data Analysis Strategy, „British
Journal of Mathematic Statistical Psychology” 1976, nr 29.
Little T.D., Mean and Covariance Structures (MACS) Analyses of Cross-Cultural Data: Practical and Theoretical Issues, „Multivariate Behavioral Research” 1997, nr 32.
Little T.D., On the Comparability of Constructs in Cross-Cultural Research: A Critique of
Cheung and Rensvold, „Journal of Cross-Cultural Psychology” 2000, nr 31.
Meredith W., Measurement Invariance, Factor Analysis and Factorial Invariance, „Psychometrika” 1993, nr 58.
Muthen B.O., Latent Variable Modeling in Heterogenous Populations, „Psychometrika”
1989, nr 54.
Muthen B.O., Muthen L.K., Mplus. Statistical Analysis with Latent Variables, User’s
Guide, Los Angeles 2002.
Sagan A., Metodologiczne aspekty mi´dzykulturowych badaƒ marketingowych [w:] Wspó∏czesne problemy marketingu mi´dzynarodowego, pod red. J. Wiktora, AE w Krakowie,
Kraków 1999.
Salzberger T., Sinkovics R.R., Schlegelmilch B.B., Data Equivalence in Cross-Cultural Research: A Comparison of Classical Test Theory and Latent Trait Theory Based Approaches, „Australian Marketing Journal” 1998, nr 7.
Steenkamp J.-B., Baumgarten H., Assessing Measurement Invariance in Cross-National
Consumer Research, „Journal of Consumer Research” 1998, nr 25.
Usunier J.-C., Marketing Across Cultures, Prentice Hall, 1996.
Vandenberg R.J., Lance C.E., A Review and Synthesis of the Measurement Invariance Literature: Suggestions, Practices, and Recommendations for Organizational Research,
„Organizational Research Methods” 2000, nr 3.
An Evaluation of the Equivalence of Measurement Scales
in Intercultural Studies
This article is dedicated to the basic approaches in the analysis of research equivalence in
intercultural studies. The author devotes particular attention to the analysis of measurement
equivalence using complex Likert and Guttman scales. He presents a procedure for its
evaluation as part of an approach related to classical test theory and item response theory.
Ocena ekwiwalencji skal pomiarowych...
73
In the first approach, the author distinguishes hierarchical levels of measurement
equivalence (global, configural, metric, scalar and measurement error) that were evaluated
with multi-group confirmatory factor analysis.
In the second approach, the author employs an analysis of curve parameters
characteristic for Guttman scale positions to evaluate measurement equivalence. The data
analysis was conducted using the structural modelling program Mplus 2.13 and the
WINMIRA program.