testowe sprawdzanie wiadomości w procesie

Transkrypt

Marek Cieciura
TESTOWE SPRAWDZANIE WIADOMOŚCI
W PROCESIE EGZAMINOWANIA
W UJĘCIU PRAKTYCZNYM
Warszawa, wrzesień 2010 r.
TESTOWE SPRAWDZANIE WIADOMOŚCI W PROCESIE EGZAMINOWANIA
W niniejszym opracowaniu przedstawiono podstawowe informacje dotyczące testowego
sprawdzania wiedzy w procesie egzaminowania – szczegóły niektórych fragmentów zawiera
pozycja:
Marek Cieciura, Testowe sprawdzanie wiedzy – Poradnik dla egzaminujących
i egzaminowanych, Vizja Press&IT, Warszawa 2008 http://et.vizja.net.pl
SPIS TREŚCI
1. WPROWADZENIE ..................................................................................... 3
2. PRZYGOTOWANIE I PRZEPROWADZANIE EGZAMINU ................ 6
2.1. UWAGI WSTĘPNE ....................................................................................... 6
2.2. CHARAKTERYZOWANIE PODSTAWOWYCH POJĘĆ ........................................ 8
2.3. PYTANIA TESTOWE .................................................................................... 9
3. WIELOWYMIAROWA ZASADA OCENY ODPOWIEDZI W
PYTANIACH TESTOWYCH....................................................................... 10
3.1. ZASADA OCENY ODPOWIEDZI W POSZCZEGÓLNYCH PYTANIACH NA
PODSTAWIE ZŁOśONOŚCI PYTAŃ – OCENA FORMALNA ..................................... 10
3.2. ZASADA OCENY ODPOWIEDZI W POSZCZEGÓLNYCH PYTANIACH NA
PODSTAWIE TRUDNOŚCI / WAśNOŚCI – OCENA MERYTORYCZNA ....................... 11
3.3. ZASADA ŁĄCZNEJ OCENY ODPOWIEDZI W SEKWENCJI PYTAŃ – PROGI
ZALICZENIOWE............................................................................................... 11
3.4. UPRASZCZANIE I ROZSZERZANE ZASADY OCENY ODPOWIEDZI ................... 12
3.5. PODSUMOWANIE ..................................................................................... 13
4. OBLICZANIE WYNIKÓW EGZAMINU ............................................... 14
4.1. KOLEJNOŚĆ PRZETWARZANIA .................................................................. 14
4.2. WSTĘPNE PRZETWARZANIE...................................................................... 14
4.3. OBLICZANIE WYNIKÓW EGZAMINU........................................................... 15
5. PLANOWANE ROZSZERZENIE MOśLIWOŚCI SPRAWDZANIA
WIEDZY......................................................................................................... 16
5.1. UWAGI WSTĘPNE ..................................................................................... 16
5.2. MONITOROWANIE AKTYWNOŚCI I SKUTECZNOŚCI W OPANOWYWANIU
WIEDZY ......................................................................................................... 17
5.3. EGZAMIN KOMPUTEROWY ....................................................................... 17
2
Data ostatniej aktualizacji: wtorek, 2 listopada 2010
1. WPROWADZENIE
W tabeli 1. przedstawiono podstawowe warianty przeprowadzania testów wiadomości
w procesie egzaminowania, w kolejności zwiększania zakresu informatycznego wspomagania
oraz ich zalety i wady.
Przedstawione w tabeli warianty egzaminów testowych są dwojakiego rodzaju1:
• Wariant I i II – Egzaminowani otrzymują od razu cały komplet pytań testowych, na
rozwiązanie których mają podany konkretny czas – przykładem są tu pytania podane
w ksiąŜeczce testowej lub wyświetlane przez program komputerowy w kolejności, którą
sami określają. Udzielanie odpowiedzi na poszczególne pytania moŜe następować
w dowolnej kolejności, moŜna wracać do wcześniej udzielonych odpowiedzi i je
poprawiać / zmieniać. W takim wypadku warto przeanalizować, ile czasu naleŜy
maksymalnie poświęcić na jedno pytanie oraz na sprawdzenie udzielonych odpowiedzi.
Oprogramowanie wariantu II moŜe być wykorzystane w procesie autosprawdzania
wiedzy.
• Wariant III – Pytania są udostępniane egzaminowanym pojedynczo na określony czas,
nie ma moŜliwości powrotu do wcześniej udostępnionych pytań – przykładem są tu
pytania wyświetlane przez program komputerowy bez moŜliwości zmiany ich kolejności
lub wyświetlane z rzutnika na duŜy ekran. Odpowiedzi są udzielana na dedykowanych
formularzach.
Taki wariant jest szczególnie uŜyteczny przy duŜej liczbie egzaminowanych,
przykładowo w duŜej sali wykładowej moŜe być egzaminowanych równocześnie kilkuset
studentów. Przy 30 stanowiskach w sali komputerowej przeegzaminowanie 300
studentów będzie się odbywało w 10 etapach i w kaŜdym musi uczestniczyć egzaminator.
W wypadku testów komputerowych treść zadań poznawana jest bezpośrednio
z ekranu monitora komputerowego, zaś ich rozwiązania wprowadzane są przez
rozwiązującego test do programu przy pomocy urządzeń peryferyjnych, tj. klawiatury lub
myszy. Ponadto, program moŜe na bieŜąco identyfikować poprawne i niepoprawne
odpowiedzi, sygnalizując to rozwiązującemu test:
bezpośrednio po udzieleniu kaŜdej odpowiedzi;
na końcu testu;
łącznie w w/w przypadkach.
Bardzo waŜnym rodzajem pytań (zadań) testowych są pytania zamknięte, które mogą
wymagać wyboru poprawnej (lub poprawnych) odpowiedzi spośród podanych. Jednak mogą
teŜ zakładać wykazanie się wiedzą innego rodzaju, np. łączenie w pary elementów z dwóch
zbiorów. Inną grupę pytań zamkniętych stanowią te, w których naleŜy wskazać prawidłową
kolejność (porządek) kilku podanych elementów. Pytania zamknięte mają jednoznacznie
zdefiniowane odpowiedzi, nie ma tu miejsca na radosną twórczość osoby testowanej.
Podejście to umoŜliwia automatyczną ewaluację udzielonej odpowiedzi. Gdyby udzielenie
odpowiedzi na pytanie wymagało jej wpisania, sformułowania (np. w polu tekstowym), do
sprawdzenia jej poprawności potrzebny byłby człowiek lub bardzo zaawansowany
i skomplikowany system, uwzględniający m.in. róŜne formy fleksyjne, niedający przy tym
gwarancji poprawnego działania. Forma pytań zamkniętych (osoba testowana zaznacza
poprawne wg niej odpowiedzi) jest obecnie jedyną skuteczną w sytuacji, gdy ocenę ma
wystawić komputer.
Charakterystykę zamkniętych zadań testowych przedstawiono w tabeli 2.
1
Tabela ta w syntetyczny sposób przedstawia podstawowe rodzaje sprawdzianów testowych oraz ich wady
i zalety.
3
Tabela 1. Podstawowe warianty przeprowadzania testów wiadomości oraz ich zalety i wady
Kategorie
Numer wariantu
2
I
II
III
KsiąŜeczka / arkusz
z pytaniami lub zadaniami
Ekran monitora komputera
podłączonego do sieci lokalnej
Ekran wielkoformatowy,
wyświetlanie pytań z rzutnika
komputerowego
Podawanie
odpowiedzi
Karta odpowiedzi,
wczytywana po wypełnieniu
za pomocą skanera
Klawiatura
Karta odpowiedzi, wczytywana
po wypełnieniu za pomocą
skanera
Ograniczenie czasu
odpowiedzi dla
pytań
N
T/N
T
Udzielanie
odpowiedzi
w kolejności pytań
N
T/N
T
MoŜliwość
powrotu do
wcześniejszych
pytań
T
T/N
N
MoŜliwość korekty
odpowiedzi
T/N
T/N
N
Przedstawianie
pytań
• MoŜliwość stosowania wielu wersji testu
• MoŜliwość udzielania odpowiedzi w dowolnej kolejności
i w dowolnym tempie
Zalety
Wady
Nie dotyczy
• MoŜliwość asynchronicznego egzaminowania w róŜnym
zakresie
• DuŜa przepustowość
• Udzielane odpowiedzi od razu
są zapamiętane
• Mały koszt
• Konieczność drukowania
ksiąŜeczek testowych
i wczytywania odpowiedzi
• DuŜy koszt inwestycyjny
• Mała przepustowość –
jednorazowo ok. 30 studentów
przy standardowej pojemności
laboratorium
• Odpowiadanie zgodnie
z rytmem wyświetlania pytań
• Tylko dwie wersje testu
i wczytywania kart odpowiedzi
• DuŜa przepustowość
.
2
4
Czasami pytania są drukowane na karcie odpowiedzi. MoŜliwe jest wtedy wprowadzenie wielu wersji testu.
Taki wariant moŜna wykorzystywać np. przy pytaniach w postaci zadań. Poszczególne odpowiedzi stanowią
przykładowe wyniki, jeden z nich jest poprawny.
Tabela 2. Charakterystyka zamkniętych zadań testowych
Klasa
zadania
Zadania
typu
prawdafałsz
Typ zadania
Zadania wyboru
alternatywnego
Zadania
skalowalne
Zadania
jednokrotnego
wyboru
Zadania
wielokrotnego
wyboru
Zadania
wyboru
Zadania
na
dobieranie
Postać odpowiedzi
Wybór jednej z dwóch odpowiedzi: tak – nie, poprawnie – niepoprawnie, dotyczy –
nie dotyczy, większy – mniejszy, lepszy – gorszy.
Wybór jednej z kilku odpowiedzi: kaŜdy – niektóry – Ŝaden, zawsze – często –
rzadko – nigdy, większy – równy – mniejszy.
Wybór prawidłowej odpowiedzi spośród kilku odpowiedzi podobnych.
Wybór kilku prawidłowych odpowiedzi spośród odpowiedzi podobnych.
Zadania
analizujące
Zadanie składa się z dwóch członów, sformułowanie zamieszczone w kaŜdym moŜe
być prawdziwe lub fałszywe. Odpowiedź określa jedną z czterech moŜliwości
stwierdzeń dotyczących prawdziwości lub fałszywości obu członów.
Zadania
problemowe
Zadanie, które wymaga rozwiązania określonego probemu. Składa się z dwóch częći:
pierwszej, prezentującej problem, i drugiej – podającej kilka odpowiedzi do wyboru.
Zadania
przyporządkowania
Dwa warianty zadań:
• Przyporządkowanie jednemu elementowi z pierwszej listy – jednego elementu
z drugiej listy;
• Przyporządkowanie elementom z pierwszej listy elementów drugiej listy.
Odtworzenie hierarchii podanych elementów co do natęŜenia pewnej cechy,
chronologii wydarzeń, etapów przebiegu procesu, itp.
Zadania
uporządkowania
Zadania
klasyfikacji
Zadania wyłączenia
pojedynczego
Pogrupowanie symboli, słów, zdań, wyraŜeń matematycznych, itp. w określone
klasy.
Konstrukcja zadania składa się z dwóch części, w kaŜdej z nich podana jest
określona liczba stwierdzeń. Przykładowo:
• Stwierdzenia podane w pierwszej części, za wyjątkiem jednego, odpowiadają
stwierdzeniom z drugiej części. NaleŜy wskazać stwierdzenie stanowiące wyjątek
w pierwszej części, któremu odpowiadają pozostałe elementy drugiej części.
Zwraca się uwagę, Ŝe zadanie wielokrotnego wyboru moŜe być sformułowane w postaci
zadania klasyfikacji.
Pytanie wielokrotnego wyboru w postaci klasycznej:
Wybrać, które z poniŜszych określeń są tytułami zawodowymi:
A. Doktor
B. Magister
C. InŜynier
D. Adiunkt.
E. Profesor
Pytanie wielokrotnego wyboru w postaci zadania klasyfikacji:
Wybrać, które z poniŜszych określeń są tytułami zawodowymi:
1-2
A. Doktor
B. Magister
C. InŜynier
D. Adiunkt.
E. Profesor
1. Tak
2. Nie
5
2. PRZYGOTOWANIE I PRZEPROWADZANIE EGZAMINU
2.1. Uwagi wstępne
W niniejszym punkcie opisano przeprowadzanie egzaminu w wariancie III podanym
w tabeli 1.
Na poniŜszym rysunku przedstawiono wyposaŜenie niezbędne do przeprowadzenia tej
wersji egzaminu testowego.
Komputer z testem
Rzutnik komputerowy
Ekran
Karta egzaminacyjna
Długopis i korektor
Ołówek i gumka
Rysunek 1. WyposaŜenie niezbędne do przeprowadzania III wariantu egzaminu testowego
Pytania testowe przygotowuje się w dwóch wersjach w formie prezentacji programu
PowerPoint – w obu występują takie same pytania, ale w róŜnej kolejności. Na kaŜdym
slajdzie podawane jest jedno pytanie w postaci dla pierwszej wersji testu – w górnej lub lewej
części slajdu, dla drugiej wersji testu – w dolnej lub prawej części slajdu. KaŜdy slajd
wyświetlany jest przez ustalony czas, zaleŜny od trudności pytania. Podczas wyświetlania
w prawym górnym rogu slajdu na bieŜąco podawana jest liczba sekund, przez które slajd
będzie jeszcze wyświetlany.
Po zakończeniu wyświetlania bieŜącego slajdu, następuje automatyczne przejście do
wyświetlania slajdu następnego. Po zmianie obrazu, powrót do wcześniejszego pytania nie
jest moŜliwy.
Dla uzyskania takiego wyświetlania slajdów naleŜy:
1) Do kaŜdego slajdu naleŜy wkleić animowany gify (np. w prawym górnym rogu), który
odlicza i pokazuje czas, jaki upłynął od momentu wyświetlenia slajdu – kilka gifów
o róŜnych czasach trwania zamieszczono w odrębnej zakładce.
2) Na kaŜdym slajdzie ustawić Pokaz slajdów → Przejście slajdu → Przełączanie slajdu →
Automatycznie po i wpisać taką samą liczbę sekund, jaką „zaszyto” we wstawianym gifie.
Odpowiedzi są udzielane na specjalnych arkuszach: koloru białego dla pierwszej
wersji oraz Ŝółtego – dla drugiej. Na karcie naleŜy napisać swoje nazwisko i imię, numer
indeksu, datę zaliczenia oraz się podpisać. Na kartach naleŜy takŜe zakodować numer indeksu
oraz na bieŜąco podawać odpowiedzi na wyświetlane pytania.
6
Karty egzaminacyjne moŜna wypełniać czarnym długopisem lub miękkim ołówkiem.
Dla poprawy błędnie zakodowanych danych (numer indeksu i udzielone odpowiedzi) oraz
udzielonych odpowiedzi naleŜy przynieść ze sobą korektor lub gumkę.
Skreślanie na karcie nie będzie uwzględniane – zakodowane dane będą automatycznie
odczytywane techniką OCR. Stąd kodowanie powinno być wyraźne:
Rysunek 2. Dwa warianty kart egzaminacyjnych
Kodowanie przykładowego numeru indeksu 6501 przedstawiono poniŜej.
6 5 0
INDEKS
1
2
3
4
5
6
7
8
9
0
1
6
1
X
X
X
POPRAWNIE
5 0 1
INDEKS
1
X
X
X
BŁĘDNIE
Rysunek 3. Kodowanie numeru indeksu
PoniŜej opisano dwa etapy egzaminowania podane w propozycjach dydaktycznych dla
kaŜdego przedmiotu.
7
2.2. Charakteryzowanie podstawowych pojęć
Na poniŜszych rysunkach przedstawiono przykładowy slajd i przykładową kartę
egzaminacyjną.
Rysunek 4. Przykładowy slajd z podstawowymi pojęciami
Rysunek 5. Przykładowa karta do sporządzania opisu podstawowych pojęć
8
2.3. Pytania testowe
Na poniŜszych rysunkach przedstawiono przykładowy slajd i przykładową kartę
egzaminacyjną.
Rysunek 6. Przykładowy slajd z pytaniami testowymi
Rysunek 7. Przykładowa karta odpowiedzi dla pytań testowych
9
Na kartach trzeba kodować odpowiedzi w określony sposób. Przykładowo dla pytania 1 z I
wersji podanego na rys. 5 (jest to pytanie przyporządkowania) prawidłowe odpowiedzi są
następujące: A -1, B – 4, C – 2, D – 3. Powinny być one zakodowane na górnym lewym
fragmencie karty przeznaczonym do zaznaczania odpowiedzi w sposób następujący:
1
2
3
4
A
X
B
C
D
E
F
X
X
X
Rysunek 8. Przykład kodowania odpowiedzi
Zwraca się uwagę, Ŝe w kaŜdej kolumnie i wierszu występuje tylko jeden znak X.
3. WIELOWYMIAROWA ZASADA OCENY ODPOWIEDZI
W PYTANIACH TESTOWYCH
3.1. Zasada oceny odpowiedzi w poszczególnych pytaniach na podstawie złoŜoności
pytań – ocena formalna
Proponowaną zasadę podano na przykładach róŜnych pytań.
Przykład 1. Zadanie jednokrotnego wyboru
Ilu jest uŜytkowników Internetu w Polsce (w
milionach):
Sposób oceny:
Za prawidłową odpowiedź przydziela się
liczbę
punktów
równych
liczbie
moŜliwych odpowiedzi, tzn. równą 4.
Przy
udzieleniu
wiekszej
liczby
odpowiedzi niŜ jedna
zapytania
przydziela się liczbe punktów równą 0.
Przykład 2. Zadanie przyporządkowania
Skojarzyć dwie kolumny:
Sposób oceny:
Oddzielnie ocenia się odpowiedzi dla
poszczególnych
pozycji
pierwszej
kolumny oznaczonych literami – w tym
przypadku 5, są tzw. pytania składowe.
Za prawidłowe skojarzenie pozycji z
pierwszej kolumny z pozycją z drugiej
kolumny („litery” z „cyfrą”) przydziela
się liczbę punktów równą liczbie pozycji
w drugiej kolumnie (liczba cyfr) – w tym
przypadku 5. Liczba punktów za pytanie
jest równa sumie punktów uzyskanych za
poszczególne pozycje pierwszej kolumny.
W tym przypadku maksymalna liczba
punktów jest równa 5*5=25.
10
Przykład 3. Zadanie uporządkowania
Określić kolejność:
Sposób oceny:
poszczególnych
pozycji
pierwszej
przypadku 4. Za prawidłowe określenie
kolejności pozycji z pierwszej kolumny
przydziela się liczbę punktów równą
liczbie pozycji w pierwszej, tzn. 4. Liczba
punktów za pytanie jest równa sumie
punktów uzyskanych za poszczególne
pozycje pierwszej kolumny. W tym
przypadku maksymalna liczba punktów
jest równa 4*4=16.
Przykład 4. Zadanie klasyfikacji
Dokonać klasyfikacji:
Sposób oceny:
poszczególnych
pozycji
pierwszej
przypadku
5.
Za
prawidłowe
sklasyfikowanie pozycji z pierwszej
kolumny pozycją z drugiej kolumny
(„litery” z „cyfrą”) przydziela się liczbę
punktów równą liczbie pozycji w drugiej
kolumnie (liczba cyfr) – w tym przypadku
3. Liczba punktów za pytanie jest równa
sumie
punktów
uzyskanych
za
poszczególne pozycje pierwszej kolumny.
W tym przypadku maksymalna liczba
punktów jest równa 5*3=15.
3.2. Zasada oceny odpowiedzi w poszczególnych pytaniach na podstawie trudności /
waŜności – ocena merytoryczna
W zaleŜności od waŜności lub/oraz trudności pytania przydziela mu się
współczynniki, np. w postaci liczb całkowitych: 1, 2 lub 3.
W poniŜszej tabeli podano przykładowe wartości takich współczynników dla
przykładowych pytań podanych w punkcie 1.
Nr przykładu
1
2 3
4
Współczynnik
1
2
3
2
3.3. Zasada łącznej oceny odpowiedzi w sekwencji pytań – progi zaliczeniowe
Oblicza się maksymalnie moŜliwą liczbę punktów jako sumę moŜliwych punktów dla
poszczególnych pytań, które oblicza się jako iloczyn moŜliwej liczby punktów i
współczynnika zaleŜnego od trudności, czy waŜności pytań.
Przykładowo dla czterech pytań opisanych w punkcie 1 maksymalnie moŜna uzyskać liczbę
punktów równą:
Smax = 4*1 + 25*2 + 16*3 + 15*2 = 4 + 50 + 48 +30 = 132
11
Z reguły przyjmuje się zadawalający poziom odpowiedzi, jeŜeli łączna liczba
uzyskanych punktów jest większa niŜ 50% punktów moŜliwych do uzyskania – moŜna
oczywiście przyjąć inną wartość.
Tak więc wynik pozytywny jest przy uzyskaniu co najmniej 67 punktów – jest to tzw. próg
zaliczeniowy.
Dzieląc równomiernie lub nierównomiernie zakres punktów od 67 do 132 otrzymuje się
granice dla ocen, np. 3, 4, 5 i 6.
Dla uzyskania porównywalnej oceny róŜnych sekwencji pytań moŜna normować
uzyskane wyniki do przedziału [0 ; 100] dzieląc otrzymany wynik przez maksymalnie
moŜliwą liczbę punktów.
Udzielane odpowiedzi na pytanie jednokrotnego wyboru czy pytania składowe pytań
złoŜonych ocenia się w oparciu o przyjętą dla nich liczbę punktów i współczynnik zaleŜny od
trudności, czy waŜności pytań. Wzór do obliczania liczby punktów S jest więc następujący:
N
S = ∑ zi ⋅ w i ⋅ Si
i =1
gdzie: N – liczba pytań;
zi – współczynnik złoŜoności pytań;
wi – współczynnik waŜności/trudności i-tego pytania;
Si – liczba poprawnych odpowiedzi na pytania składowe pytania i-tego.
Liczbę poprawnych odpowiedzi na pytania składowe pytania i-te Si oblicza się w sposób
następujący:
Mi
Si = ∑ δij
j=1
gdzie: Mi – liczba pytań składowych w pytaniu i-tym;
1
δij = 
0
jeŜeli odpowiedź na j-te pytanie składowe i-tego pytania jest poprawna
jeŜeli odpowiedź na j-te pytanie składowe i-tego pytania jest błędna
3.4. Upraszczanie i rozszerzane zasady oceny odpowiedzi
Największym uproszczeniem opisanej zasady jest przydzielanie takiej samej liczby
punktów dla kaŜdego pytania w przypadku udzielenia całkowicie poprawnej odpowiedzi.
Podejście to nie jest do przyjęcia z dwóch powodów:
• złoŜoność pytań jest bardzo zróŜnicowania – patrz przykład 1 vs. przykład 3;
• nie dostarcza informacji o udzieleniu poprawnej odpowiedzi na składowe części pytania;
• nie uwzględnia trudności pytania.
W takim przypadku przy przyznawaniu jednego punktu za udzielone prawidłowe odpowiedzi
dla kaŜdego z czterech pytań podanych w punkcie 1 wynik zawierałby się pomiędzy 0 i 4 –
jest to bardzo nieprecyzyjna informacja, poniewaŜ pytania te są bardzo zróŜnicowane.
Mniej uproszczony wariant polega na ocenie binarnej poprawności odpowiedzi, tzn.
ocenia się czy została udzielona całkowicie poprawna odpowiedź, tzn. poprawne odpowiedzi
na składowe części pytania i dodatkowo uwzględnia się złoŜoność pytań i / lub ich trudność.
Przy uwzględnieniu złoŜoności i trudności pytań wynik określający poprawność udzielonych
odpowiedzi byłby jedną z kilku liczb całkowitych z przedziału od 0 do 132. Przykładowo
przy udzieleniu tylko poprawnej odpowiedzi na jedno pytanie wynik ten byłby równy: 4, 50,
48 lub 30 – w zaleŜności na które pytanie byłaby udzielona odpowiedź prawidłowa.
Do rozwaŜania jest takŜe modyfikacja zasady przyznawania punktów za odpowiedzi
na pytania cząstkowe w niektórych pytaniach przyporządkowania i uporządkowania. Wróćmy
do przykładu 2 – określając znaczenie dla pierwszego z akronimów (niekoniecznie podanego
12
jako pierwszy, ale wybieranego jako najpewniejszy) mamy do wyboru 4 znaczenia, tak więc
za prawidłowy wybór przydziela się 4 punkty. Określając znaczenie kolejnego akronimu
mamy do wybory trzy znaczenia, tak więc za prawidłowy wybór przydziela się 3 punkty.
Dalej określając znaczenie następnego akronimu mamy do wybory dwa znaczenia, tak więc
za prawidłowy wybór przydziela się 2 punkty. Po określeniu znaczeń trzech z czterech
akronimów jednoznacznie jest określone znaczenie ostatniego akronimu – nie ma więc
uzasadnienia przyznawania punktów za określenie jego znaczenia. Tak więc za udzielenie
prawidłowych odpowiedzi na 4 pytania składowe, tzn. za prawidłowe określenie znaczenia
czterech akronimów przydzielamy 4 + 3 + 2 = 9 punktów. PoniewaŜ określamy znaczenie
czterech akronimów w dowolnie wybieranej kolejności to za kaŜde prawidłowe określenie
znaczenia akronimu naleŜy przydzielić liczbę punktów równą ilorazowi sumy punktów i
liczby pytań składowych tzn. równą 9/4=2,25. Tak więc przy takim podejściu za pytanie to
moŜna uzyskać maksymalnie 9 punktów, a nie 16, jest prawie dwa razy mniej!
W przedstawionej zasadzie moŜna takŜe wprowadzić ujemne punkty za
nieprawidłowe odpowiedzi, np. poprzez przyznawanie za kaŜdą nieprawidłową odpowiedź
50% punktów przyznawanych za odpowiedź prawidłową pomnoŜoną przez -1. Inny wariant
to wprowadzenie punktów ujemnych za brak odpowiedzi, np. w wysokości 25% punktów
przyznawanych za odpowiedź prawidłową pomnoŜoną przez -1 z pozostawieniem lub nie
„kary” za niepoprawną odpowiedź. I tak w przykładzie 1 za nieprawidłową odpowiedź
przyznawane byłyby – 2 punkty, a za brak odpowiedzi – 1 punkt.
Dodatkowo moŜna uwzględnić jeszcze udzielenie odpowiedzi względem ustalonego
momentu.
Wzór do obliczania liczby punktów byłby przy takim podejściu następujący:
N
Mi
i =1
j=1
S = ∑ zi ⋅ w i ⋅ t i ⋅ ∑ cij
gdzie: N – liczba pytań;
zi – współczynnik złoŜoności pytań;
wi – współczynnik waŜności/trudności i-tego pytania;
2
ti = 
1
jeŜeli odpowiedź na i-te pytanie została udzielona przed ustalonym momentem
jeŜeli odpowiedź na i-te pytanie została udzielona po ustalonym momencie
Mi – liczba pytań składowych w pytaniu i-tym;
 1

cij =  −0, 5
−0, 25

jeŜeli odpowiedź na j-te pytanie składowe i-tego pytania jest poprawna
jeŜeli
jeŜeli
odpowiedź na j-te pytanie składowe i-tego pytania jest błędna
brak jest odpowiedzi na j-te pytanie składowe i-tego pytania
3.5. Podsumowanie
Przedstawiona zasada umoŜliwia jednolitą i zagregowaną ocenę odpowiedzi dla
róŜnych rodzajów pytań. Nie wydaje się celowe rejestrowanie i podawanie wykładowcy
udzielonych odpowiedzi dla pytań jednokrotnego wyboru oraz dla składowych części pytań
złoŜonych: przyporządkowania, uporządkowania i klasyfikacji – jest to informacja o zbyt
duŜej objętości do analizy.
Punktowa ocena udzielanych pytań zaleŜy od ich złoŜoności – ocena formalna i ich
trudności czy waŜności – ocena merytoryczna.
NaleŜy podkreślić, Ŝe zaproponowane warianty są generalnie arbitralne mimo, Ŝe
powstały na bazie logicznego podejścia. Stąd moŜliwa jest ich dowolna modyfikacja
wynikająca z załoŜeń przyjętych przez sprawdzającego wiedzę.
13
4. OBLICZANIE WYNIKÓW EGZAMINU
4.1. Kolejność przetwarzania
1.
2.
3.
4.
5.
Skanowanie kart odpowiedzi, OCR i zapisanie w pliku Excel
Zapisanie odpowiedzi w pliku ASCII
Wstępne przetwarzanie – patrz poniŜej
Analiza testu i obliczenie wyników
Sprawdzenie poprawności pytań, ewentualna poprawa odpowiedzi czy eliminacja
niektórych pytań – szczegóły podano w w/w podręczniku oraz powtórne obliczenie
wyników testu
6. Poprawienie powtarzających się numerów na kartach odpowiedzi
7. Obliczenie premii
8. Obliczenie ocen w oparciu o wyniki testu i premie.
Obliczenia wykonywane są dedykowanymi programami. PoniŜej podano kilka szczegółów
dotyczących przetwarzania.
4.2. Wstępne przetwarzanie
Uzupełnienie indeksu
Transformacja
UA.PAR
UA.ERR
Program PROG1
UA.TXT
MQ.TXT
Program PROG2
UA.MON
Dane
UA.ERR – zeskanowane odpowiedzi
UA.TXT - zeskanowane odpowiedzi po poprawie
indeksów - uzupełnieniu indeksu do stałej liczby pozycji
UA.PAR – liczba kolumn i wierszy dla pytań złoŜonych
UA.ODP – wersja testu na poziomie pytań złoŜonych
UA.PRN
Wyniki
UA.UAN – wyniki monitorowania transformacji
UA.PRN – udzielone odpowiedzi na pytania
pojedyncze
Program PROG1 poprawia błędnie zakodowane indeksy – patrz rys. 3.
Program PROG2 transformuje udzielone odpowiedzi na pytania pojedyncze. Odpowiedzi na
pytania jednokrotnego wyboru pozostają bez zmian. Odpowiedzi na pytanie wielokrotnego
wyboru po transformacji są ciągiem cyfr 1 lub 2 o długości równej liczbie moŜliwych
odpowiedzi. Odpowiedzi na pytanie złoŜone po transformacji są ciągiem cyfr zamieszczonych
w prawej „części” pytania o długości równej liczbie liter umieszczonych w lewej „części”
pytania.
Takie postępowanie umoŜliwia analizę pytań i ocenę testu niezaleŜnie od rodzaju pytań
składowych za pomocą tych samych programów, którymi przetwarzano wyniki odpowiedzi z
testu jednokrotnego wyboru.
14
UAQ.PAR
UA.ODP
Program PROG3
UA.WER
UA.PRA
UA.ILO
Rysunek 9. Schemat wstępnego przetwarzania wyników egzaminu
Dane
UA.PAR – liczba kolumn i wierszy dla pytań złoŜonych
UA.ODP – wersja testu na poziomie pytań złoŜonych
Wyniki
UA.PRA – prawidłowe odpowiedzi dla pytań
pojedynczych – plik do wpisania ręcznego
UA.WER – wersja testu na poziomie pytań
pojedynczych
UA.ILO – ilości odpowiedzi na poziomie pytań
pojedynczych
Program PROG3 automatycznie tworzy plik z wersją pytań przetransformowanych na
podstawie wersji testu dla pytań złoŜonych. Tworzy takŜe plik do którego ręcznie naleŜy
wpisać prawidłowe odpowiedzi dla pytań przetransformowanych.
4.3. Obliczanie wyników egzaminu
UA.PRN
UA.WER
UA.ILO
UA.PRA
Program PROG4
Obliczanie wyników testu
UA.WYN
UA.ANA
UA1.PRN
Program PROG5
Obliczanie sumarycznych wyników i ocen
UA.SUM
Rysunek 10. Schemat obliczania wyników egzaminu
15
Dane
UA.ILO – liczby odpowiedzi na kolejne pytania
UA.PRA – prawidłowe odpowiedzi
UA.WER – wersja testu
UA.PRN – odpowiedzi na pytania pojedyncze
UA1.PRN – uzyskane premie
Wyniki
UA.WYN – wyniki testu
UA.ANA – analiza pytań
UA.SUM – wyniki sumaryczne + oceny
Program PROG4 dokonuje:
• analizy pytań zamieszczając dla kaŜdego pytania procenty wyboru poszczególnych
odpowiedzi, prawdopodobieństwo udzielenia poprawnej odpowiedzi p oraz iloczyn p*(1-p);
Oblicza takŜe średnią liczbę i wariancję uzyskanych punktów, średnie liczby uzyskanych
dla obu wersji testu oraz współczynnik Kudera-Richardsona. W końcu sprawdza
powtarzanie się numerów indeksu.
PowyŜsze informacje są podstawą wykonania określonych korekt.
• oceny poprawności udzielonych odpowiedzi zamieszczając dla kaŜdego studenta
sumaryczną liczbę uzyskanych punktów z podziałem na dwie grupy pytań.
Program PROG5 oblicza:
• dla kaŜdego studenta sumaryczną liczbę punktów i ocenę zgodnie z przyjętą zasadą –
podawane są liczba punktów z testu, premia uzyskana, premia uwzględniona, sumaryczna
liczba punków i ocena.
• rozkład uzyskanych punktów sumarycznych
• rozkład uzyskiwanych ocen
5. PLANOWANE ROZSZERZENIE MOśLIWOŚCI SPRAWDZANIA
WIEDZY
5.1. Uwagi wstępne
Korzystanie z narzędzie udostępnianych na stronie internetowej http://cieciura.net/zsw/ nie
jest w Ŝaden sposób monitorowane, bo takie było załoŜenie projektowe. Jedyny „ślad”
z korzystania z nich jaki moŜe, ale nie musi pozostać to zgłoszona opinia z wykorzystaniem
udostępnianego formularza ankiety:
http://www.ankietka.pl/ankieta/47067/ankieta-dotyczaca-strony-wwwcieciuranetzsw.html
Z drugiej strony strony w procesie dydaktycznym w postaci papierowej zbierane są róŜne
informacje, które są podstawą przyznawania premii – patrz dostępne na w/w stronie
„Propozycje dydaktyczne” dla trzech przedmiotów.
W końcu opisane w niniejszym opracowaniu zasady egzaminowania dotyczą wariantu III –
patrz tabela 1.
Stąd w niniejszym punkcie opisano planowane wykorzystanie opracowanych narzędzie w
procesie egzaminowania z wykorzystaniem komputerów – wariant II podany w tabeli 1 oraz
monitorowanie aktywności i skuteczności w opanowywaniu wiedzy.
NiezaleŜnie od tego w udostępnionych narzędziach i w konsekwencji w planowanych
rozszerzeniach planuje się:
• „ukrycie” przyporządkowania haseł i ich objaśnień w postaci programu dla krzyŜówek;
• zapewnić losowanie dystraktorów w teście 1;
• wprowadzić pojęcia synonimiczne w zadaniach z lukami;
• uzupełnić testy pytaniami w postaci graficznej, co dotyczy przede wszystkim przedmiotu
„Metody probabilistyczne i statystyka”.
16
5.2. Monitorowanie aktywności i skuteczności w opanowywaniu wiedzy
Dla zapewnienia moŜliwości monitorowania aktywności i skuteczności w opanowywaniu
wiedzy naleŜy zapewnić spersonalizowane zbieranie informacji o czasie wykorzystywania
narzędzi i uzyskanych wynikach oraz rejestrowanie tych informacji.
Tak więc naleŜy dokonać zmian w funkcjonalności poszczególnych narzędzi, aby generowały
informację o prawidłowości udzielanych odpowiedzi i czasie wykorzystywania, jak i czasie
sumarycznym oraz zaprojektować i wykonać „nakładkę” nad wykorzystywanymi
narzędziami, aby zrealizować w/w zadania.
Dodatkowo naleŜy zapewnić moŜliwość kontynuowania rozwiązywania krzyŜówki od stanu
poprzedniego, poprzez zapamiętanie na swoim komputerze.
Na poniŜszym rysunku przedstawiono ideę takiego monitorowania.
Zebrane
informacje
Zbieranie informacji o czasie wykorzystywania narzędzi i uzyskanych wynikach
KrzyŜówka
Test 1
Test 2
Zadania
z lukami
Zadania
opisowe
Logowanie się do zestawu narzędzi
Rysunek 11. Idea monitorowania aktywności i skuteczności w opanowywaniu wiedzy
5.3. Egzamin komputerowy
Dla uzyskania moŜliwości przeprowadzenia egzaminu komputerowego na bazie
opracowanych narzędzia naleŜy zapewnić generowanie określonej liczby zestawów
egzaminacyjnych o takiej samej liczbie pytań i zadań, róŜniących się kolejnością
występowania. W szczególności naleŜy:
• opracować kilka „małych krzyŜówek” i zapewnić losowanie jednej z nich;
• zapewnić losowanie ustalonej liczby pytań jednokrotnego i wielokrotnego wyboru;
• zapewnić losowanie ustalonej liczby pytań złoŜonych, np. po jednym z kaŜdego działu;
• zapewnić losowanie np. 1 zadania z lukami;
• zapewnić losowanie np. 1 tematu z zadań opisowych;
• zapewnić mierzenie czasu udzielania odpowiedzi i informowanie o nim zdającego, a takŜe
zablokowanie udzielania odpowiedzi po upływie czasu egzaminu;
• obliczanie i wyświetlanie wyniku egzaminu po zakończeniu udzielania odpowiedzi.
17
Na poniŜszym rysunku przedstawiono ideę takiego generowania zestawu egzaminacyjnego.
Logowanie się do zestawu egzaminacyjnego
Zestaw
egzaminacyjny
Losowanie pytań i zadań z poszczególnych narzędzi zgodnie z przyjętym rozkładem
KrzyŜówka
Test 1
Test 2
Zadania
z lukami
Zadania
opisowe
Rysunek 12. Idea egzaminu komputerowego
Dodatkowo naleŜy zapewnić spersonalizowane rejestrowanie udzielanych odpowiedzi oraz
ocenę ich poprawności. Na tej podstawie zgodnie z przyjętą zasadą „punktowania” będzie
obliczany sumaryczny wynik, który po porównaniu z kryteriami wystawiania ocen umoŜliwi
wygenerowanie stopnia z egzaminu.
Tak więc naleŜy dokonać zmian w funkcjonalności poszczególnych narzędzi, aby generowały
informację o prawidłowości udzielanych odpowiedzi oraz zaprojektować i wykonać
„nakładkę” nad wykorzystywanymi narzędziami, aby zrealizować w/w zadania.
Na zakończenie naleŜy podkreślić, Ŝe udostępniane narzędzia pozwalają na treściowe
unormowanie stopni, najprostszy przykład poniŜsza tabela (właściwszym rozwiązaniem jest
dokonanie podziału elementów kaŜdego z narzędzi na wyróŜniane treści kształcenia –
elementy niektórych narzędzi mają stosowne oznaczenia).
Rodzaje treści kształcenia
Narzędzie sprawdzające
Stopień
K – treści konieczne
KrzyŜówka, Test 1
Dostateczny
Z – treści zasadnicze: (K + Z)
Zadania z lukami
Dobry
P – treści pełne: (K + Z + P)
Test 2
Bardzo dobry
D – treści dopełniające: (K + Z + P + D)
Zadania opisowe, Wybrane cytaty
Celujący
18
Treści dopełniające
Treści pełne
Treści zasadnicze
Treści
konieczne
Rysunek 13. ZaleŜność pomiędzy wyróŜnianymi rodzajami treści kształcenia
19

testowe sprawdzanie wiadomości w procesie

Transkrypt

Podobne dokumenty

Inspera - PCG Academia

KRYTERIA OCENY SAMOCHODÓW – JAZDA PRÓBNA

Wniosek o zwrot opłaty

zobacz dyplom

Informacja dotycząca Planów Zarządzania Ryzykiem Powodziowym