Dobra ewaluacja – w poszukiwaniu czynników sukcesu

2010
Agnieszka Haber
Maciej Szałaj
Dobra ewaluacja –
w poszukiwaniu czynników sukcesu
Toruń, 26 maja 2010
Dobra ewaluacja – kryteria sukcesu
 Terminowa realizacja
 Wiarygodność wyników (dobra metodologia + poprawna realizacja badania)
 Atrakcyjność informacji
 Odpowiednie wykorzystanie wyników
Kryterium porażki
Zasada potrójnego „Z” (Zamówić, Zbadać, Zapomnieć)
Wymiary sukcesu
Sukces w wersji 3D
METODOLOGIA
ZARZĄDZANIE
KOMUNIKACJA
METODOLOGIA
• Odpowiedni rozwój kompetencji pracowników jednostek ewaluacyjnych
• Kształtowanie długofalowej współpracy z ekspertami i akademikami
• System gromadzenia danych, współpraca z instytucjami statystyki
publicznej
• Procedury kontroli i ochrony jakości
ZARZĄDZANIE
• Zarządzanie ewaluacją ≠ zamawianie ewaluacji
• Zarządzanie ewaluacją – domena jednostki ewaluacyjnej
• Ewaluacja – unikalne przedsięwzięcie, wymaga podejścia projektowego
• Cel – dostarczyć użyteczne wyniki /rekomendacje oraz wypromować wyniki
rys. Zaangażowanie Zamawiającego i Wykonawcy w trakcie trwania procesu ewaluacji.
0
0
zamawiający
0
wykonawca
0
oc
om
pr
wy
n
ez
en
ta
cja
po
r
pr
ra
ja
w
ikó
nie
tow
a
en
a
oc
an
ali
za
ja
wa
c
ob
se
r
ac
ja
ryz
str
uk
tu
wi
an
ie
za
ma
jek
to
wa
nie
ie
pr
o
no
wa
n
pla
ini
cjo
wa
nie
0
przygotowanie
realizacja
odbiór
źródło: HABER A. (2008b) Zarządzanie badaniem ewaluacyjnym – perspektywa zlecającego, s. 212 [w:] red.. K. Olejniczak, M. Kozak, B. Ledzion (2008), op. cit.
KOMUNIKACJA
• Strategia komunikacji – ustalana na wstępnym etapie ewaluacji,
punkt odniesienia w procesie komunikowania wyników, niezbędne
elementy (wizja, segmentacja odbiorców, cele komunikacyjne, plan
działań)
• Element warsztatu ewaluatora
• Udana komunikacja – skuteczna „sprzedaż” wyników
KOMUNIKACJA
wiedza ekspercka
znajomość „biznesu” klienta / projektu
umiejętności komunikacyjne
8
KOMUNIKACJA
wysokiej jakości produkt
użyteczne rozwiązania dla klienta
umiejętności „sprzedażowe”
9
Siła wniosków
i implikacje dla
procesu decyzyjnego
10
Elementy procesu
ewaluacji
Produkty
Identyfikacja potrzeb
informacyjnych
Roboczy (konsultowany)
temat i zakres ewaluacji
Opracowanie projektu
badania ewaluacyjnego
Prezentacja i akceptacja projektu
oraz warunków realizacji
badania
Wybór wykonawcy
Ustalenie warunków współpracy.
Raport metodologiczny
Realizacja badania
Raporty cząstkowe, dzienne,
międzyspływy
Promocja wyników
Raport końcowy (klasyczny).
Prezentacje multimedialne.
Ulotki. Materiały prasowe
Wykorzystanie wyników
Użycie
2. Niewłaściwe
użycie
1. Idealne
użycie
Niewłaściwe
użycie
Zasadne
użycie
3. Nieuzasadniony
brak użycia
4. Uzasadniony
brak użycia
Brak użycia
Źródło: K. Olejniczak, Mechanizmy wykorzystania ewaluacji. Warszawa, 2008.
Ewaluacyjny SWOT – diagnoza czynników sukcesu
Mocne strony
- stabilna, kompetentna jednostka ewaluacyjna
- współpraca z ekspertami
- dostępność funduszy
- doświadczenie w promocji wyników
- doświadczenie w zarządzaniu ewaluacją
- doświadczony wykonawca + dobry zespół
Szanse
- popyt na wyniki
- znajomość ewaluacji po stronie decydentów
i interesariuszy
- zainteresowanie mediów lokalnych
Słabe strony
- rotacja kadr, słaba pozycja jednostki
ewaluacyjnej
- słabość lokalnego zaplecza eksperckiego
- niedoszacowanie budżetów
- ”rozdzielnikowe” promowanie wyników
- brak doświadczenia w zakresie zarządzania
badaniami
- niedoświadczony wykonawca
Zagrożenia
- brak zainteresowania wynikami ewaluacji
- ewaluacja postrzegana jako „przykra
konieczność”
- ”paranoja wydatkowania”
DIAGNOZA
Opracowanie możliwych
rozwiązań
wyznaczenie decyzji
dopuszczalnych/wystarczających/optymalnych
podjęcie ostatecznej decyzji
ewaluacja
Proces decyzyjny
identyfikacja sytuacji wyjściowej
więcej o ewaluacji….
http://www.parp.gov.pl/index/index/1423
więcej o ewaluacji….
VI Konferencja Ewaluacyjna
Warszawa listopad 2010 r.
Dziękujemy za uwagę