docraport z ewaluacji wewnętrznej mid – term projektu
download 
Reklamacja Transkrypt
raport z ewaluacji wewnętrznej mid – term projektu
Instytucja: Wyższa Szkoła Przedsiębiorczości i Administracji w Lublinie Tytuł projektu: Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim Numer projektu: POKL.07.02.1. – 06 – 022/09 Informacje o osobie sporządzającej: Krystyna Małocha Stanowisko w ramach projektu: Specjalista ds. ewaluacji Zadanie 1 - Zarządzanie, promocja i informacja oraz ewaluacja projektu Etap 19. Przeprowadzenie ewaluacji mid-term RAPORT Z EWALUACJI WEWNĘTRZNEJ MID – TERM PROJEKTU „SPOŁECZNE I INSTYTUCJONALNE ASPEKTY BEZDOMNOŚCI”, REALIZOWANEGO PRZEZ WYŻSZĄ SZKOŁĘ PRZEDSIĘBIORCZOŚCI I ADMINISTRACJI W LUBLINIE AUTOR: KRYSTYNA MAŁOCHA LUBLIN, LISTOPAD 2010 1 SPIS TREŚCI Wstęp ____________________________________________________________________ 3 I. Streszczenie raportu_______________________________________________________ 5 II. Metodologia badań_______________________________________________________ 8 2.1. Cel i przedmiot badań_____________________________________________________________ 8 2.2.Pytania badawcze _________________________________________________________________ 8 2.3. Kryteria ewaluacji_______________________________________________________________ 10 2.4. Metody i narzędzia badawcze _____________________________________________________ 10 III. Analiza wyników ewaluacji ______________________________________________ 13 3.1. Ogólna charakterystyka projektu __________________________________________________ 13 3.2.Analiza i ocena trafności projektu __________________________________________________ 14 3.3. Analiza i ocena skuteczności_______________________________________________________ 22 3.4. Analiza i ocena użyteczności z punktu widzenia bezdomnych oraz instytucji ______________ 32 IV. Podsumowanie i wnioski_________________________________________________ 38 Aneks ___________________________________________________________________ 42 Załącznik nr 1. Wytyczne do analizy dokumentów________________________________________ 42 Załącznik nr 2. Arkusz obserwacji – ewaluacja mid-term__________________________________ 43 2 Wstęp Rada Unii Europejskiej zobowiązała wszystkie państwa członkowskie do przeprowadzenia ewaluacji pomocy finansowej z funduszy strukturalnych UE wydając Rozporządzenie nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiającego przepisy ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego Funduszu Społecznego oraz Funduszu Spójności i uchylającego rozporządzenie (WE) nr 1260/1999. Również dokumenty na poziomie krajowym i regionalnym wskazują na konieczność i potrzebę ewaluacji programów, działań oraz realizowanych w ich ramach projektów. Wynika to z faktu, iż w obecnym okresie programowania znacznie większą uwagę poświęca się efektom programów, a co za tym idzie realizowanych w ich ramach projektów. Uwzględniając powyższe zalecenia, w ramach realizowanego projektu „Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim” przewidziano procedurę ewaluacyjną. Obejmuje ona dwa rodzaje ewaluacji wewnętrznej: ewaluację mid-term (śródokresową) oraz ewaluację ex-post (końcową). Niniejszy raport przedstawia wyniki ewaluacji mid-term, zrealizowanej w październiku i listopadzie 2010 roku (za okres do 30 września 2010 r.). Ogólnie ujmując, ewaluacja to obiektywna ocena projektu, programu lub polityki na wszystkich jego etapach, tj. planowania, realizacji i mierzenia rezultatów. Powinna ona dostarczyć rzetelnych i przydatnych informacji pozwalając wykorzystać zdobytą w ten sposób wiedzę w procesie decyzyjnym („Wytyczne w zakresie ewaluacji programów operacyjnych na lata 20072013”, Krajowa Jednostka Oceny, Ministerstwo Rozwoju Regionalnego, 2007). Krajowa Jednostka Oceny (KJO) wypracowała definicję ewaluacji, interpretując ją jako: „osąd wartości interwencji publicznej dokonany przy uwzględnieniu odpowiednich kryteriów (skuteczności, efektywności, użyteczności, trafności i trwałości) i standardów. Osąd dotyczy zwykle potrzeb, jakie muszą być zaspokojone w wyniku interwencji oraz wyprodukowanych efektów. Ewaluacja oparta jest na specjalnie w tym celu zebranych i zinterpretowanych informacjach za pomocą odpowiedniej metodologii” Inaczej mówiąc, ewaluacja polega na poszukiwaniu odpowiedzi na pytanie, czy projekt ma szanse odnieść sukces lub czy zakończył się powodzeniem. Identyfikuje także ewentualne przyczyny sukcesu, lub czynniki powodujące niepowodzenie podjętych działań. Proces ewaluacji realizowany jest w oparciu o określone kryteria. Kryteria te są ogólnymi standardami oceny powodzenia lub niepowodzenia założonych w projekcie celów oraz sposobów ich osiągnięcia. Na etapie ewaluacji mid-term uwzględniono trzy zasadnicze kryteria ewaluacji: trafność, skuteczność i użyteczność. Odbiorcami wyników ewaluacji mid-term są: zespół projektowy, Wojewódzki Urząd Pracy w Lublinie. Wyniki ewaluacji w formie raportu skróconego udostępniono w postaci elektronicznej 3 oraz papierowej. Analiza danych w raporcie ma charakter jakościowy, wyniki przedstawiono w formie opisowej. Wyniki i wnioski ewaluacji mid-term wykorzystane zostaną także na etapie ewaluacji końcowej oraz w fazie przygotowania raportu końcowego. 4 I. Streszczenie raportu Badanie ewaluacyjne przedstawione w tym raporcie zostało zrealizowane w okresie październik – listopad 2010 roku (za okres do dnia 30 września 2010 r.). Przedmiotem badania był projekt „Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim” (numer projektu POKL 07.02.1-06-022/09, numer umowy POKL POKL 07.02.1-06-022/09-00 z dnia 15 października 2009 roku), realizowany w ramach Priorytetu VII PO KL. Projekt realizuje Wyższa Szkoła Przedsiębiorczości i Administracji w Lublinie, posiadająca status prawny uczelni wyższej. Termin realizacji projektu planowany początkowo na 1.09. 2009 – 31.03.2011, w wyniku zmiany daty podpisania umowy został przesunięty na okres 1.11.2009 – 31.05.2011 (zatwierdzony pismem WUP w Lublinie z dnia 20.11.2009 r., EFS.VI. 42031-1323/13/AZ-09). Ogólny cel projektu przewiduje zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku. Głównym celem ewaluacji mid-term było oszacowanie, na ile realizator projektu ma szansę na osiągnięcie rezultatów miękkich projektu, weryfikacja kierunku oraz aktualności założeń projektu, identyfikacja pierwszych efektów, jak również propozycja ewentualnych bieżących korekt. Cele szczegółowe ewaluacji mid –term projektu obejmowały: I. Poznanie rezultatów projektu po roku realizacji w zakresie: 1. określenia diagnozy zasięgu bezdomności i jego dynamiki w województwie lubelskim, 2. określenia cech społeczno-demograficznych osób bezdomnych w regionie, 3. rozpoznania procesu wchodzenia w bezdomność i marginalizacji, 4. diagnozy potrzeb osób bezdomnych, 5. diagnozy systemu wsparcia i pomocy bezdomnym. II. Identyfikacja przyczyn sukcesów i trudności realizowanych w projekcie zadań badawczych: 1. czynniki wewnętrzne –zależne od zespołu badawczego (założenia i narzędzia badawcze), 2. czynniki zewnętrzne (dostępność i kompletność danych, dostępność uczestników badań, bariery komunikacyjne, ograniczenia instytucjonalne). III. Zgromadzenie danych do pogłębienia problematyki i modyfikacji narzędzi ewaluacji ex-post. Oceny projektu dokonano w oparciu o trzy kryteria: 1) trafność (adekwatność) pozwalającą ocenić adekwatność celów i zastosowanych metod projektu do problemów, które projekt miał poruszyć lub rozwiązać; 2) skuteczność badającą stopień realizacji zakładanych celów, skuteczność użytych metod oraz wpływ czynników zewnętrznych na uzyskane na tym etapie efekty; 3) użyteczność badającą stopień, w jakim projekt zaspokaja istotne potrzeby grup docelowych (odbiorców raportu końcowego) lub przyczynia się do rozwiązania problemów (czy rzeczywiste efekty projektu są zgodne z potrzebami?). 5 Raport z przeprowadzonego badania ewaluacyjnego składa się z czterech części: streszczenia, opisu metodologii badań, analizy wyników ewaluacji oraz podsumowania i wniosków. W części drugiej, metodologicznej określono cele i zakres badania ewaluacyjnego oraz kryteria ewaluacji i pytania szczegółowe. Część ta zawiera ponadto opis zastosowanej metodologii. Zgodnie z ustaleniami przedstawionymi w raporcie wstępnym badania na etapie ewaluacji mid – term zostały wykonane z użyciem dwóch technik badawczych: analizy dokumentów (analiza dokumentacji projektowej, dokumentów programowych POKL oraz strategii polityki społecznej na poziomie krajowym i regionalnym, analiza narzędzi badawczych, analiza danych monitoringu i analiza raportów cząstkowych) oraz obserwacji. Część trzecia obejmuje analizę i interpretację wyników badania ewaluacyjnego. Tematyka poszczególnych podrozdziałów została dostosowane do przyjętych kryteriów ewaluacji. Oceniając projekt pod względem trafności zastosowano analizę dokumentów, obejmującą zarówno dokumentację projektu, przygotowane przez zespół badawczy narzędzia badawcze jak też zapisy dokumentów programowych POKL: „Programu Operacyjnego Kapitał Ludzki”, „Szczegółowego Opisu Priorytetów POKL”, Krajowego Programu Wychodzenia z Bezdomności i Budownictwa Socjalnego na lata 2009 – 2013 (opr. Ministerstwo Pracy i Polityki Społecznej przy współudziale Ministerstwa Infrastruktury), opracowanego w wyniku konsultacji międzyresortowych w 2009 roku zakresu tematycznego proponowanych obszarów działań, jakie będą ujęte w projekcie dokumentu pt: Krajowa Strategia Wychodzenia z Bezdomności. Jak wynika z dokonanej analizy, cel projektu: kompleksowe zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku, wpisuje się w realizację celów wyznaczonych w tym zakresie przez dokumenty programowe PO KL, krajową i regionalną strategię polityki społecznej, które ujmują diagnozę bezdomności jako jeden z ważnych elementów działań na rzecz przeciwdziałania wykluczeniu społecznemu. Także realizacja celów ogólnych i szczegółowych, przyjętych dla poszczególnych etapów procesu badawczego oraz zastosowanych metod i technik badawczych powinna przyczynić się do uzyskania istotnych informacji i poszerzenia zakresu wiedzy na temat skali, przyczyn, skutków oraz dotychczasowych form instytucjonalnego wsparcia osób bezdomnych. Oceniając projekt pod względem jego skuteczności posłużono się analizą dokumentów (danych monitoringu, raportów cząstkowych) oraz wyników obserwacji. Z uzyskanych danych wynika, że po roku funkcjonowania projektu zrealizowano wszystkie etapy procesu badawczego, tzn. analizę danych urzędowych, indywidualne wywiady pogłębione (IDI), grupowe wywiady zogniskowane (FGI) oraz wywiady standaryzowane. Przygotowano i zamieszczono na stronie internetowej raporty cząstkowe z analizy danych urzędowych, indywidualnych wywiadów pogłębionych (IDI), indywidualnych wywiadów kwestionariuszowych. 6 Za barierę skuteczności w osiągnięciu celów szczegółowych na tym etapie projektu można uznać przede wszystkim oddziaływanie czynników zewnętrznych, niezależnych od realizatorów projektu (np. brak udostępnienia danych z jednej z instytucji). Za czynniki sprzyjające skuteczności realizacji zadań projektowych należy uznać zarządzanie projektem, polegające na terminowości realizacji działań, monitorowaniu procesu badawczego oraz gromadzenie dokumentacji i koordynacja – gdy to jest konieczne – prac zespołu badawczego. Czynnikiem sukcesu jest niewątpliwie kolejność etapów badań a w szczególności publikacji raportów. O skuteczności zadecydowało także staranne przygotowanie badań, oraz zastosowanych metod i technik badawczych. Analiza raportów cząstkowych wskazuje, że wyniki badań opracowano obszernie i starano się zawrzeć jak najwięcej istotnych z punktu widzenia celów projektu informacji. W ocenie użyteczności projektu posłużono się danymi z analizy raportów cząstkowych. Według wstępnego oszacowania, różne aspekty i wyniki badań zamieszczone w raportach cząstkowych mogą okazać się użyteczne z punktu wodzenia zarówno potrzeb bezdomnych jak i instytucji oferujących bezdomnym pomoc i wsparcie. Uzyskane w procesie badawczym dane winny przyczynić się do wzrostu wiedzy u odbiorców publikacji na temat zasięgu bezdomności, cech osób bezdomnych, procesu wchodzenia w bezdomność i marginalizację, funkcjonowania systemu wsparcia osób bezdomnych. Końcowa część raportu przedstawia podsumowanie i wnioski wynikające z dokonanych analiz oraz zawiera rekomendacje służące ograniczeniu trudności i barier związanych z realizacją projektu. Rekomendacje mają przyczynić się do wzrostu trafności, skuteczności, użyteczności i trwałości działań realizowanych w ramach projektu. 7 II. Metodologia badań 2.1. Cel i przedmiot badań Podstawowym elementem badania ewaluacyjnego jest określenie przedmiotu badań, czyli sprecyzowanie co będzie podlegało ewaluacji. Wybór przedmiotu ewaluacji jest w znacznej mierze uzależniony od rodzaju ewaluacji ze względu na termin jej realizacji. Ponieważ ewaluacja śródokresowa/średniookresowa (ang. mid-term evaluation) przeprowadzana jest w trakcie trwania projektu, główny nacisk położony zostanie na ocenę dotychczasowego sposobu realizacji projektu oraz szans realizacji dalszych zamierzonych zadań. Przedmiotem badania były osiągnięte na danym etapie realizacji projektu (październiklistopad 2010 r.) rezultaty miękkie. Ocenie podlegały między innymi metody i techniki badawcze, zastosowane narzędzia badawcze, proces zarządzania, proces realizacji badań oraz przygotowane do końca września 2010 roku raporty cząstkowe. Celem badań mid-term było oszacowanie, na ile realizator projektu ma szansę na osiągnięcie rezultatów miękkich projektu, weryfikacja kierunku oraz aktualności założeń projektu, identyfikacja pierwszych efektów, jak również propozycja ewentualnych bieżących korekt. Cel ogólny przekłada się na następujące cele szczegółowe: I. Poznanie rezultatów projektu po roku realizacji w zakresie: 1. określenia diagnozy zasięgu bezdomności i jego dynamiki w województwie lubelskim, 2. określenia cech społeczno-demograficznych osób bezdomnych w regionie, 3. rozpoznania procesu wchodzenia w bezdomność i marginalizacji, 4. diagnozy potrzeb osób bezdomnych, 5. diagnozy systemu wsparcia i pomocy bezdomnym. II. Identyfikacja przyczyn sukcesów i trudności realizowanych w projekcie zadań badawczych: 1. czynniki wewnętrzne –zależne od zespołu badawczego (założenia i narzędzia badawcze), 2. czynniki zewnętrzne (dostępność i kompletność danych, dostępność uczestników badań, bariery komunikacyjne, ograniczenia instytucjonalne). III. Zgromadzenie danych do pogłębienia problematyki i modyfikacji narzędzi ewaluacji ex-post. Realizacja powyższych celów pozwoli osiągnąć założony cel ogólny ewaluacji wewnętrznej mid – term. 2.2.Pytania badawcze Sformułowanie pytań badawczych (określanych także jako pytania kluczowe) jest niezbędnym etapem każdych badań społecznych, w tym badań o charakterze ewaluacyjnym. Pozwala to sprecyzować potrzeby informacyjne, określić możliwe źródła informacji a następnie 8 dokonać wyboru najbardziej odpowiednich metod badania, technik badawczych oraz w dalszej kolejności – skonstruować narzędzia badawcze. Ogólne pytanie badawcze sformułowano następująco: W jakim stopniu zostały osiągnięte zakładane rezultaty miękkie projektu po roku jego realizacji? Odpowiedzi na pytanie ogólne poszukiwano poprzez uzyskanie odpowiedzi na następujące pytania, uszczegółowiające problem określony w pytaniu głównym: I. W jakim stopniu ten projekt miał sens z punktu widzenia istniejących potrzeb w zakresie diagnozy zjawiska bezdomności oraz wypracowania nowych metod pracy z bezdomnymi? Do pytania powyższego sformułowano następujące pytania szczegółowe: 1) W jaki sposób w badanym projekcie określono cele projektowe? 2) Czy cele te zostały sformułowane w jasny i precyzyjny sposób? 3) W jakim stopniu przyjęte w projekcie cele odpowiadają istotnym problemom związanym z diagnozowaniem zjawiska bezdomności w województwie lubelskim? 4) W jakim stopniu przyjęte w projekcie cele odpowiadają ważnym potrzebom i problemom funkcjonowania podmiotów zaangażowanych w proces pomocy bezdomnym? 5) Jak można ocenić stopień, w jakim cele projektowe skoordynowane zostały ze sposobem ich realizacji? II. Do jakiego stopnia cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte? Pytania szczegółowego powyższego pytania przedstawiają się następująco: 1) Jakie czynniki i działania sprzyjają wysokiej skuteczności realizowanych zadań projektowych? 2) Czy działania te mogą zostać uznane za dobre praktyki warte upowszechnienia? 3) Jakie czynniki stanowią barierę skuteczności w realizowanym projekcie? 4) Czy zaplanowane dalsze działania są odpowiednie do osiągnięcia celów projektu? 5) Czy powinny zostać wprowadzone zmiany w sposobach realizacji celów projektu, jeśli tak, to jakie? III. W jakim zakresie to, co zostało dotychczas zrealizowane przyczynia się do rozwiązania zdefiniowanych problemów? Pytania szczegółowe: 1) Jakie są rezultaty ewaluowanego projektu, oceniane z punktu widzenia diagnozy potrzeb osób bezdomnych? 2) W jaki sposób realizacja projektu przyczynia się do poszerzenia wiedzy i wypracowania nowych metod pracy realizowanej działalności instytucji oraz organizacji pozarządowych wspierających osoby bezdomne? 3) Czy zrealizowanie projektu przyczyni się do rozszerzenia istniejącego już lub wprowadzenia nowego obszaru badań? 9 4) Czy dotychczasowe efekty realizacji projektu spotkały się z zainteresowaniem instytucji realizujących różne formy pomocy bezdomnym? 2.3. Kryteria ewaluacji Pytania szczegółowe związane zostały z kryteriami zastosowanymi dla ewaluacji śródokresowej. Kryteria te są ogólnymi standardami oceny powodzenia lub niepowodzenia założonych w projekcie celów oraz sposobów ich osiągnięcia. Na etapie ewaluacji mid-term uwzględnione zostaną trzy zasadnicze kryteria ewaluacji: 1. trafność pozwalająca ocenić adekwatność celów i zastosowanych metod projektu do problemów, które projekt miał poruszyć lub rozwiązać. 2. skuteczność badająca stopień realizacji zakładanych celów, skuteczność użytych metod oraz wpływ czynników zewnętrznych na uzyskane na tym etapie efekty. 3. użyteczność badająca stopień, w jakim projekt zaspokaja istotne potrzeby grup docelowych lub przyczynia się do rozwiązania problemów (czy rzeczywiste efekty projektu są zgodne z potrzebami?) Dla poszczególnych kryteriów ewaluacji przewidziano następujące źródła danych: Tabela 1. Źródła danych wykorzystanych w procesie ewaluacji mid -term Kryterium trafność skuteczność użyteczność źródło danych analiza dokumentacji projektowej analiza narzędzi badawczych analiza danych monitoringu analiza raportów cząstkowych analiza wyników obserwacji analiza raportów cząstkowych 2.4. Metody i narzędzia badawcze Na etapie ewaluacji mid-term przeprowadzono badania jakościowe. Stanowią one podstawę opisu i wstępnej oceny osiągniętych rezultatów projektu oraz modyfikacji (w miarę potrzeb) narzędzi ewaluacji końcowej. Wybór metod badawczych, zastosowanych w ewaluacji śródokresowej wynika w znacznej mierze z dostępności różnego rodzaju źródeł informacji na określonym etapie realizacji projektu. Z harmonogramu działań w projekcie wynika, że zrealizowane zostaną: 1) gromadzenie i analiza danych i dokumentów urzędowych, 2) przygotowanie narzędzi badawczych dla wszystkich zastosowanych metod badań 10 3) indywidualne wywiady kwestionariuszowe z osobami bezdomnymi i raport cząstkowy z wyników tych badań, 4) indywidualne wywiady pogłębione z osobami bezdomnymi oraz raport cząstkowy z wyników tych badań, 5) grupowe wywiady zogniskowane z pracownikami instytucji publicznych i organizacji pozarządowych zajmujących się bezdomnością oraz raport cząstkowy z wyników tych badań. Ponadto w dyspozycji ewaluatora znajdować się będą dokumentacja projektu oraz dane z monitoringu. W ramach ewaluacji mid – term zastosowano następujące techniki badawcze: 1) Analiza dokumentów Analiza danych zastanych (desk research) obejmuje analizę informacji pozyskanych ze źródeł (dokumentów, baz danych) już istniejących, nie wymagająca realizacji bezpośrednich badań, a jedynie scalenia i uporządkowania rozproszonego dotąd materiału informacyjnego. Technika ta może obejmować zarówno analizę danych jakościowych, jak i danych ilościowych (np. statystyk GUS lub innych danych ilościowych) gromadzonych przez różne instytucje. Analiza obejmowała dokumentację projektu (w tym danie monitoringu), narzędzia badawcze zastosowane na poszczególnych etapach badań oraz raporty cząstkowe. Wytyczne do analizy dokumentów zawiera załącznik nr 1. 2) Obserwacja Obserwacja jest metodą zbierania danych poprzez uczestniczenie w czasie realizacji projektu. Pozwala to na lepsze zrozumienie kontekstu, w jakim realizowane są zadania. Ewaluator poprzez bezpośrednie zetknięcie się z realizacją projektu może osobiście przekonać się jak projekt funkcjonuje. Ewaluator może dostrzec zjawiska, które nie są zauważane przez uczestników projektu, lub kwestie drażliwe i konfliktowe. Zjawisk tych nie można by zbadać jedynie przy zastosowaniu ankiet i wywiadów. W trakcie badań ewaluacyjnych przeprowadzono obserwację badań kwestionariuszowych realizowanych przez przeszkolonych ankieterów. Stanowiła ona źródło informacji umożliwiające identyfikację ewentualnych trudności w realizacji tego etapu projektu. Dla ewaluatora szczególnie interesujące było zebranie danych, pozwalających odpowiedzieć na takie pytania: 1) Jaki był kontekst realizacji indywidualnego wywiadu kwestionariuszowego? 2) Czy bariery językowe i specyficzne normy środowiskowe bezdomnych nie utrudniały komunikacji między ankieterem a respondentem? 3) Jakie rozwiązania zastosowano, by pokonać napotkane trudności i problemy? Dyspozycje do obserwacji zawiera załącznik nr 2 – „Arkusz obserwacji” Przeprowadzono obserwację 15 indywidualnych wywiadów kwestionariuszowych. Dobór losowy 5 spośród 15 realizujących badania ankieterów, zrealizowano minimum 3 obserwacje sytuacji wywiadu dla każdego z ankieterów. 11 3) Wywiad nieformalny Zrealizowano 3 wywiady nieformalne – rozmowy z członkami zespołu badawczego i koordynatorem projektu (w miarę potrzeb procesu badawczego). Ich celem było wyjaśnienie wątpliwości ewaluatora, związanych z analizą dokumentów. Wyniki rozmów nie będą stanowić bezpośredniego źródła danych do raportu ewaluacyjnego. 12 III. Analiza wyników ewaluacji 3.1. Ogólna charakterystyka projektu Projekt „Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim” (numer projektu POKL 07.02.1-06-022/09, numer umowy POKL POKL 07.02.1-06-022/09-00 z dnia 15 października 2009 roku), realizowany jest w ramach Priorytetu VII POKL: Promocja integracji społecznej, Działania 7.2. Przeciwdziałanie wykluczeniu i wzmocnienie sektora ekonomii społecznej, Poddziałania 7.2.1. Aktywizacja zawodowa i społeczna osób zagrożonych wykluczeniem społecznym, w ramach którego przewidziano prowadzenie, publikowanie i upowszechnianie badań i analiz z zakresu polityki społecznej w regionie (w tym działań mających na celu przygotowanie i wdrażanie gminnych lub powiatowych strategii rozwiązywania problemów społecznych). Projekt realizuje Wyższa Szkoła Przedsiębiorczości i Administracji w Lublinie, posiadająca status prawny uczelni wyższej. Termin realizacji projektu, planowany początkowo na 1.09. 2009 – 31.03.2011, w wyniku zmiany daty podpisania umowy został przesunięty na okres 1.11.2009 – 31.05.2011 (zatwierdzony pismem WUP w Lublinie z dnia 20.11.2009 r., EFS.VI. 42031-1323/13/AZ-09). Ogólny cel projektu przewiduje zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku. Cele szczegółowe projektu obejmują: 1) Określenie zasięgu bezdomności i jego dynamiki w województwie lubelskim, 2) Określenie cech społeczno-demograficznych osób bezdomnych w regionie, 3) Rozpoznanie procesu wchodzenia w bezdomność i marginalizacji, 4) Zdiagnozowanie potrzeb osób bezdomnych z punktu widzenia ich samych i instytucji wsparcia, 5) Zdiagnozowanie i ocena funkcjonowania systemu wsparcia i pomocy osobom bezdomnym na terenie województwa lubelskiego, 6) Upowszechnienie wyników diagnozy. Realizacji tak sformułowanych celów projektu służą następujące działania: 1) Zarządzanie promocja i informacja oraz ewaluacja projektu, 2) Przeprowadzenie badań, na które składają się: analiza danych urzędowych, indywidualne wywiady pogłębione z osobami bezdomnymi, indywidualne wywiady kwestionariuszowe z bezdomnymi, grupowe wywiady zogniskowane z pracownikami instytucji udzielających wsparcia i pomocy osobom bezdomnym oraz opracowanie raportów cząstkowych z poszczególnych badań, 3) Opracowanie raportu końcowego z badań, 13 4) Publikacja i upowszechnianie wyników badań, w tym zorganizowanie konferencji z udziałem przedstawicieli lubelskich samorządów lokalnych, instytucji państwowych i organizacji pozarządowych, działających w sferze pomocy społecznej, jednostek naukowych i mediów. Projekt realizowany jest przez zespół projektowy w następującym składzie: koordynator projektu, pracownik ds. rozliczeń finansowych, radca prawny, księgowa, kadrowa, pracownik ds. promocji i informacji, informatyk, grafik, 3 specjalistów ds. badań, asystent ds. badań, 15 ankieterów, specjalista ds. ewaluacji. W ramach projektu przewidziano osiągnięcie następujących rezultatów miękkich: - diagnoza zasięgu bezdomności i jego dynamiki w województwie lubelskim, - diagnoza w zakresie cech społeczno-demograficznych osób bezdomnych w regionie, -diagnoza procesu wchodzenia w bezdomność i marginalizacji, - wieloaspektowa diagnoza potrzeb osób bezdomnych, -wypracowanie nowych metod pracy z bezdomnymi, w tym modelu wyjścia z bezdomności, -uzyskanie przez minimum 80% odbiorców publikacji wiedzy na temat zasięgu bezdomności i jego dynamiki, cech społeczno-demograficznych osób bezdomnych i ich potrzeb, funkcjonowania systemu wsparcia i pomocy osobom bezdomnym, procesu wchodzenia w bezdomność i marginalizacji w skali województwa lubelskiego., - wzrost zainteresowania budowaniem profesjonalnego zaplecza informacyjnego dotyczącego problemu bezdomności i systemu wsparcia i pomocy osobom bezdomnym u minimum 70% uczestników konferencji, - wzrost zainteresowania operacyjnym podejściem do planowania działań w obszarze pomocy społecznej u minimum 70% uczestników konferencji. 3.2.Analiza i ocena trafności projektu Ocena trafności projektu dotyczy oszacowania adekwatność celów i zastosowanych metod projektu do problemów, które projekt miał poruszyć lub rozwiązać. W celu oceny trafności projektu zastosowano analizę dokumentów, obejmującą zarówno dokumentację projektu, przygotowane przez zespół badawczy narzędzia badawcze jak też zapisy dokumentów programowych POKL: „Programu Operacyjnego Kapitał Ludzki”, „Szczegółowego Opisu Priorytetów POKL”, Krajowego Programu Wychodzenia z Bezdomności i Budownictwa Socjalnego na lata 2009 – 2013 (opr. Ministerstwo Pracy i Polityki Społecznej przy współudziale Ministerstwa Infrastruktury), opracowanego w wyniku konsultacji międzyresortowych w 2009 roku zakresu tematycznego proponowanych obszarów działań, jakie będą ujęte w projekcie dokumentu pt: Krajowa Strategia Wychodzenia z Bezdomności. 14 Celem głównym PO KL jest wzrost poziomu zatrudnienia i spójności społecznej. Z analizy wspomnianych uprzednio dokumentów programowych POKL wynika, iż proces diagnozy, polegający na rozpoznaniu problemów osób bezdomnych jako podstawy podejmowania działań instytucjonalnych zmierzających do ograniczenia procesu wykluczenia społecznego, zgodny jest z drugim celem strategicznym POKL (Zmniejszenie obszarów wykluczenia społecznego). Krajowy Program Wychodzenia z Bezdomności i Budownictwa Socjalnego na lata 2009 – 2013 opracowany Ministerstwo Pracy i Polityki Społecznej przy współudziale Ministerstwa Infrastruktury, w ramach problematyki zabezpieczenia społecznego wyodrębnia obszar Diagnoza stanu bezdomności, dla którego priorytetem jest rzeczywista statystyka osób bezdomnych a przewidywanym kierunkiem na przyszłość stały monitoring bezdomności. W dokumencie tym stwierdzono, że istnieją znaczne rozbieżności w różnego typu danych statystycznych, dotyczących bezdomności. Różnica statystyczna pomiędzy podawanymi liczbami jest podstawą do wyznaczenia zadania polegającego na wypracowaniu i wyborze w kraju jednolitego systemu mierzalności ilościowej osób bezdomnych. Efektem końcowym ma być sytuacja, w której instytucje działające na rzecz przeciwdziałania bezdomności dysponować będą rzeczywistą liczbą osób potrzebujących pomocy. Ponadto, chodzi o wprowadzenie standardu zawierającego etapy wychodzenia z bezdomności. W wyniku przeprowadzonych przez Departament Pomocy i Integracji Społecznej w dniu 2 lipca 2008r. konsultacji wewnątrzresortowych uszczegółowiono zakres tematyczny proponowanych obszarów działań, jakie będą ujęte w projekcie dokumentu pt: Krajowa Strategia Wychodzenia z Bezdomności. Obszar I obejmuje diagnozę oraz analizę skali zjawiska bezdomności Proponowane zadania: 1) bezdomność w Polsce – skala zjawiska, liczba noclegowni i schronisk dla bezdomnych oraz instytucje pomocowe; 2) rozwiązania prawne dla osób bezdomnych – prawa oraz obowiązki przy korzystaniu z pomocy, 3) metody pomocy i „ścieżki” wychodzenia z bezdomności. Należy przy tym dodać, że w oparciu o doświadczenia krajów posiadających zintegrowane strategie wobec bezdomności i wykluczenia mieszkaniowego (np. Szkocja, Irlandia, Norwegia) Europejska Federacja Narodowych Organizacji Pozarządowych Pracujących na rzecz Bezdomnych (FEANTSA) sformułowała listę wytycznych dla tworzenia krajowych strategii. Pierwszym na liście jest zalecenie zakorzenienia strategii w wiedzy potwierdzonej badaniami. Potrzebne są zróżnicowane badania, których kształt jest wyznaczany przez cel, dla którego się je prowadzi. Ewentualna definicja bezdomności powinna odzwierciedlać kontekst polityki społecznej, dla potrzeb której badanie jest realizowane. Przyjęcie dynamicznego podejścia jest istotne, ponieważ pozwala na refleksję i zidentyfikowanie problematycznych wydarzeń życiowych przyczyniających się do utraty dachu nad głową, a co za tym idzie, umożliwia adekwatne zaplanowanie działań prewencyjnych. W świetle takiego rozumienia zakłada się, że policzenie wszystkich zajętych łóżek w instytucjach dla bezdomnych w wyznaczonym punkcie czasowym jest niewystarczające. Badaniem trzeba również objąć ukryte przyczyny bezdomności wpisane w kariery życiowe 15 i procesy stopniowego tracenia dachu nad głową, które mogą dotykać osób zupełnie nie pasujących do powszechnego wizerunku bezdomności. Dopiero wtedy możliwe jest otrzymanie pełnego obrazu fenomenu bezdomności, obejmującego nie tylko mieszkanie na dworcach i schroniskach, ale również sytuacje pośredniego lub bezpośredniego zagrożenia utraty – wydawałoby się – stabilnej sytuacji mieszkaniowej. Osoby bezdomne lub mieszkające w nietypowych i tymczasowych pomieszczeniach zazwyczaj nie są ujmowane w badaniach gospodarstw domowych, spisach powszechnych i innych masowych statystykach. Dane usługodawców zależą od jakości systemu usług i nie obejmują informacji o osobach najbardziej wykluczonych, niechętnych do korzystania z pomocy, przez co dają obraz częściowy lub nawet wprowadzający w błąd. Strategia polityki społecznej województwa lubelskiego na lata 2005 – 2013 zawiera „Program przeciwdziałania wykluczeniu społecznemu poprzez efektywną pomoc społeczną”, w którym jako jedno z narzędzi realizacji wskazuje określenie natężenia niekorzystnych zjawisk społecznych w województwie powodujących dezintegrację społeczną i zawodową. W powyższym dokumencie planuje się również rozwój środowiskowych form wsparcia w miejscu zamieszkania, w tym rozwój aktywnych form wsparcia dla osób bezdomnych i zagrożonych bezdomnością. Przegląd wybranych dokumentów, zarówno krajowych, jak i unijnych wskazuje, że diagnoza bezdomności ujmowana jest jako istotna podstawa wszelkich podejmowanych działań na rzecz bezdomnych. Nie chodzi w tym przypadku wyłącznie o statystyki dotyczące liczebności tej kategorii osób, lecz – co istotne – o zidentyfikowanie problematycznych wydarzeń życiowych przyczyniających się do utraty dachu nad głową. Głównym celem ocenianego projektu „Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim” jest kompleksowe zdiagnozowanie zjawiska bezdomności w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku Wpisuje się on w realizację celów wyznaczonych w tym zakresie przez dokumenty programowe POKL, krajową i regionalną strategię polityki społecznej, które ujmują diagnozę bezdomności jako jeden z ważnych elementów działań na rzecz przeciwdziałania wykluczeniu społecznemu. Wspomniane dokumenty podkreślają także konieczność podejmowania działań zmierzających do rozwoju nowych form wsparcia osób bezdomnych na poziomie regionalnym. Ponadto cel ogólny i cele szczegółowe projektu znajdują swoje dalsze rozwinięcie w poszczególnych etapach procesu badawczego, stając się celami operacyjnymi dla jego poszczególnych elementów. Cele te precyzują w sposób jasny i szczegółowy zamierzenia badawcze dla każdej z zastosowanych metod i technik. I tak, celem analizy danych urzędowych jest określenie zasięgu bezdomności (ilość notowanych bezdomnych korzystających z pomocy instytucjonalnej) i jego dynamiki (sezonowej, rocznej), porównanie z danymi w skali kraju, badanie struktury i zasad funkcjonowania instytucji zajmujących się bezdomnością oraz analiza 16 wydatkowanych przez te instytucje środków ze względu na cele. Cele te zostały z kolei przełożone na pytania badawcze, na które odpowiedź pozwoli na ich realizację. Indywidualne wywiady kwestionariuszowe zrealizowane przez ankieterów z osobami bezdomnymi mają na celu diagnozę przyczyn bezdomności, opis funkcjonowania osób bezdomnych w środowisku społecznym, ocenę stopnia wykluczenia i marginalizacji, określenie związku bezdomności z patologiami społecznymi, identyfikację przyczyn niepowodzeń w procesie wychodzenia z bezdomności i konstrukcję optymalnego modelu wychodzenia z bezdomności oraz ocenę pomocy instytucjonalnej z perspektywy bezdomnych. Indywidualne wywiady pogłębione pozwalają na uzyskanie pogłębionej diagnozy procesu wchodzenia w rolę bezdomnego, ocenę stopnia marginalizacji i wykluczenia (z perspektywy badanego), ocenę skutków dyskryminacji, konstrukcję typologii przyczyn bezdomności oraz ocenę funkcjonowania pomocy instytucjonalnej z punktu widzenia bezdomnego. Grupowe wywiady zogniskowane mają, zgodnie z dokumentacją projektu, umożliwić określenie problemów, jakie napotykają pracownicy instytucji wsparcia i przeciwdziałania bezdomności w codziennej pracy, przyczynić się do wymiany doświadczeń zawodowych, przedyskutowania możliwych rozwiązań problemów oraz umożliwić analizę postaw pracowników instytucji w stosunku do bezdomnych. Podsumowując, można stwierdzić, że realizacja tak określonych celów ogólnych i szczegółowych, przyjętych dla poszczególnych etapów procesu badawczego oraz zastosowanych metod i technik badawczych powinna przyczynić się do uzyskania istotnych informacji i poszerzenia zakresu wiedzy na temat skali, przyczyn, skutków oraz dotychczasowych form instytucjonalnego wsparcia osób bezdomnych. Ponadto grupowe wywiady zogniskowane z pracownikami instytucji udzielających pomocy i wsparcia osobom bezdomnym poza poszerzeniem wiedzy o problemach związanych z funkcjonowaniem tych instytucji oraz osób w nich pracujących, stanowić mogą ważne forum dyskusji i wymiany informacji, pozwalające na wypracowanie nowych metod pracy z bezdomnymi. Tym samym możliwe będzie uzyskanie szeroko rozumianej wiedzy na temat bezdomności oraz możliwych rozwiązań problemów osób bezdomnych. Potrzebę taką formułują w zasadzie wszystkie omawiane uprzednio dokumenty unijne i krajowe. Ostatnim etapem tej części ewaluacji jest ocena stopnia, w jakim cele projektowe skoordynowane zostały ze sposobem ich realizacji. Podstawą oceny jest analiza wyboru metod i narzędzi badawczych. Pierwszym etapem badań była analiza dokumentów obejmująca dane pochodzące z dokumentacji placówek zapewniających wsparcie osobom bezdomnym na terenie województwa lubelskiego. W celu uzyskania wspomnianych danych badacze bezpośrednio kontaktowali się ze wszystkimi instytucjami w celu uzyskania niezbędnych informacji i danych. Dobór próby badawczej miał charakter celowy w oparciu o następujące kryteria: typ instytucji, formy pomocy 17 oraz ilość środków, jakimi dysponują instytucje. Posłużono się w tym celu wykazem placówek zapewniających wsparcie osobom bezdomnym na terenie Województwa Lubelskiego, prowadzonym przez Wydział Polityki społecznej Urzędu Wojewódzkiego w Lublinie. Analiza obejmowała prawne regulacje dotyczące zasad i form udzielanego wsparcia osobom bezdomnym oraz prawne podstawy funkcjonowania określonego typu instytucji, następnie zaś przedstawiono dane dotyczące sytuacji osób bezdomnych w województwie lubelskim na podstawie danych Regionalnego Ośrodka Polityki Społecznej, Głównego Urzędu Statystycznego oraz Urzędu Wojewódzkiego w Lublinie. Ostatnim etapem badawczym była analiza funkcjonowania instytucji świadczącym pomoc osobom bezdomnym w powiatach grodzkich: Lublinie, Białej Podlaskiej, Zamościu oraz Chełmie. Analiza dokumentów urzędowych miała dostarczyć odpowiedzi na następujące pytania: ilu bezdomnych korzysta z pomocy instytucjonalnej na terenie woj. lubelskiego? jakie instytucje zajmują się pomocą bezdomnym? jakie formy pomocy przeważają? jakimi środkami dysponują instytucje i jak je wykorzystują? Uzyskanie odpowiedzi na powyższe pytania powinno pozwolić zrealizować cel szczegółowy projektu, jakim jest określenie zasięgu bezdomności i jego dynamiki w województwie oraz zdiagnozowanie i ocena funkcjonowania systemu wsparcia i pomocy osobom bezdomnym na terenie województwa lubelskiego. Co prawda, dane tego rodzaju występują w krajowych i regionalnych opracowaniach statystycznych, lecz są rozproszone i, jak wynika z ustaleń nie tylko tego projektu badawczego, niepełne. Kolejny etap badawczy obejmował wywiady kwestionariuszowe z bezdomnymi realizowane przez odpowiednio przeszkolonych ankieterów. Techniką badawczą był indywidualny wywiad bezpośredni, przebiegający z wykorzystaniem standaryzowanego kwestionariusza wywiadu jako narzędzia badawczego. Kwestionariusz wywiadu składał się z 63 pytań (130 zmiennych). Do kwestionariusza dołączona została (jako materiał pomocniczy) ankieta dla ankietera, składająca się z 7 pytań. Innym materiałem pomocniczym do wywiadu były karty odpowiedzi. W badaniach zastosowano celowy dobór próby, ze względu na brak możliwości realizacji doboru losowego. Odpowiedzi na pytania zawarte w kwestionariuszu wywiadu pozwalały uzyskać informacje na temat cech społeczno-demograficznych bezdomnych (płeć, wiek, wykształcenie, staż bezdomności, stan cywilny, liczba dzieci), ponadto określono stosunek do religii wśród badanych. Pytania kwestionariuszowe pozwalały także uzyskać informacje na temat przyczyn bezdomności, identyfikując czynniki stania się osoba bezdomną według subiektywnej opinii osób badanych. Kwestionariusz zawiera również pytania, na które odpowiedzi stanowić będą wskaźniki marginalizacji bezdomnych w sferze technologicznej, ekonomicznej, kulturowej oraz społecznopolitycznej. Odpowiedzi na pytania dostarczyć mogą także wiedzy na temat tworzenia i funkcjonowania statusów społecznych (życie samotne lub w grupie, wielkość i stabilność grupy, pozycja w grupie uczestnictwa oraz czynniki ją warunkujące). Poszukiwano także odpowiedzi na 18 pytania dotyczące posiadania rodziny oraz relacji bezdomnego z rodziną pochodzenia, problemów zdrowotnych, uzależnień oraz konfliktów z prawem. Ważnym aspektem badań kwestionariuszowych było ustalenie aktualnych źródeł dochodów bezdomnego, prób wyjścia z bezdomności oraz przyczyn niepowodzeń tego rodzaju starań. Ostatnia grupa tematyczna dotyczyła oceny i sposobu korzystania przez bezdomnych z pomocy instytucjonalnej. Realizacja wywiadów kwestionariuszowych powinna więc przyczynić się do osiągnięcia zapisanych w projekcie celów szczegółowych, takich, jak: określenie cech społecznodemograficznych osób bezdomnych, zdiagnozowanie potrzeb osób bezdomnych z punktu widzenia ich samych, zdiagnozowanie i ocena funkcjonowania systemu wsparcia i pomocy osobom bezdomnym na terenie województwa lubelskim w opinii respondentów, rozpoznanie procesu wchodzenia w bezdomność i marginalizacji. Uzyskanie tego typu wiedzy odpowiada sformułowanej uprzednio potrzebie posiadania zróżnicowanych informacji dotyczących nie tylko liczby osób bezdomnych korzystających z pomocy odpowiednich instytucji, lecz także uwarunkowań i przyczyn powodujących, że osoby te znalazły się w określonej sytuacji, że stały się bezdomnymi. Wiedza tego rodzaju pozwala na formułowanie strategii polityki społecznej, w ramach której uwzględnia się możliwe działania prewencyjne. Ponadto skuteczna pomoc iwsparcie osób bezdomnych możliwe jest właściwie wówczas, gdy szczegółowo zdiagnozowano przyczyny bezdomności oraz sytuację danej osoby. W innym przypadku oferowane wsparcie może okazać się nieadekwatne do potrzeb. Indywidualne wywiady pogłębione zrealizowano w oparciu o przygotowany uprzednio scenariusz wywiadu. Umożliwia on uchwycenie sposobów rozumienia świata badanych osób, co (zgodnie z metodologicznymi założeniami badań jakościowych) jest podstawą do podejmowania zgodnych w wyobrażeniami działań. Zgodnie z przyjętymi założeniami badawczymi, technika indywidualnego wywiadu pogłębionego ma umożliwić analizę sposobów definiowania siebie, swojego miejsca w świecie dawniej i obecnie, obrazu przyszłości, a także ocenę funkcjonowania instytucji wsparcia, pozwalając ujawnić główne problemy, z jakimi zmagają się osoby bezdomne. Realizacja tego etapu badań pozostaje w związku z celami szczegółowymi projektu: - zdiagnozowanie potrzeb osób bezdomnych z punktu widzenia ich samych, - rozpoznanie procesu wchodzenia w bezdomność i marginalizacji, - ocena funkcjonowania systemu wsparcia i pomocy osobom bezdomnym. Tak, jak wspomniano uprzednio w wielu dokumentach i opracowaniach dotyczących problemu bezdomności podkreśla się, iż badaniem trzeba również objąć ukryte przyczyny bezdomności wpisane w kariery życiowe i procesy stopniowego tracenia dachu nad głową, które mogą dotykać osób zupełnie nie pasujących do powszechnego wizerunku bezdomności. Dopiero wtedy możliwe jest otrzymanie pełnego obrazu fenomenu bezdomności oraz budowani odpowiedniej strategii polityki społecznej. Indywidualne wywiady pogłębione należy uznać w tym 19 przypadku za odpowiednią technikę badawczą, zaś scenariusz wywiadu zawiera dyspozycje uwzględniające dotarcie do sposobów definiowania siebie, swojego miejsca w świecie dawniej i obecnie, obrazu przyszłości, a także oceny funkcjonowania instytucji wsparcia, które pozwalają ujawnić główne problemy, z jakimi zmagają się osoby bezdomne. Ostatnią zastosowaną techniką badawczą był grupowy wywiad zogniskowany, zrealizowany z pracownikami instytucji wsparcia i przeciwdziałania bezdomności. Podstawą zastosowanej techniki był scenariusz grupowego wywiadu zogniskowanego, formułujący główne tematy, jakie moderatorzy zamierzali poruszyć w ramach dyskusji. Scenariusz jest narzędziem elastycznym, umożliwiającym ujawnienie takich aspektów tematu, których badacz by nie przewidział, a które zapewne nie pojawiłyby się w indywidualnych wywiadach pogłębionych, gdyż są wynikiem procesu komunikacji w grupie. Podstawowe tematy zawarte w scenariuszu dotyczyły oceny problemu bezdomności w województwie lubelskim z punktu widzenia uczestników moderowanej dyskusji, problemów w relacjach z bezdomnymi, wprowadzania nowych rozwiązań w zakresie udzielanego bezdomnym wsparcia i pomocy, trudności związanych z tymi rozwiązaniami. Wśród tematów znalazły się także problemy w relacjach z innymi instytucjami (w tym z urzędami pracy, instytucjami pomocy społecznej, organizacjami pozarządowymi), ocena możliwości wprowadzenia zmian w funkcjonowaniu noclegowni i schronisk, formy wsparcia i pomocy udzielane bezdomnym przez uczestników grupy fokusowej. Ponadto zamierzano poznać opinię grupy fokusowej na temat przyczyn niepowodzeń wychodzenia z bezdomności zdiagnozować wiedzę pracowników instytucji na temat problemów i sposobu życia osoby bezdomnej. Technika ta umożliwia zdiagnozowanie i ocenę funkcjonowania systemu wsparcia i pomocy osobom bezdomnym na terenie województwa lubelskiego, co jest jednym z celów szczegółowych projektu Ponadto w pewnej mierze stanowić może także formę upowszechnienia wyników badań wśród pracowników instytucji pomocy i wsparcia bezdomnych (uczestnikom grupy fokusowej moderatorzy przedstawiali cytaty z wywiadu z bezdomnymi oraz wykonane w czasie ich realizacji zdjęcia. Celem tej części raportu ewaluacyjnego było przedstawienie analizy danych umożliwiających ocenę trafności projektu. Ze względu na termin realizacji badań ewaluacyjnych możliwe było posłużenie się metodą jakościową, jaką jest analiza danych zastanych. Analiza dokumentów miała dostarczyć odpowiedzi na następujące pytania szczegółowe: 1) W jaki sposób w badanym projekcie określono cele projektowe? 2) Czy cele te zostały sformułowane w jasny i precyzyjny sposób? 3) W jakim stopniu przyjęte w projekcie cele odpowiadają istotnym problemom związanym z diagnozowaniem zjawiska bezdomności w województwie lubelskim? 4) W jakim stopniu przyjęte w projekcie cele odpowiadają ważnym potrzebom i problemom funkcjonowania podmiotów zaangażowanych w proces pomocy bezdomnym? 20 5) Jak można ocenić stopień, w jakim cele projektowe skoordynowane zostały ze sposobem ich realizacji? Na podstawie przedstawionej dotychczas analizy dokumentów można stwierdzić, że cel główny i cele szczegółowe projektu zostały powiązane z zakładanymi potrzebami w zakresie diagnozy zjawiska bezdomności oraz oceny istniejących form wsparcia i pomocy. Wiedza jest podstawą rozwoju, wdrażania i monitorowania programów wobec bezdomności. Dlatego posiadanie odpowiedniej informacji o bezdomności jest konieczne na wszystkich poziomach decyzyjnych: planowania działań strategicznych, zarządzania organizacjami oraz ewaluacji skuteczności projektów. Cele zdefiniowane w projekcie stanowią pewną hierarchię, począwszy od poziomu najniższego: celów sformułowanych dla poszczególnych metod technik badawczych, poprzez cele szczegółowe projektu, realizacji których mają służyć zastosowane metody, aż do celu ogólnego. Cel ten ma charakter złożony, obejmuje: zdiagnozowanie zjawiska bezdomności, w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku. Ponieważ żaden z wymienionych cel ów nie został szczególnie wyróżniony, należy przyjąć, że są one równorzędne i ich realizacja jest równie ważna. Cele szczegółowe projektu oraz cele badawcze na poszczególnych etapach badań zostały przedstawione w sposób zrozumiały i jasny, ponadto realizacja celów wyznaczonych dla poszczególnych metod i technik badawczych, powiązana jest z celami szczegółowymi projektu oraz z celem ogólnym. Odpowiadając na sformułowane na tym etapie ewaluacji pytanie ogólne dotyczące trafności projektu, a mianowicie w jakim stopniu ten projekt miał sens z punktu widzenia istniejących potrzeb w zakresie diagnozy zjawiska bezdomności oraz wypracowania nowych metod pracy z bezdomnymi, w oparciu o dokonaną analizę można uznać, że realizacja projektu w wysokim stopniu może przyczynić do realizacji zdefiniowanych uprzednio potrzeb. Ponadto realizowane działania przyczyniają się również do realizacji celów Priorytetu VII POKL: Promocja integracji społecznej, Działania 7.2. Przeciwdziałanie wykluczeniu i wzmocnienie sektora ekonomii społecznej, Poddziałania 7.2.1. Aktywizacja zawodowa i społeczna osób zagrożonych wykluczeniem społecznym, w ramach którego przewidziano prowadzenie, publikowanie i upowszechnianie badań i analiz z zakresu polityki społecznej w regionie (w tym działań mających na celu przygotowanie i wdrażanie gminnych lub powiatowych strategii rozwiązywania problemów społecznych). Reasumując, projekt należy uznać za trafny w odniesieniu do zdefiniowanych potrzeb i problemów związanych ze zjawiskiem bezdomności. 21 3.3. Analiza i ocena skuteczności Ocena skuteczności polegać będzie na oszacowaniu stopnia, w jakim wdrażane w projekcie działania przyczyniają się do realizacji celów projektu. Ocena skuteczności zrealizowanych działań pozwoli uzyskać wiedzę w następujących kwestiach: co tak naprawdę udało się osiągnąć, czego zaś konkretnie nie osiągnięto. Starano się poznać przesłanki skutecznej realizacji działań, zarówno związanych ze specyfiką proponowanego wsparcia, jak i zasobami instytucji realizującej projekt (materialnymi, organizacyjnymi i kadrowymi). Główne pytanie ewaluacyjne sformułowano następująco: do jakiego stopnia cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte? Oceniając skuteczność dokonano analizy stopnia realizacji zamierzonych celów projektu po roku jego trwania. Ocena skuteczności obejmować będzie ocenę zarządzania projektem, ocenę stopnia realizacji przewidzianych na tym etapie celów i działań oraz identyfikację barier i trudności oraz sposobów ich rozwiązywania. Źródłem wiedzy będzie w tym przypadku analiza sprawozdawczości projektu, analiza danych ze strony internetowej oraz wyniki przeprowadzonej obserwacji. Ponadto, dla wyjaśnienia niektórych zagadnień przeprowadzono wywiad nieformalny z koordynatorem projektu. Ocena procesu zarządzania zawiera: zarządzanie informacją, finansami, relacjami pomiędzy członkami zespołu badawczego oraz terminowość realizowanych działań. Proces zarządzania informacją obejmuje: sprawozdawczość, gromadzenie dokumentów, monitoring oraz promocję projektu. Sprawozdania finansowe i merytoryczne przygotowywane są zgodnie z wytycznymi oraz umową raz na trzy miesiące. Sprawozdanie merytoryczne (zgodnie z wytycznymi) zawiera opis zadań zrealizowanych, będących w trakcie oraz opis dalszych planów realizacji. Dokumentacja zawiera ponadto przygotowane narzędzia badawcze, raporty cząstkowe, umowy oraz rachunki wraz z wymaganym opisem. Dokumentacja jest przechowywana przy stanowiskach pracy w zamkniętych szafach a po ostatecznym rozliczeniu zostanie zarchiwizowana w siedzibie WSPA Segregatory zawierają opisy – tytuł projektu, logo UE i POKL i opis czego dotyczy segregator Monitoring projektu prowadzony jest systematycznie w oparciu o różne zestawienia danych, wnioski o płatność oraz w ramach sprawozdawczości. Kanałami promocji i informacji o projekcie są : -strona internetowa projektu, na której zamieszczane są systematycznie informacje o postępach projektu, aktualności oraz treść raportów cząstkowych, ponadto zamieszczono banner na stronie NGO -ogłoszenia w prasie lokalnej, ponadregionalnej i fachowej (zamieszczono informację o projekcie w „Polityce Społecznej” 22 -informacje wysyłane drogą elektroniczną do instytucji zajmujących się problem bezdomności. Z analizy dokumentacji finansowej projektu wynika, że od początku realizacji projektu (1.11.2009 r.) dp dnia 6.10. 2010 r. złożono 5 wniosków o płatność. W tym 9.12. 2009 r na kwotę 5 778,82 zł (wniosek uzupełniono merytorycznie 15.12. 2009 r), 14.01. 2010 na kwotę 70 590,23 zł, 9.04. 2010 na kwotę 55 239,34 zł, 7.07. 2010 na kwotę 71 420,28 zł oraz 6.10 2010 r. na kwotę 60 883,22 zl. Łącznie złożono wnioski o płatność na kwotę 269 911, 79 zł. Zarządzanie relacjami pomiędzy badaczami realizowane jest przez koordynatora projektu, wyposażonego w odpowiednie kompetencje. Część bieżących kwestii rozstrzygana jest w formie bezpośrednich kontaktów członków zespołu badawczego, niektóre sprawy związane z realizacją zadań projektu omawiane są w trakcie organizowanych przez koordynatora spotkań zespołu badawczego. Nie stwierdzono istotnych problemów w tym zakresie. Na kolejnych etapach realizacji projektu osiągane są założone w projekcie cele, harmonogram jest skonstruowany elastycznie, zaś przesunięcia terminów są niewielkie i wynikają ze specyfiki obszaru badawczego. Po roku funkcjonowania projektu zrealizowano wszystkie etapy procesu badawczego, tzn. analizę danych urzędowych, indywidualne wywiady pogłębione (IDI), grupowe wywiady zogniskowane (FGI) oraz wywiady kwestionariuszowe. Przygotowano i zamieszczono na stronie internetowej raporty cząstkowe z analizy danych urzędowych, indywidualnych wywiadów pogłębionych (IDI) oraz wywiadów standaryzowanych. W listopadzie r. planowane jest także upowszechnienie raportu cząstkowego z grupowych wywiadów zogniskowanych. Raport cząstkowy z analizy dokumentów urzędowych liczy 117 stron. Opiera się na danych uzyskanych bezpośrednio z 24 instytucji zajmujących się pomocą bezdomnym z terenu województwa lubelskiego oraz na informacjach GUS, Wydziału Polityki Społecznej Urzędu Wojewódzkiego oraz Regionalnego Ośrodka Polityki Społecznej w Lublinie. W treści raportu zawarto omówienie regulacji prawnych, dotyczących zasad świadczenia pomocy i udzielania wsparcia bezdomnym, dane dotyczące liczby i struktury bezdomnych, charakterystykę funkcjonowania instytucji świadczących pomoc bezdomnym. Analiza dokumentów wykazała, że dane na poziomie województwa, dotyczące liczby i struktury bezdomnych nie zawsze pokrywają się ze statystykami gromadzonymi przez instytucje bezpośrednio świadczące pomoc i wsparcie. Wśród tych instytucji przeważają organizacje pozarządowe, często realizujące zadania zlecone przez ośrodki pomocy społecznej. Najczęstszą forma pomocy jest pomoc doraźna (posiłki, odzież, miejsce w schronisku). Stosunkowo niewielka liczba osób objęta jest Indywidualnym Planem Wychodzenia z Bezdomności, zaś jeszcze niższy odsetek znajduje legalne zatrudnienie. Uzyskane dane wskazują na wzrost liczby bezdomnych w ostatnich latach, przy jednoczesnym spadku poziomu środków przeznaczonych na pomoc dla tej grupy. 23 W treści raportu zamieszczono dane, pozwalające udzielić odpowiedzi na sformułowane uprzednio pytania badawcze: 1 Ilu bezdomnych korzysta z pomocy instytucjonalnej na terenie woj. lubelskiego? 2 Jakie instytucje zajmują się pomocą bezdomnym? 3 Jakie formy pomocy przeważają? 4 Jakimi środkami dysponują instytucje i jak je wykorzystują? Przyczynia się to do skutecznej realizacji następujących celów szczegółowych: określenia zasięgu bezdomności i jego dynamiki w województwie lubelskim, cech społeczno-demograficznych osób bezdomnych w regionie, zdiagnozowania potrzeb osób bezdomnych z punktu widzenia instytucji udzielających im wsparcia, zdiagnozowania funkcjonowania systemu wsparcia i pomocy osobom bezdomnym na terenie województwa lubelskiego. W trakcie realizacji tego etapu badań napotkano na problem związany z posiadaniem i udostępnianiem danych przez Charytatywne Stowarzyszenie Niesienia Pomocy Chorym Uzależnionym od Alkoholu „Nadzieja” w Lublinie. Zespół badawczy nie otrzymał w tym przypadku żadnych informacji dotyczących cech społeczno-demograficznych podopiecznych, stąd w raporcie cząstkowym posłużono się danymi, jakie posiadał w tym zakresie MOPR. Raport cząstkowy z indywidualnych wywiadów kwestionariuszowych liczy 125 stron (bez aneksów). Uzyskane dane zostały przedstawione w formie tabel i wykresów, co pozwala na pełny przegląd wyników badań. W realizacji techniki wzięło udział 15 ankieterów. Próba badawcza składała się z 500 osób bezdomnych (430 mężczyzn i 67 kobiet), z którymi przeprowadzono wywiady na terenie Lublina (339 osób), Chełma (67 osób), Zamościa (66 osób) i Białej Podlaskiej (28 osób). Wywiady najczęściej przeprowadzano w schroniskach dla bezdomnych, ponadto na dworcach autobusowych lub kolejowych, ulicach, parkach lub działkach, noclegowniach, domach opieki społecznej i innych miejscach (jadłodajnie, bary, ośrodki pobytu dziennego, klatki schodowe, itp.). Badania przeprowadzono w miastach zlokalizowanych w różnych częściach Lubelszczyzny. Jak wynika z przygotowanego raportu rozumienie pytań kwestionariuszowych było najczęściej dobre lub dostateczne.. Najczęściej pytaniem trudnym było pytanie (nr 21) o cechy charakteryzujące przywódców grup bezdomnych, co mogło wynikać z faktu, iż nie wszyscy bezdomni mieli za sobą doświadczenie życia grupowego. Do analizy statystycznej zastosowano statystyki opisowe, tabele dwuzmiennowe, analizy średnich, skalowanie wielowymiarowe, analizę korespondencji i indeksy. Na podstawie opinii respondentów określono główne przyczyny bezdomności, do których należą: alkoholizm, bezrobocie, rozpad związku małżeńskiego, wymeldowanie lub eksmisja, ucieczka przed przemocą w rodzinie. W oparciu o uzyskane opinie bezdomnych stworzono typologię przyczyn bezdomności, wyodrębniając 5 typów przyczyn bezdomności: mieszkaniowy, finansowy, uzależnieniowy, rodzinny i zdrowotny. 24 Jak wynika z ustaleń zawartych w raporcie cząstkowym bezdomni często pochodzą z rodzin patologicznych, w których nadużywa się alkoholu, istnieją konflikty z prawem, akty przemocy. Większość bezdomnych posiada aktualnie rodzinę (biorąc pod uwagę zarówno rodzinę pochodzenia, jak też rodzinę prokreacji), jednak w związku małżeńskim pozostaje zaledwie co szósty badany ale kontakty z małżonkiem nie są utrzymywane. bezdomni często cierpią na różnego rodzaju dolegliwości zdrowotne, czemu zapewne sprzyja styl życia. Z raportu wynika, że wysoki jest wśród respondentów odsetek osób uzależnionych od alkoholu i nikotyny. W oparciu o raport cząstkowy można stwierdzić, że najczęstszymi źródłami dochodu bezdomnych są prace dorywcze lub sezonowe oraz zasiłki z pomocy społecznej, bardzo rzadko jest to natomiast praca stała Wysoką pozycję w grupie bezdomnych zajmują osoby o stosunkowo najlepiej zachowanych więziach ze światem zewnętrznym. Mimo deklarowanej przez zdecydowaną większość respondentów chęci wyjścia z bezdomności, tylko nieco ponad połowa spośród nich poczyniła wysiłki w tym kierunku. Ponadto stosunkowo duża liczba bezdomnych nie pragnie wyjścia z bezdomności w najbliższym czasie, bądź chce pozostać bezdomnymi. Bezdomni korzystają najczęściej z noclegowni, posiłków oraz wsparcia finansowego. Większość bezdomnych uznaje, że otrzymywana w Ośrodkach Pomocy Społecznej pomoc spełnia ich oczekiwania. Bezdomni, którzy twierdzą, że OPS spełnia tylko nieliczne oczekiwania lub nie spełnia ich żadnych oczekiwań, sądzą, że spowodowane jest to zbyt skomplikowanym procesem załatwiania spraw, nieudolnością lub brakiem dobrej woli pracowników OPS, brakiem odpowiednich środków, którymi mógłby dysponować OPS lub efektem podziału posiadanych przez OSP środków. Przedstawione – w znacznym skrócie – wyniki badań opinii bezdomnych wskazują, że uzyskano wiedzę na temat cech społeczno-demograficznych osób bezdomnych, procesu wchodzenia w bezdomność i marginalizacji oraz – w pewnym zakresie -potrzeb osób bezdomnych. Pozwala to na sformułowanie wniosku, że użyta metoda okazała się skuteczna z punktu widzenia założonych w projekcie celów. Ostatnim, przygotowanym na tym etapie raportem jest raport cząstkowy z indywidualnych wywiadów pogłębionych z osobami bezdomnymi. Dane jakościowe nie są wyrażane w liczbach, dotyczą opisu, poznania i zrozumienia badanych zjawisk. Dane jakościowe są niezbędne do właściwej interpretacji informacji liczbowych. Jakościowy charakter badań kładzie nacisk na procesy i znaczenia, które nie podlegają ścisłym rygorom tak jak w pomiarze ilościowym Badaniami objęto osoby bezdomne z terenu województwa lubelskiego. Raport (bez aneksu) liczy 65 stron, obejmuje opis metody badawczej oraz uzasadnienie jej zastosowania. Zawiera także w części metodologicznej opis doboru próby badawczej. Ze względu na specyfikę badanej populacji próba badawcza została dobrana w sposób celowy, składała się z 20 osób bezdomnych (14 mężczyzn i 6 kobiet), z którymi przeprowadzono wywiady na terenie Lublina (6 osób), 25 Zamościa (5 osób) i Białej Podlaskiej (2 osoby) i Chełma (7 osób). Najmłodszy respondent miał 20 Ze względu na ograniczony czas badań i z góry narzuconą liczbę lat, najstarszy – 65. respondentów uzyskano pewien stopień nasycenia jedynie w jednej ogólnej kategorii osób bezdomnych. Z treści omawianego raportu wynika, że wywiady z bezdomnymi pozwoliły na określenie, w jaki sposób badani postrzegają swoje miejsce w świecie dawniej i obecnie, identyfikację czynników, które wpłynęły na drogę życiową bezdomnych, poznanie oceny instytucji pomocy społecznej. Indywidualne wywiady pogłębione pozwoliły poznać plany (marzenia) bezdomnych, dotyczące ich przyszłości oraz sposób w jaki te plany chcieliby zrealizować. Analiza treści raportu wskazuje, że zastosowana technika badawcza umożliwiła zdiagnozowanie potrzeb osób bezdomnych z punktu widzenia ich samych, rozpoznanie procesu wchodzenia w bezdomność i marginalizacji, ocenę funkcjonowania systemu wsparcia i pomocy osobom bezdomnym. Podsumowując dotychczasową ocenę stopnia realizacji zakładanych celów oraz skuteczności użytych metod, można przyjąć, że na tym etapie realizacji projektu zakładane cele zostały osiągnięte, zaś zastosowane metody okazały się skuteczne w odniesieniu do tych celów. Zrealizowano zaplanowane etapy badań, zaś ich wyniki, opublikowane w raportach cząstkowych pozwalają na ocenę rozmiaru bezdomności, jej przyczyn oraz analizę dotychczasowych metod pracy z bezdomnymi, ich aktywizacji, a także prowadzonych strategii przeciwdziałania bezdomności w województwie lubelskim. Barierą, na jaką napotkano w trakcie realizacji wymienionych etapów badań, był brak bezpośrednich danych dotyczących cech społeczno-demograficznych osób bezdomnych, którym udzielało wsparcia i pomocy Charytatywne Stowarzyszenie Niesienia Pomocy Chorym Uzależnionym od Alkoholu „Nadzieja” w Lublinie. W trakcie badań ewaluacyjnych przeprowadzono obserwację badań kwestionariuszowych realizowanych przez przeszkolonych ankieterów. Celem głównym tego etapu badań ewaluacyjnych była identyfikacja ewentualnych trudności w realizacji tej części projektu badawczego. Informacje pochodzące z obserwacji badań kwestionariuszowych powiązano z ogólnym kryterium ewaluacji, jakim jest skuteczność badająca stopień realizacji zakładanych celów, skuteczność użytych metod oraz wpływ czynników zewnętrznych na uzyskane na tym etapie efekty. Badania zrealizowano w lutym i marcu 2010 r,. na grupie 5 ankieterów oraz realizacji trzech wywiadów przez każdego spośród nich. Planując obserwację jako technikę badań ewaluacyjnych przyjęto założenie, że jakość uzyskanych danych ilościowych zależeć będzie m.in. od przebiegu procesu komunikacji pomiędzy ankieterem a respondentem. Czynnikami mogącymi zakłócać ten proces po stronie respondentów są zarówno negatywne postawy wobec samego badania (sens udziału), brak kompetencji komunikacyjnych bezdomnych, pozwalających na zgodną z intencją badacza interpretację 26 czytanych przez ankietera pytań, brak wiedzy badanych na dany temat, posługiwanie się specyficznym kodem językowym (język środowiskowy), niezgodne z prawdą odpowiedzi na pytania drażliwe, stan nietrzeźwości, stan po użyciu narkotyków, obawa przed udzielaniem informacji na swój temat. Przedmiotem badania ewaluacyjnego był stopień zainteresowania bezdomnego udziałem w badaniu, identyfikacja pytań drażliwych i sprawiających trudności w odpowiedzi, sposób formułowania odpowiedzi i zwroty specyficzne, zachowania parajęzykowe i niewerbalne. Również po stronie ankietera znajduje się szereg czynników mogących zakłócić przebieg badania i wiarygodność uzyskanych informacji. Istnieją w tym względzie liczne i obszerne opracowania dotyczące wpływu ankietera na przebieg i wyniki procesu badawczego. Dla potrzeb badania ewaluacyjnego obserwacji poddano sposób nawiązania komunikacji z respondentem, formy zachowań niewerbalnych i parajęzykowych, sposób przekazywania treści pytań i wyjaśniania wątpliwości, formy radzenia sobie z sytuacjami trudnymi (np.. przerywanie wypowiedzi bezdomnego nie związanej z tematem badań).Ankieterzy zostali przeszkoleni oraz wyposażeni wstosowną instrukcję, ułatwiającą realizację wywiadu kwestionariuszowego. Ponadto, jak wynika z wywiadu nieformalnego przeprowadzonego ze specjalistą ds. badań ilościowych, ankieterzy mieli możliwość elastycznego stosowania kart respondenta. Ze względu na specyfikę grupy badanej istotnym czynnikiem jest niewątpliwie kontekst sytuacyjny realizacji wywiadu. Część badań przeprowadzono w różnego typu instytucjach wspierających bezdomnych (ośrodki dzienne, noclegownie). W tym przypadku znaczącym elementem sytuacji mogła okazać się obecność pracowników instytucji oraz innych bezdomnych w trakcie wywiadu. Z kolei wywiady realizowane na dworcach lub w innych miejscach przebywania bezdomnych, mogły być zakłócane przez specyficzny charakter tych miejsc: hałas, przemieszczających się stale podróżnych czy inne osoby, brak miejsca, w którym ankieter i respondent mogliby usiąść. Cechy miejsc, w których przeprowadzano indywidualne wywiady kwestionariuszowe były zróżnicowane. Idealną sytuacją byłoby oczywiście zapewnienie odrębnego pomieszczenia, w którym obecny byłby tylko bezdomny oraz ankieter, Taka sytuacja wystąpiła tylko w czterech przypadkach (wywiady przeprowadzono w Dziennym Ośrodku Wsparcia dla Bezdomnych w Lublinie (MOPR), ul. Młyńska 18). Mimo dobrych warunków realizacji wywiadu, w tym przypadku u jednego z respondentów dało się zauważyć pewne skrępowanie faktem przebywania w pomieszczeniu biurowym (nie zmieniał pozycji na krześle, był wyraźnie usztywniony). Dwa wywiady z bezdomnymi zrealizowano w biurze Ośrodka, w obecności pracowników. Nie zaobserwowano, by respondenci byli szczególnie skrępowani tą sytuacją, co zapewne wynika z faktu, iż korzystając z różnych form wsparcia, często udzielają informacji na swój temat w obecności innych osób. Tylko w jednym przypadku wystąpiła próba ingerencji pracownika Ośrodka – wyraził on zdziwienie, gdy respondent odpowiedział, iż nie chce w chwili obecnej wyjść 27 ze stanu bezdomności (pytanie 10 kwestionariusza). Respondent jednak nie zmienił swojej odpowiedzi. Trzy spośród obserwowanych wywiadów przeprowadzono w świetlicy, w obecności innych bezdomnych. W trakcie badania pozostawiono włączony telewizor (odbywał się konkurs skoków). Respondenci co prawda nie śledzili wydarzeń na ekranie, tym niemniej występowały trudności ze zrozumieniem poszczególnych pytań, wynikające z faktu, iż badany ze względu na hałas lub uwagi innych osób zgromadzonych w świetlicy nie usłyszał lub nie zrozumiał właściwie pytania. Według oceny ewaluatora nie wpływało to na sposób odpowiedzi respondenta, ale przedłużało czas trwania wywiadu. Pozostałe sześć spośród obserwowanych wywiadów przeprowadzono na dworcach PKP i PKS w Lublinie. Należy uznać, że szczególnie istotnym czynnikiem był w tym przypadku hałas (zapowiedzi przez megafon, hałas pojazdów, gwar rozmów przechodniów). Zdarzenia te nie tylko powodowały konieczność powtarzania poszczególnych pytań, ale także rozpraszały uwagę bezdomnych i były męczące dla zapisującego odpowiedzi ankietera. Sytuację wywiadu utrudniał także fakt, iż badania realizowano na ławkach bądź parapetach okiennych, co powodowało techniczne trudności, np. z przedstawianiem bezdomnemu do wglądu kart respondenta. W jednym przypadku wywiadowi przysłuchiwało się jeszcze dwóch innych bezdomnych, którzy komentowali odpowiedzi respondenta, dodawali własne komentarze oraz wymieniali uwagi między sobą. Choć sytuacja ta nie wpływała na ogół na odpowiedzi na pytania, powodowała jednak wydłużenie czasu trwania wywiadu oraz konieczność interwencji ankietera (zwracanie uwagi, iż to inna osoba ma odpowiadać na pytania). Przedstawione dotychczas sytuacje należy uznać za niezależne od ankietera oraz niemożliwe do wyeliminowania w procesie planowania i realizacji badań. Specyfika grupy badanej – bezdomnych - powoduje, ze wszystkie tego typu badania obciążone są ryzykiem błędu wynikającego z prowadzenia badań w trudnych warunkach terenowych, w których respondent może niedokładnie zrozumieć sens pytania lub udzielić nieprzemyślanej czy nieprawdziwej odpowiedzi, by jak najszybciej przejść do następnego pytania. Podkreślić przy tym należy, iż badani okazali się odporni na sugestie innych osób, obecnych w trakcie wywiadu i odpowiadali na pytania kwestionariusza według własnego uznania. Ankieterzy w chwili nawiązywania kontaktu z respondentami stosowali jednolitą i sformalizowaną strategię. We wszystkich przypadkach, zwracając się do bezdomnych o wyrażenie zgody na udział w badaniach, informowali, jaką instytucję reprezentują oraz jaki jest cel badań. Bezdomni byli informowani również o anonimowym charakterze badań oraz wykorzystaniu wyników do publikacji naukowej. Ankieterzy zrealizowali do czasu ewaluacji już istotną część ankiet, zachowywali się pewnie i spokojnie dobrze znali kolejność pytań. Bezdomni na ogół chętnie zgadzali się udzielić odpowiedzi na pytania kwestionariusza. Można wyodrębnić tu trzy kategorie zachowań: 28 1) Zgoda i podkreślenie swojej pozycji: „Mam bardzo dużo do powiedzenia”, „dużo przeżyłem i doświadczyłem” (4 przypadki), 2) Bierna akceptacja, okazanie zrozumienia (9 przypadków), 3) Niechętna zgoda, okazywanie napięcia w trakcie wywiadu (2 przypadki). Większość respondentów zachowywała się spokojnie i w sposób wyważony udzielała odpowiedzi. Można sądzić iż swoją sytuację życiową traktowali jako normalną, byli z nią raczej pogodzeni, choć werbalnie jej nie akceptowali. Zakres i charakter obserwacji nie pozwala jednak ocenić czynnika indywidualnych różnic między respondentami. Trzech spośród badanych wypowiadało się niegramatycznie, choć pełnymi zdaniami, w tym jeden z wyraźnym wschodnim akcentem. Jeden z respondentów wyraźnie nie rozumiał znaczenia słowa „przemoc”. Ankieter w tym przypadku ograniczył się do dwukrotnego przeczytania pytania, które dotyczyło przemocy, lecz nie objaśniał znaczenia w inny sposób Zdecydowana większość formułowała wypowiedzi poprawnie, w sposób gramatyczny. Badani ci nie mieli problemów ze zrozumieniem większości pytań. Jeśli chodzi o cechy specyficzne języka, to tylko w jednym przypadku respondent systematycznie używał zwrotu „co próbuję, to jest odłam” Ankieterzy dokładnie odczytywali treść każdego pytania, często kilkakrotnie, informowali również o zmianie tematyki kolejnych pytań (zgodnie z instrukcją kwestionariusza wywiadu). W uzasadnionych przypadkach pytanie było odczytywane kilkakrotnie, ponadto (poza kilkoma przypadkami) badani otrzymywali do wglądu kartę respondenta. Wśród pytań, które budziły najwięcej wątpliwości oraz stwarzały badanym problem z udzieleniem właściwej odpowiedzi, wskazać należy przede wszystkim pytanie nr 21, dotyczące cech osób będących przywódcami grup. Także pytanie dotyczące utrzymywania kontaktów z członkami rodziny (25), stanowiło dla respondentów pewien problem. Z reguły trudność polegała na podjęciu decyzji dotyczącej częstości kontaktów. Zapewne w poszczególnych latach te kontakty były raz częstsze a raz rzadsze. Być może ustanowienie ram czasowych ułatwiłoby badanym odpowiedź. Wbrew obawom respondenci nie postrzegali kwestionariusza wywiadu jako szczególnie długiego i odpowiadali na kolejne pytania. Tylko w kilku przypadkach bezdomni chcieli, by szybko odczytywać pytania i jak najszybciej zakończyć rozmowę. Po części wynikało to z faktu, iż zamierzali pójść, by spożyć wydawany o określonej porze posiłek. W dwóch przypadkach badani byli lekko nietrzeźwi (badania realizowane na dworcu PKP i PKS), zaś w jednym przypadku respondent za udzielenie odpowiedzi zażądał pieniędzy na papierosy (6 zł), które po wywiadzie od ankietera otrzymał. Jeden z respondentów zabiegał, by ankieter zasięgnął informacji w jego sprawie w administracji Ośrodka. Jednym z pytań, jakie stawiają przed ewaluatorem badania kwestionariuszowe realizowane 29 przez ankietera, jest pytanie o szczerość i prawdziwość odpowiedzi udzielanych przez bezdomnych. Na podstawie obserwacji można sadzić, iż respondenci na ogół w dość otwarty sposób traktowali swój udział w badaniach. Odpowiedzi na pytania sprawiały wrażenie zgodnych ze stanem faktycznym i poglądami badanego. Jeden z respondentów, zapytany o pochodzenie środków do życia nie zawahał się podać, iż uzyskuje je „z kradzieży”. Najwięcej wątpliwości mogą rodzić odpowiedzi na pytania dotyczące częstości kontaktów z rodziną. Wydaje się, że ci spośród badanych, którzy pozostawali w otwartym konflikcie z rodziną, zaniżali częstość tych kontaktów (komentowali relacje z rodziną, nie potrafili zdecydować się, jak określić częstość kontaktów). Natomiast respondenci nie postrzegający negatywnie członków rodziny, zawyżali częstość kontaktów (przy czytaniu kategorii odpowiedzi zastanawiali się i z reguły wybierali tę odpowiedź, która świadczyła o częstszych relacjach i silniejszej więzi). Pytaniem weryfikującym może być w tym przypadku kolejne pytanie kwestionariusza (26), wymagające od respondenta wskazania osób, na które mógłby liczyć w nagłej potrzebie. Również odpowiedzi na pytanie o częstość spożywania alkoholu mogą nie odzwierciedlać stanu faktycznego. Bezdomni korzystający z ośrodków mają z reguły zakaz przebywania w nich w stanie nietrzeźwości. W tej sytuacji mogli oni zaniżać częstość picia alkoholu. Z kolei ci, którzy przebywali głównie na dworcach mogli ukrywać ewentualne problemy po spożyciu alkoholu (takie wnioski wynikają z obserwacji zachowań badanych, gdy ankieter czytał te pytania). Istotną kwestią w tych pytaniach okazały się ramy czasowe. Respondenci stwierdzali np., że kilka miesięcy wcześniej pili często, obecnie zaś nie piją, stąd umieszczenie w pytaniu wyraźnie określonych ram czasowych (np. w ciągu ostatniego roku) mogłoby wpłynąć na wybór odpowiedzi przez bezdomnego. Należy podkreślić (jak wynika z obserwacji), iż ankieterzy spotykali się z bardzo dobrym przyjęciem ze strony bezdomnych, nie zaobserwowano żadnych przejawów agresji wobec nich, traktowani byli uprzejmie i życzliwie, bezdomni starali się udzielać pełnych i wyczerpujących odpowiedzi. Nawet w przypadku pytań drażliwych nie zaobserwowano negatywnych reakcji badanych. Najważniejszy problemem mogącym zakłócić proces komunikacji ankietera i respondenta okazał się kontekst badania, czyli miejsce realizacji wywiadu kwestionariuszowego. Najpoważniejszymi problemami w tym przypadku były hałas oraz brak dogodnego miejsca dla prowadzenia zapisu i przedstawiania kart respondenta. Nie stwierdzono posługiwania się przez bezdomnych slangiem czy specyficznymi zwrotami środowiskowymi. Używali oni na ogół poprawnej polszczyzny, udzielali pełnych odpowiedzi. Jedynie w pojedynczych przypadkach wystąpiły problemy ze zrozumieniem niektórych pytań lub użytych w kwestionariuszu wywiadu terminów. W przypadku wystąpienia problemów ze zrozumieniem pytania, ankieterzy rozwiązywali je tylko w jeden standardowy sposób – poprzez kilkakrotne czytanie treści pytania i zawartych w nim 30 kategorii odpowiedzi. Niektóre z pytań sprawiały pewne problemy z udzieleniem odpowiedzi (dotyczyło to większości respondentów). Zostały one wskazane w sprawozdaniu. Można w tym przypadku proponować konfrontację odpowiedzi na nie z odpowiedziami na inne pytania oraz ze spostrzeżeniami ankieterów, zawartymi w Ankiecie dla ankietera. Postawy respondentów wobec udziału w badaniu były na ogół pozytywne lub neutralne, co przyczyniało się do udzielania odpowiedzi na ogół na wszystkie zadane pytania. Obserwacja niewielkiej liczby wywiadów nie uprawnia co prawda do uogólnień, niemniej jednak w przypadku tych 15 respondentów można sądzić, iż w większości udzielone odpowiedzi były prawdziwe i szczere. Za barierę skuteczności w osiągnięciu celów szczegółowych na tym etapie projektu można uznać przede wszystkim oddziaływanie czynników zewnętrznych, niezależnych od realizatorów projektu. Wpływ czynników wewnętrznych może być ograniczony i modyfikowany na etapie opracowania wyników badań oraz przygotowania raportu cząstkowego. Ta część raportu ewaluacyjnego miała dostarczyć odpowiedzi na następujące pytania związane z kryterium skuteczności: 1) Jakie czynniki i działania sprzyjają wysokiej skuteczności realizowanych zadań projektowych? 2) Czy działania te mogą zostać uznane za dobre praktyki warte upowszechnienia? 3) Jakie czynniki stanowią barierę skuteczności w realizowanym projekcie? 4) Czy zaplanowane dalsze działania są odpowiednie do osiągnięcia celów projektu? 5) Czy powinny zostać wprowadzone zmiany w sposobach realizacji celów projektu, jeśli tak, to jakie? Odnosząc się do przedstawionych dotychczas wyników badań ewaluacyjnych za czynniki sprzyjające skuteczności realizacji zadań projektowych należy uznać zarządzanie projektem, polegające na terminowości realizacji działań, monitorowaniu procesu badawczego oraz gromadzenie dokumentacji i koordynacja – gdy to jest konieczne – prac zespołu badawczego. Czynnikiem sukcesu jest niewątpliwie kolejność etapów badań a w szczególności publikacji raportów, zgodnie z którą najpierw zrealizowano analizę danych urzędowych, w następnej kolejności wywiady standaryzowane z bezdomnymi, indywidualne wywiady pogłębione z bezdomnymi oraz grupowe wywiady zogniskowane z pracownikami instytucji udzielających pomocy i wsparcia osobom bezdomnym. Badacze, przystępując do realizacji indywidualnych wywiadów pogłębionych z bezdomnymi oraz grupowych wywiadów zogniskowanych z przedstawicielami instytucji, posiadali poszerzoną wiedzą o badanych zjawiskach na terenie województwa lubelskiego. O skuteczności zadecydowało także staranne przygotowanie badań, oraz zastosowanych metod i technik badawczych. Analiza raportów cząstkowych wskazuje, że wyniki badań opracowano obszernie i starano się zawrzeć jak najwięcej istotnych z punktu widzenia celów projektu informacji. 31 Do zakończenia procesu badawczego pozostało przygotowanie raportu cząstkowego z grupowych wywiadów zogniskowanych. Ponadto przygotowany zostanie raport końcowy z badań, który będzie wysłany w liczbie 350 egzemplarzy do samorządów lokalnych, instytucji pomocy społecznej, organizacji pozarządowych oraz uczelni. Projekt zakończy konferencja z udziałem minimum 50 osób, której celem będzie upowszechnienie wyników badań. Uzyskane w procesie badawczym dane mają przyczynić się do wzrostu wiedzy u odbiorców publikacji na temat zasięgu bezdomności, cech osób bezdomnych, procesu wchodzenia w bezdomność i marginalizację, funkcjonowania systemu wsparcia osób bezdomnych. Ponadto zamierza się uzyskać wzrost zainteresowania budowaniem zaplecza informacyjnego, dotyczącego problemu bezdomności i systemu wsparcia osób bezdomnych, .a także wzrost zainteresowania operacyjnym podejściem do planowania działań w obszarze pomocy społecznej. Zaplanowane dalsze działania skłaniają do przyjęcia, że założone powyżej rezultaty miękkie zostaną osiągnięte, co z kolei przyczyni się do realizacji celów projektu. 3.4. Analiza i ocena użyteczności z punktu widzenia bezdomnych oraz instytucji Ostatnim etapem ewaluacji mid – term jest ocena użyteczności badająca stopień, w jakim projekt zaspokaja istotne potrzeby grup docelowych lub przyczynia się do rozwiązania problemów (czy rzeczywiste efekty projektu są zgodne z potrzebami?). Jest to swoiste powtórzenie kryterium trafności, stawia bowiem analogiczne pytania, tyle, że w innym momencie czasowym. Należy zaznaczyć, że w przypadku ewaluacji mid – term, realizowanej w sytuacji, gdy projekt jeszcze trwa, pełna ocena jego użyteczności w zasadzie nie jest możliwa. Można jednak dokonać wstępnego oszacowania, na ile działania zaplanowane w projekcie rozwiązały problemy, na które miały odpowiadać i czy efekty projektu mogą być satysfakcjonujące dla jego potencjalnych odbiorców. Kluczowe pytanie w przypadku kryterium użyteczności sformułowano następująco: w jakim zakresie to, co zostało dotychczas zrealizowane przyczynia się do rozwiązania zdefiniowanych problemów? Źródłem danych do oceny użyteczności były przedstawiane uprzednio raporty cząstkowe. Pytania szczegółowe, jakie sformułowano dla kryterium użyteczności były następujące: 1) Jakie są rezultaty ewaluowanego projektu, oceniane z punktu widzenia diagnozy potrzeb osób bezdomnych? 2) W jaki sposób realizacja projektu przyczynia się do poszerzenia wiedzy i wypracowania nowych metod pracy realizowanej działalności instytucji oraz organizacji pozarządowych wspierających osoby bezdomne? 32 3) Czy zrealizowanie projektu przyczyni się do rozszerzenia istniejącego już lub wprowadzenia nowego obszaru badań? 4) Czy dotychczasowe efekty realizacji projektu spotkały się z zainteresowaniem instytucji realizujących różne formy pomocy bezdomnym? Ogólnie rzecz ujmując, projekt będzie spełniać kryterium użyteczności, jeśli zdiagnozowanie zjawiska bezdomności, w tym: 1) określenie zasięgu bezdomności i jego dynamiki w województwie lubelskim, 2) określenie cech społeczno-demograficznych osób bezdomnych w regionie, 3) rozpoznanie procesu wchodzenia w bezdomność i marginalizacji, 4) zdiagnozowanie potrzeb osób bezdomnych z punktu widzenia ich samych i instytucji wsparcia, 5) zdiagnozowanie i ocena funkcjonowania systemu wsparcia i pomocy osobom bezdomnym na terenie województwa lubelskiego, przyczyni się do wzrostu wiedzy oraz zainteresowania problematyką bezdomności oraz operacyjnym podejściem do planowanych działań w obszarze pomocy społecznej wśród odbiorców publikacji oraz uczestników konferencji. Na potrzeby niniejszego raportu można wskazać te elementy diagnozy, które mogą okazać się szczególnie użyteczne wśród odbiorców publikacji (samorządów lokalnych, instytucji pomocy społecznej, organizacji pozarządowych). Analiza dokumentów urzędowych pozwoliła na prezentację głównych instytucji zajmujących się organizowaniem pomocy i wsparcia dla bezdomnych, ponadto w raporcie cząstkowym z tego etapu procesu badawczego zgromadzono dane dotyczące liczby, dynamiki i cech społeczno – demograficznych osób bezdomnych w województwie lubelskim. Korzystano przy tym zarówno z informacji dostępnych w publikacjach GUS i ROPS w Lublinie, jak i z danych poszczególnych instytucji. W raporcie znalazły się także informacje dotyczące form pomocy, geograficznego zróżnicowania jej dostępności na obszarze województwa lubelskiego oraz głównych źródeł finansowania. Zaletą dokumentu jest zgromadzenie rozproszonych danych w jednej publikacji oraz sformułowani istotnych wniosków wynikających z uzyskanych danych. Należy przyjąć, ze raport może być szczególnie użyteczny dla instytucji planujących strategię polityki społecznej na terenie województwa lubelskiego jak też może być wkładem w poszerzenie wiedzy o zjawisku bezdomności na terenie kraju. Za szczególnie ważne można uznać ustalenia zespołu badawczego, z których wynika iż 7 spośród 20 powiatów nie oferuje żadnej formy pomocy bezdomnym w postaci schronienia, co – szczególnie w miesiącach zimowych jest podstawową formą pomocy osobom bezdomnym. Fakt ten może przyczyniać się do migracji bezdomnych do większych miast w regionie, gdzie bezdomni mogą spodziewać się większych możliwości uzyskania różnych form wsparcia. Szczególnie istotną 33 forma pomocy jest także pomoc żywnościowa, zaś z ustaleń zawartych w raporcie wynika, iż 11 spośród 20 powiatów nie posiada jadłodajni ani punktów wydawania żywności. Z analizy dokumentów urzędowych wynika, iż dominuje nastawienie na wsparcie doraźne (wzrost liczby miejsc w noclegowniach a spadek w schroniskach), znikoma jest także liczba mieszkań chronionych Ustalono również, że osoby przebywające w noclegowniach najczęściej pozbawione były dochodów – stąd postulowana konieczność zintensyfikowania pomocy dla tej grupy bezdomnych. Za niepokojący należy uznać znaczący spadek liczby wolontariuszy, którzy często pomagali bezdomnym w uregulowaniu różnych spraw urzędowych oraz w radzeniu sobie z niektórymi codziennymi sprawami. Ponadto liczba wolontariuszy uzależniona jest od typu instytucji (najwięcej w schroniskach i domach samotnej matki). Stwierdzono także niewielki spadek liczby osób zatrudnionych w instytucjach udzielających bezdomnym pomocy i wsparcia, przy jednoczesnym wzroście liczby bezdomnych. Poznanie omawianej problematyki z punktu widzenia osób bezdomnych umożliwiły wywiady standaryzowane z bezdomnymi. Ustalenia i wnioski wynikające z tego etapu procesu badawczego są szczególnie użyteczne ze względu na dużą liczbę (500) respondentów, których objęto badaniami. Poza ustaleniem istotnych cech społeczno-demograficznych grupy badanej oraz przyczyn bezdomności, za ważne z punktu widzenia poszerzenia wiedzy o zjawisku bezdomności w województwie lubelskim należy uznać określenie stopnia wykluczenia i marginalizacji osób bezdomnych. Marginalizacja w tym przypadku wynika nie tylko z samego faktu baraku mieszkania (co jest niewątpliwie sprawą najważniejszą), lecz także na niemożności korzystania z innych dóbr i uprawnień, dostępnych pozostałym członkom społeczeństwa. W oparciu o wyniki badań skonstruowano indeks wykluczenia oraz kategorie wykluczenia. Pozwoliło to na ustalenie, iż zdecydowaną większość respondentów cechuje bardzo duże lub duże wykluczenie społeczne, które rośnie wraz z wiekiem i stażem bezdomnego. Jest to o tyle istotne, że w wyniku analiz stwierdzono, iż istnieje związek między kategorią wykluczenia i chęcią wyjścia ze stanu bezdomności. Bardzo duże wykluczenie znacznie częściej pojawia się w grupie osób, które chcą pozostać bezdomne, niż wśród osób które chcą (jak najszybciej lub nieco później) wyjść z bezdomności. Oznacza to, że osoby, które nie posiadały telefonu komórkowego, dostępu do Internetu, nie korzystały z dóbr kultury, usług bankowych oraz nie interesowały się bieżącymi wydarzeniami społecznopolitycznymi, przejawiały także mniejsze tendencje do podjęcia działań zmierzających do zmiany swego statusu osoby bezdomnej. Ustalenie to należy uznać za szczególnie użyteczne przy konstruowaniu strategii wyjścia z bezdomności dla konkretnego bezdomnego. Wynika z tego, że wfazie początkowej bardzo ważne może okazać się nie tylko stworzenie szans na otrzymanie pracy czy mieszkania lecz przywrócenie możliwości korzystania z wymienionych dóbr i usług oraz przywrócenie lub pobudzenie zainteresowania osoby bezdomnej, by chciała z tych możliwości 34 korzystać. Oznacza to także przekazanie osobom bezdomnym wiedzy, w jaki sposób powinni np. korzystać z Internetu lub konta bankowego. Za szczególnie użyteczne dla odbiorców wyników badań należy też uznać ustalenie, iż występuje statystyczny związek między chęcią wyjścia z bezdomności i typami przyczyn bezdomności. Z typem mieszkaniowym i finansowym związana jest chęć jak najszybszego wyjścia z bezdomności, z typem uzależnień – wyjście bezdomności dopiero za jakiś czas, z typem rodzinnym – chęć pozostania w bezdomności. I w tym przypadku konstruując regionalne, czy lokalne plany pomocy i wsparcia dla bezdomnych czy indywidualne strategie wychodzenia z bezdomności należałoby je zróżnicować dla różnych typów przyczyn bezdomności. Można zapewne wskazać także inne aspekty omawianego raportu, podnoszące wiedzę i przyczyniające się do wypracowania nowych metod pracy z bezdomnymi. Kwestie te będą przedmiotem analizy w raporcie końcowym z ewaluacji ex-post, gdy zostaną przeprowadzone badania wśród uczestników konferencji, odbiorców raportu końcowego. Pogłębieniem wiedzy na temat subiektywnych opinii i ocen osób bezdomnych były indywidualne wywiady pogłębione z osobami bezdomnymi. Nie jest niewątpliwie zaskoczeniem, że respondenci pytani o ewentualne zmiany, jakie wprowadziliby do swojego obecnego życia, wyrażali chęć posiadania własnego mieszkania, dzięki któremu pozbyliby się statusu bezdomnego. Warunkiem koniecznym wyjścia z bezdomności według respondentów jest znalezienie pracy, która, podobnie jak mieszkanie, jest najczęściej wymienianym czynnikiem. Niektórzy bardzo chcieliby być osobami zdrowymi, ponieważ mieliby wtedy większą szansę na znalezienie pracy. Duża część bezdomnych to osoby z orzeczoną niepełnosprawnością lub takie, których stan zdrowia nie pozawala na wykonywanie ciężkiej pracy fizycznej. Mimo w ten sposób wyrażonych chęci zmian swojego życia, badani na ogół nie posiadali planów życiowych, przekraczających wymiar jednego dnia. Ponadto nie ujawniali także potrzeby posiadania takich planów. W ocenie autorek raportu cząstkowego, „taką postawę rozmówców można tłumaczyć brakiem wiary, iż przyszłość będzie lepsza od teraźniejszości, niezdolnością do antycypacji przyszłych stanów, zwłaszcza pożądanych. Osobiste, najczęściej negatywne doświadczenia badanych uwiarygodniają ich przewidywania co do niepewnej i niejasnej przyszłości.” Fakt ten należy uznać za istotny w pracy z indywidualnym przypadkiem, planując działania terapeutyczne zmierzające do obudzenia nadziei i marzeń, motywujących i ukierunkowujących zachowanie na zrealizowanie zamierzonego celu. Zgodnie z ustaleniami autorek raportu proces stawania się bezdomnym nie musi być procesem nagłym i jednoliniowym. Ponadto kategoria bezdomnych jest wewnętrznie zróżnicowana. Na podstawie analiz wyróżniono w badanej grupie następujące typy bezdomności: 1) bezdomny klasyczny, przebywający na ulicy, nocujący w różnych, niestałych miejscach; 2) bezdomny, który zasiedlił jakieś pomieszczenie, do którego nie ma prawa własności; 3) bezdomny mieszkający w schronisku lub noclegowni; 35 4) bezdomny frykcyjny: pojawiający się w schroniskach czy noclegowniach jedynie w zimie, w lecie natomiast nocujący w rożnych miejscach; 5) bezdomny czasowy: pracujący, często nielegalnie, podejmujący zatrudnienie sezonowe, 6) bezdomny mobilny: poruszający się po całej Polsce, poszukujący zatrudnienia sezonowego, a także schronisk o lepszych warunkach i mniej zaostrzonym reżimie. Strategia polityki społecznej winna uwzględniać zróżnicowanie kategorii bezdomnych a także fakt, iż stawanie się bezdomnym jest na ogół dłużej trwającym procesem. Jest to ważna wskazówka dla działań profilaktycznych, stąd ustalenia wynikające z omawianego raportu oraz proponowana typologia bezdomnych mogą stać się użyteczne dla instytucji pomocowych. Respondenci oceniali także funkcjonowanie instytucji oraz pomoc, jaką otrzymują. Poproszono badanych między innymi o opinie dotyczące zmian w funkcjonowaniu placówek Proponowane zmiany w funkcjonowaniu schroniska dotyczyły wielu aspektów od bardzo konkretnych (zakaz pobytu w schronisku chorych psychicznie) po bardziej ogólne związane raczej z problemami całego społeczeństwa (ograniczenie rozmiarów bezrobocia). Jedna z propozycji dotyczyła wyselekcjonowania spośród ogółu bezdomnych zamieszkujących schronisko tych jednostek, które rokują nadzieję na przyszłość. Przebywanie ze sobą osób jeszcze samodzielnych i pełnych inwencji oraz długotrwale bezdomnych powoduje u tych pierwszych osłabienie działań aktywizujących i obniżenie zdeterminowania do zmiany własnej sytuacji. Znajomość poglądów badanych w omawianej sprawie można również uznać za użyteczne poszerzenie wiedzy pracowników instytucji udzielających pomocy, wskazują one bowiem na problemy, jakie odczuwają sami bezdomni. Inne kwestie użyteczności ustaleń badawczych oraz przygotowanych raportów będą, jak wspomniano, przedmiotem analizy na etapie ewaluacji końcowej. Na zakończenie tej części analizy można wspomnieć o pewnej trudności, jaką mogą stwarzać omawiane publikacje. Jak wspomniano, jedną z zalet omawianych raportów cząstkowych jest obszerne przedstawienie wyników badań, poszerzone o wnioski i refleksje badaczy. Jednocześnie jednak obszerność raportów może się okazać pewną barierą – ich odbiorcy, zaangażowani w określone działania mogą nie dysponować wystarczającą ilością czasu, by zapoznać się z treścią wszystkich opracowań. Rozwiązaniem omawianego problemu może być przygotowanie streszczeń poszczególnych raportów cząstkowych, nie przekraczających np. 3 stron, zawierających podstawowe ustalenia badawcze oraz – co najważniejsze – wnioski i propozycje rozwiązań sformułowane przez zespół badawczy. Takie rozwiązanie pozwoliłoby z jednej strony na zaznajomienie się wszystkich odbiorców raportu końcowego z głównymi ustaleniami badawczymi a osoby szczególnie zainteresowane określoną problematyką dysponowałyby informacjami, gdzie poszukiwać stosownej wiedzy. Można też się zastanowić, jak cel badań mogą postrzegać bezdomni, których życie jest jego przedmiotem. Z ich perspektywy bycie badanym może nie mieć żadnego praktycznego znaczenia, poza sposobnością spędzenia paru chwil na rozmowie z badaczem, czyli osobą zainteresowaną ich 36 problemami i codziennymi sprawami. Wielu ludzi odczuwa jednak satysfakcję, mogąc przysłużyć się ważnej sprawie, pomóc w realizacji jakiegoś zamierzenia, zamiast stale występować w roli osoby wspieranej. Mają świadomość, że dostarczenie badaczom i – za ich pośrednictwem – usługodawcom i decydentom informacji o swoich codziennych potrzebach i oczekiwaniach może w przyszłości wpłynąć na poprawę ich własnej sytuacji. Jakkolwiek w praktyce jest bardzo prawdopodobne, że osoby, od których zbiera się informacje na potrzeby badań, nie będą widziały w tym żadnego konkretnego celu. Podsumowując, według wstępnego oszacowania, różne aspekty i wyniki badań zamieszczone w raportach cząstkowych mogą okazać się użyteczne z punktu wodzenia zarówno potrzeb bezdomnych jak i instytucji oferujących bezdomnym pomoc i wsparcie. W skazano tylko część danych, które mogą się okazać użyteczne z punktu widzenia podniesienia wiedzy odbiorców raportu końcowego oraz wypracowania nowych metod pracy z bezdomnymi. Na typ etapie ewaluacji można uznać iż ustalenia i wyniki badań zrealizowanych w ramach projektu stwarzają szansę na osiągnięcie zaplanowanych rezultatów projektu. 37 IV. Podsumowanie i wnioski Przedmiotem badania były osiągnięte na danym etapie realizacji (październik-listopad 2010 r.) projektu „Społeczne i instytucjonalne aspekty bezdomności w województwie lubelskim” rezultaty miękkie. Ocenie podlegały między innymi metody i techniki badawcze, zastosowane narzędzia badawcze, proces zarządzania, proces realizacji badań oraz przygotowane do kończ września 2010 roku raporty cząstkowe. Ogólny cel projektu przewiduje zdiagnozowanie zjawiska bezdomności, w województwie lubelskim i wypracowanie nowych metod pracy z bezdomnymi oraz upowszechnienie diagnozy do końca maja 2011 roku. Celem badań mid-term było oszacowanie, na ile realizator projektu ma szansę na osiągnięcie rezultatów miękkich projektu, weryfikacja kierunku oraz aktualności założeń projektu, identyfikacja pierwszych efektów, jak również propozycja ewentualnych bieżących korekt. Ogólne pytanie badawcze sformułowano następująco: w jakim stopniu zostały osiągnięte zakładane rezultaty miękkie projektu po roku jego realizacji? Odpowiedzi na pytanie ogólne poszukiwano poprzez uzyskanie odpowiedzi na następujące pytania, uszczegółowiające problem określony w pytaniu głównym: I. W jakim stopniu ten projekt miał sens z punktu widzenia istniejących potrzeb w zakresie diagnozy zjawiska bezdomności oraz wypracowania nowych metod pracy z bezdomnymi? II. Do jakiego stopnia cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte? III. W jakim zakresie to, co zostało dotychczas zrealizowane przyczynia się do rozwiązania zdefiniowanych problemów? Na etapie ewaluacji mid-term uwzględnione zostaną trzy zasadnicze kryteria ewaluacji: 1. trafność pozwalająca ocenić adekwatność celów i zastosowanych metod projektu do problemów, które projekt miał poruszyć lub rozwiązać. 2. skuteczność badająca stopień realizacji zakładanych celów, skuteczność użytych metod oraz wpływ czynników zewnętrznych na uzyskane na tym etapie efekty. 3. użyteczność badająca stopień, w jakim projekt zaspokaja istotne potrzeby grup docelowych lub przyczynia się do rozwiązania problemów (czy rzeczywiste efekty projektu są zgodne z potrzebami?) W celu oceny trafności projektu zastosowano analizę dokumentów, obejmującą zarówno dokumentację projektu, przygotowane przez zespół badawczy narzędzia badawcze jak też zapisy dokumentów programowych POKL: „Programu Operacyjnego Kapitał Ludzki”, „Szczegółowego Opisu Priorytetów POKL”, Krajowego Programu Wychodzenia z Bezdomności i Budownictwa Socjalnego na lata 2009 – 2013 (opr. Ministerstwo Pracy i Polityki Społecznej przy współudziale Ministerstwa Infrastruktury), opracowanego w wyniku konsultacji międzyresortowych w 2009 roku zakresu tematycznego proponowanych obszarów działań, jakie będą ujęte w projekcie dokumentu 38 pt: Krajowa Strategia Wychodzenia z Bezdomności. Ponadto dokonano analizy zastosowanych narzędzi badawczych pod względem adekwatności w stosunku do celów projektu. Z dokonanej analizy wynika, że ogólny cel projektu i cele szczegółowe wpisują się w realizację celów wyznaczonych w tym zakresie przez dokumenty programowe POKL, krajową i regionalną strategię polityki społecznej, które ujmują diagnozę bezdomności jako jeden z ważnych elementów działań na rzecz przeciwdziałania wykluczeniu społecznemu. Wspomniane dokumenty podkreślają także konieczność podejmowania działań zmierzających do rozwoju nowych form wsparcia osób bezdomnych na poziomie regionalnym. Uznano również, że realizacja celów ogólnych i szczegółowych, przyjętych dla poszczególnych etapów procesu badawczego oraz zastosowanych metod i technik badawczych powinna przyczynić się do uzyskania istotnych informacji i poszerzenia zakresu wiedzy na temat skali, przyczyn, skutków oraz dotychczasowych form instytucjonalnego wsparcia osób bezdomnych. Ponadto grupowe wywiady zogniskowane z pracownikami instytucji udzielających pomocy i wsparcia osobom bezdomnym poza poszerzeniem wiedzy o problemach związanych z funkcjonowaniem tych instytucji oraz osób w nich pracujących, stanowić mogą ważne forum dyskusji i wymiany informacji, pozwalające na wypracowanie nowych metod pracy z bezdomnymi. Tym samym możliwe będzie uzyskanie szeroko rozumianej wiedzy na temat bezdomności oraz możliwych rozwiązań problemów osób bezdomnych. Potrzebę taką formułują w zasadzie wszystkie omawiane uprzednio dokumenty unijne i krajowe. Ocena skuteczności polegać będzie na oszacowaniu stopnia, w jakim wdrażane w projekcie działania przyczyniają się do realizacji celów projektu. Ocena skuteczności zrealizowanych działań pozwoli uzyskać wiedzę w następujących kwestiach: co tak naprawdę udało się osiągnąć, czego zaś konkretnie nie osiągnięto. Starano się poznać przesłanki skutecznej realizacji działań, zarówno związanych ze specyfiką proponowanego wsparcia, jak i zasobami instytucji realizującej projekt (materialnymi, organizacyjnymi i kadrowymi). Główne pytanie ewaluacyjne sformułowano następująco: do jakiego stopnia cele ogólne i szczegółowe, zdefiniowane na etapie projektowania, zostały osiągnięte? Oceniając skuteczność dokonano analizy stopnia realizacji zamierzonych celów projektu po roku jego trwania. Źródłem wiedzy była w tym przypadku analiza sprawozdawczości projektu, analiza danych ze strony internetowej oraz wyniki przeprowadzonej obserwacji. Ponadto, dla wyjaśnienia niektórych zagadnień przeprowadzono wywiad nieformalny z koordynatorem projektu. Po roku funkcjonowania projektu zrealizowano wszystkie etapy procesu badawczego, tzn. analizę danych urzędowych, indywidualne wywiady pogłębione (IDI), grupowe wywiady zogniskowane (FGI) oraz wywiady kwestionariuszowe. Przygotowano i zamieszczono na stronie internetowej raporty cząstkowe z analizy danych urzędowych, indywidualnych wywiadów pogłębionych (IDI) oraz wywiadów standaryzowanych. W listopadzie 2010 r. planowane jest także 39 zamieszczenie na stronie www projektu raportu cząstkowego z grupowych wywiadów zogniskowanych. Podsumowując dotychczasową ocenę stopnia realizacji zakładanych celów oraz skuteczności użytych metod, można przyjąć, że na tym etapie realizacji projektu zakładane cele zostały osiągnięte, zaś zastosowane metody okazały się skuteczne w odniesieniu do tych celów. Zrealizowano zaplanowane etapy badań, zaś ich wyniki, opublikowane w raportach cząstkowych pozwalają na ocenę rozmiaru bezdomności, jej przyczyn oraz analizę dotychczasowych metod pracy z bezdomnymi, ich aktywizacji, a także prowadzonych strategii przeciwdziałania bezdomności w województwie lubelskim. Za czynniki sprzyjające skuteczności realizacji zadań projektowych należy uznać zarządzanie projektem, polegające na terminowości realizacji działań, monitorowaniu procesu badawczego oraz gromadzenie dokumentacji i koordynacja – gdy to jest konieczne – prac zespołu badawczego. Czynnikiem sukcesu jest niewątpliwie kolejność etapów badań a w szczególności publikacji raportów, zgodnie z którą najpierw zrealizowano analizę danych urzędowych, w następnej kolejności wywiady standaryzowane z bezdomnymi, indywidualne wywiady pogłębione z bezdomnymi oraz grupowe wywiady zogniskowane z pracownikami instytucji udzielających pomocy i wsparcia osobom bezdomnym. Badacze, przystępując do realizacji indywidualnych wywiadów pogłębionych z bezdomnymi oraz grupowych wywiadów zogniskowanych z przedstawicielami instytucji, posiadali poszerzoną wiedzą o badanych zjawiskach na terenie województwa lubelskiego. O skuteczności zadecydowało także staranne przygotowanie badań, oraz zastosowanych metod i technik badawczych. Analiza raportów cząstkowych wskazuje, że wyniki badań opracowano obszernie i starano się zawrzeć jak najwięcej istotnych z punktu widzenia celów projektu informacji. Barierą, na jaką napotkano w trakcie realizacji wymienionych etapów badań, był brak bezpośrednich danych dotyczących cech społeczno-demograficznych osób bezdomnych, którym udzielało wsparcia i pomocy Charytatywne Stowarzyszenie Niesienia Pomocy Chorym Uzależnionym od Alkoholu „Nadzieja” w Lublinie. Za ograniczenie skuteczności w osiągnięciu celów szczegółowych na tym etapie projektu można uznać przede wszystkim oddziaływanie czynników zewnętrznych, niezależnych od realizatorów projektu. Wpływ czynników wewnętrznych może być ograniczony i modyfikowany na etapie opracowania wyników badań oraz przygotowania raportu końcowego. Ponieważ w przypadku ewaluacji mid – term, realizowanej w sytuacji, gdy projekt jeszcze trwa, pełna ocena jego użyteczności w zasadzie nie jest możliwa, zdecydowano się na dokonanie wstępnego oszacowania, na ile działania zaplanowane w projekcie rozwiązały problemy, na które miały odpowiadać i czy efekty projektu mogą być satysfakcjonujące dla jego potencjalnych 40 odbiorców. Jako metodę zastosowano analizę dokumentów, w tym przypadku – raportów cząstkowych. Według wstępnego oszacowania, różne aspekty i wyniki badań zamieszczone w raportach cząstkowych mogą okazać się użyteczne z punktu wodzenia zarówno potrzeb bezdomnych jak i instytucji oferujących bezdomnym pomoc i wsparcie. W skazano tylko część danych, które mogą się okazać użyteczne z punktu widzenia podniesienia wiedzy odbiorców raportu końcowego oraz wypracowania nowych metod pracy z bezdomnymi. Na typ etapie ewaluacji można uznać iż ustalenia i wyniki badań zrealizowanych w ramach projektu stwarzają szansę na osiągnięcie zaplanowanych rezultatów projektu. Oceniając zrealizowane dotychczas etapy procesu badawczego pod względem ich użyteczności dla potencjalnych odbiorców raportu, zidentyfikowano pewną trudność, jaką mogą stwarzać przygotowane publikacje. Jak wspomniano, jedną z zalet omawianych raportów cząstkowych jest obszerne przedstawienie wyników badań, poszerzone o wnioski i refleksje badaczy. Jednocześnie jednak obszerność raportów może się okazać pewną barierą – ich odbiorcy, zaangażowani w określone działania mogą nie dysponować wystarczającą ilością czasu, by zapoznać się z treścią wszystkich opracowań. Rozwiązaniem omawianego problemu może być przygotowanie streszczeń poszczególnych raportów cząstkowych, co pozwoliłoby z jednej strony na zaznajomienie się wszystkich odbiorców raportu końcowego z głównymi ustaleniami badawczymi a osoby szczególnie zainteresowane określoną problematyką dysponowałyby informacjami, gdzie poszukiwać stosownej wiedzy. W przygotowaniu danych do raportu ewaluacyjnego zastosowano metody i techniki jakościowe, co często spotyka się z zarzutem subiektywności wyników i konkluzji. Podkreślić jednak należy, że badania jakościowe w naukach społecznych mają już ustaloną pozycję, ponadto na tym etapie badań ewaluacyjnych metody i techniki jakościowe wydają się najbardziej uzasadnione i właściwie jedynie możliwe do zastosowania. Badania ilościowe, uzupełniające ten etap ewaluacji zostały zaplanowane dla ewaluacji ex-post. 41 Aneks Załącznik nr 1. Wytyczne do analizy dokumentów Opis analizy dla wszystkich dokumentów obejmować będzie: datę i miejsce utworzenia, cel i ogólna charakterystyka dokumentu. I. Dokumentacja projektu: 1)Identyfikacja celów zawartych w projekcie 2)Identyfikacja rezultatów 3)Identyfikacja sposobów osiągnięcia zamierzonych rezultatów, 4)Terminowość realizacji zadań, ewentualne trudności (dane monitoringu, sprawozdawczość) II. Narzędzia badawcze 1)Rodzaj narzędzia i metoda w ramach której zostanie zastosowane, 2)Pytania badawcze, na które za pomocą określonego narzędzia badacz będzie poszukiwał odpowiedzi, 3)Oszacowanie, czy zastosowane narzędzie pozwoli zebrać wystarczające dane 4)Identyfikacja problemów, jakie mogą wystąpić w trakcie badania. III. Raporty cząstkowe i raport końcowy 1) Analiza struktury raportu 2) Ocena, czy raport odpowiada na pytania badawcze sformułowane dla danej metody lub metod. 3)Oszacowanie przydatności raportu dla jego przyszłych adresatów. 42 Załącznik nr 2. Arkusz obserwacji – ewaluacja mid-term data i miejsce obserwacji kontekst wywiadu (obecność innych osób, cechy miejsca) charakterystyka sposób nawiązania komunikacji zachowania niewerbalne (mimika twarzy, gestykulacja) dystans przestrzenny (utrzymywany stały, zmiennyzbliżanie, odsuwanie się) zachowania parajęzykowe -szybkość mówienia, -głośność -tendencja do przerywania itp. zachowania językowe zwroty specyficzne -sposób formułowania odpowiedzi -ustalanie znaczeń -reakcja na pytania drażliwe inne Sporządziła: Krystyna Małocha Data: 22.11.2010 r. 43
