Jednym z etapów procesu ewaluacyjnego, oprócz określenia celu i pytań badawczych, jest wybór ewaluatorów (ewaluator to osoba lub zespół osób przeprowadzający całą ewaluację zbierający i interpretujący dane, przeprowadzający analizę, przygotowujący raport z ewaluacji). W zależności od doświadczenia i wiedzy mamy dwa podstawowe warianty. Pierwszy z nich, to samodzielne - przez zespół projektu - przeprowadzenie ewaluacji. Jeśli mamy doświadczenie badawcze i potrafimy przeprowadzać badania oraz analizować ich wyniki, a dodatkowo w zespole posiadamy osoby o odpowiednich kwalifikacjach, takie podejście jest odpowiednie.

Ta opcja nadaje się także dla małych projektów, gdzie zbieranie danych oraz analiza nie będą zbyt trudne i czasochłonne. I drugie wyjście, gdy ewaluacja jest zlecana na zewnątrz - podwykonawcy. To właściwy wybór, jeśli nie mamy doświadczenia ani wiedzy jak stworzyć narzędzia badawcze i analizować zebrane wyniki, a projekt jest skomplikowany lub nowatorski, a grupa docelowa liczna. Poniżej przedstawiamy ważne zasady prowadzenia wewnętrznej oraz zewnętrznej ewaluacji projektów.

Gdy zespół projektu prowadzi ewaluację

Zasada 1. Dobierz osoby z odpowiednim doświadczeniem. Rolę eksperta może pełnić socjolog z doświadczeniem w badaniach społecznych. Skład zespołu ewakuacyjnego mogą zasilić pozostali członkowie zespołu projektowego, w szczególności warto włączyć osoby zarządzające projektem.

Zasada 2. Podziel zadania związane z ewaluacją. Należy określić, jaki jest podział obowiązków poszczególnych osób, np. kto przygotowuje narzędzia badawcze, kto będzie odpowiedzialny za przeprowadzenie badań, kto opracuje wyniki i dokona analizy.

Zasada 3. Ustal zakres i przedmiot ewaluacji. Zwykle nie ewaluujemy całego projektu. Należy więc wybrać, czy chcemy dowiedzieć się czy układ działań jest odpowiednio dostosowany lub czy np. szkolenia były dobrane odpowiednio do potrzeb grupy docelowej. W związku z tym trzeba dalej podjąć decyzję, czy ewaluacją obejmujemy całą grupę docelową, czy tylko jej część.

Zasada 4. Dobierz metody i narzędzia badawcze. W poprzednim artykule (FE 3/2008) wskazywaliśmy zalety i wady stosowania poszczególnych narzędzi oraz przykłady, kiedy mogą być zastosowane. Przypomnijmy tylko, że jeśli chcemy zbadać, w jaki sposób kształtuje się proces grupowy, możemy zastosować obserwację, jeśli zaś chcemy zbadać, jaki jest stopień zadowolenia ze sposobu prowadzenia zajęć, możemy zastosować ankietę lub wywiad swobodny. Zastosowane metody muszą być dobrze dostosowane do specyfiki projektu, a narzędzia opracowane przez osoby z odpowiednimi kompetencjami. Błędnie dobrana metoda i niedostosowane narzędzie dadzą nam nieprawdziwe, a więc bezużyteczne wyniki!

Zasada 5. Przeanalizuj dane. Zebrane dane należy poddać wnikliwej analizie zarówno ilościowej jak i jakościowej. Należy zwrócić także uwagę, by przedstawione wnioski były jak najbardziej obiektywne - nie jest to łatwe, gdy ewaluację prowadzimy samodzielnie.

Zasada 6. Przedyskutuj uzyskane wyniki np. podczas spotkania zespołu. Tu warto zastanowić się przede wszystkim w jaki sposób wykorzystamy je w realizowanym projekcie, jakie zmiany należy wprowadzić w dokumentach wewnętrznych, a jakie w sposobie pracy. Jest to w zasadzie najważniejszy element ewaluacji. Badanie prowadzimy przecież z założeniem usprawnienia działań.

Zasada 7. Wykorzystaj wyniki. Wyniki badań są podstawą do usprawnienia tego i kolejnych projektów, do dokumentowania rezultatów (w szczególności miękkich) oraz usprawnienia zarządzania. Dlatego warto ustalić osoby odpowiedzialne za wdrożenie wypracowanych zmian.

Gdy ewaluację prowadzi podwykonawca

Zasada 1. Ustal podstawę wyboru podwykonawcy. Realizując projekt i dokonując jego ewaluacji mamy do czynienia ze środkami publicznymi, a więc dokonując ich wydatkowania (w tym kupując usługę ewaluacji) musimy postępować zgodnie z zasadami wskazanymi w Ustawie z dnia 29 stycznia 2004 r. Prawo Zamówień Publicznych (PZP) (Dz. U. Nr 19, poz. 177 z późn. zm.). W przypadku, gdy jesteśmy zwolnieni ze stosowania PZP podmiotowo (ustawa nas nie dotyczy) lub przedmiotowo (wartość zamówienia nie przekracza wskazanych w PZP progów - w aktualnym stanie prawnym 14.000 euro) warto również stosować zasady wskazane w ustawie - tak by zachować najważniejszą zasadę: racjonalności wydatkowania środków publicznych.

Zasada 2. Określ cele i warunki prowadzenia ewaluacji. Na początek należy się zastanowić w czym ewaluacja ma nam być przydatna, jakich informacji potrzebujemy by usprawnić projekt lub zbadać jego efekty. Czyli określić cele badania i doprecyzować konkretne pytania badawcze (ewaluacyjne). Należy też opisać realizowany projekt, planowany czas realizacji badania, teren, rezultaty, których oczekujemy od podwykonawcy. Warto przeprowadzić to na zasadzie burzy mózgów zespołu projektowego.

Zasada 3. Wybierz doświadczonego podwykonawcę. Nie oznacza to weryfikacji tylko i wyłącznie potencjału instytucjonalnego, ale - a może przede wszystkim - zespołu badawczego. Warto więc przejrzeć wcześniejsze raporty ewaluacyjne, zapoznać się z cv planowanej kadry.

Zasada 4. Współpracuj z wykonawcą ewaluacji. Po dokonaniu wybory firmy i podpisaniu umowy konieczne jest wyznaczenie osoby do kontaktu z zespołem prowadzącym ewaluację w celu przekazywania niezbędnych dla prawidłowej ewaluacji informacji i monitorowania postępów badania. Należy także uprzedzić kadrę, że ewaluatorzy podczas analizy i zbierania informacji mogą prosić o dodatkowe materiały lub zadawać pytania. Dzięki temu wyniki będą bardziej dostosowane do naszych oczekiwań.

Zasada 5. Ustal zasady raportowania wyników ewaluacji. Przy ustalaniu szczegółów badania należy określić terminy raportów cząstkowych i sposoby przekazywania informacji na temat osiąganych rezultatów. Po przeprowadzeniu badań, wykonawca musi przedstawić raport. Decyzja zamawiającego w sprawie odbioru raportu winna być oparta na kryteriach oceny jakości wykonania zadania ewaluacyjnego.

Zasada 6. Zapoznaj się z wynikami. Przedstawienie wyników (wniosków i rekomendacji) ewaluacji może być w formie raportu, prezentacji, broszury, wykresu, a także podczas wspólnego spotkania. Warto pamiętać, że podwykonawcę można poprosić o pomoc w opracowaniu nowych narzędzi (należy zapisać to w zapytaniu o ofertę/SIWZ i umowie).

Zasada 7. Wykorzystaj wyniki. Ewaluacja staje się coraz ważniejsza. Coraz więcej projektodawców, w tym Europejskiego Funduszu Społecznego, chce dowiedzieć się jak lepiej, sprawniej, skuteczniej realizować projekty.

Ewa Gałka
prezes Zarządu Centrum PISOP, ekspertka w zakresie ewaluacji
ewa.galka@pisop.org.pl
Współpraca: Joanna Ludwiczak

W poprzednim artykule o ewaluacji (FE nr 3/2008) wykorzystaliśmy następujące prace:

• Olejniczak K. (2005), "Teoria i praktyka ewaluacji w świetle doświadczeń europejskich", Studia Regionalne i Lokalne, 4(22)
• Olejniczak K. (2007), "Ewaluacja jako narzędzie zarządzania w sektorze publicznym", w: Gorzelak G., Tucholska A. (red.) Rozwój, region, przestrzeń, Ministerstwo Rozwoju Regionalnego & EUROREG, Warszawa

Źródło tabeli to: Olejniczak (2007) op. cit. s.363-365