Lærende evaluering

 

Læring og løsningsfokus

Vi bestræber vi os på at gøre evaluering ikke blot til et dokumentations- men også et udviklings- og innovationsredskab. Derfor udfører vi lærende og løsningsfokuserede evalueringer. Det gør vi bl.a. vha. indsamling, drøftelse og prioritering af forbedringsforslag fra alle interessentgrupper og ved at lade forskellige interessentgruppers idéer befrugte hinanden.

 

Dette kombineres med en fælles prioritering af forbedringsforslag og udarbejdelse af handlingsplaner til realisering af idéerne. Når alle ved, hvad der skal gøres først, hvornår det skal gøres, hvordan det skal gøres og af hvem, er chancen for at forbedringsforslagene føres ud i livet store.

 

Vi søger altid at besvare de følgende spørgsmål:

 

- Hvilket resultat har indsatsen haft?

- For hvem?

- Under hvilke omstændigheder?

- I hvilken grad stemmer det overens med forventningerne (målene)?

- Hvad skal der til for at gøre det (endnu) bedre?

 

Se nærmere herom i bogen "Evaluering som ledelsesredskab i det offentlige" (Børsens Forlag) og under fanebladet Publikationer. Vi udfører IKKE evalueringer uden et læringssigte og uden deltagelse af alle væsentlige interessentgrupper, da vi mener det hverken udvikler organisationer, projekter eller mennesker.

 

 

 


"Jeg fortæller sjældent, at jeg foretager evalueringer. I stedet siger jeg, at jeg udvikler organisationer."
(Elliot Stern, forhenværende leder af evalueringsafdelingen på Tavistock Institutet i London - citeret frit efter hukommelsen)


 

Kunder:

FN, Danida, Sundhedsstyrelsen, div. kommuner (Allerød, Egedal, Greve, Ishøj, København, Roskilde, Rudersdal, Vallensbæk, Vordingborg), Kommunerne og Amternes Evaluringsinstitut, BUPL, Rigsrevisionen i Norge, Type2dialog, Red Barnet Dansk Sygeplejeråd, Dansk Evalueringsselskab, EUs Social Fond, og FTF.

 

 

Formål med evaluering

Vi opfatter evaluering som et af flere redskaber, der kan bidrage til at sikre en så effektiv og fornuftig udnyttelse af offentlige og private ressourcer som muligt, så organisationer, brugere og borgere får så meget ud af den evaluerede indsats som muligt. Evaluering gør det nemmere at undgå fejltagelser og multiplicere succeser.

 

Evaluering handler altså dels om at få mere for de samme penge eller at opnå det samme for færre penge via læring, dokumentation og/eller kontrol, og dels om at kunne vise offentligheden/beslutningstagerne, at organisationens aktiviteter er legitime - at de er nødvendige og udføres på bedst tænkelige måde.

 

 

Evalueringstyper

Vi arbejder med forskellige typer evalueringer: deliberative, målorienterede, bruger/interessent, effekt- og virknings- evalueringer eller kombinationer af disse typer. Alle evalueringer skræddersys efter den enkelte kundes behov og ressourcer. For forklaring af de forskellige evalueringstyper se bl.a. bogen "Evaluering som ledelsesredskab". 

 

 

Klare mål og succeskriterier

Mange organisationer har svært ved at opstille klare, motiverende og evaluerbare mål.  Ofte opdages det først hvor uklare mål og succeskriterier (også kaldet tegn eller indikatorer) er, når det skal evalueres om målene er nået.

 

Til at hjælpe med at strukturere arbejdet gør vi bl.a. brug af SMTTE-modellen og Logical Framework Approach. Til at skabe inddragelse og ejerskab til målene gør vi brug af forskellige procesredskaber. Endelig bruger vi vores social og samfundsvidenskabelige erfaring med identifikation af indikatorer ved at bryde målene ned i deres konkrete enkeltdele.

 

Vi har erfaring med mål- og indikatorarbejdet indenfor aftalestyring på tværs af forvaltninger, uddannelsessektoren, sundhedssektoren, ældresektoren, socialsektoren, arbejdsmarkedssektoren (SMV, ligestilling og Jobcentre) samt udviklingsbistand. Eksempler på organisationer vi har hjulpet er: Vordingborg Kommune (aftalestyring), div. skoler i Gentofte, Håndværksrådet og Danida (Danida-indikatorer).

 

Dataindsamling

Dataindsamling og -analyse skal være så solid, at den kan udgøre en godt beslutningsgrundlag for ledelse og medarbejdere. I dataindsamlingen gør vi ud over de gængse evalueringsredskaber så som interview, desk research og spørgeskemaundersøgelser også brug af observationer, modellering, antropologisk deltagerobservation og anerkendende spørgeteknikker (inspireret af Appreciative Inquiry). Vi validerer vores analyser ved at metode-triangulere. Dvs. at vi belyser det samme emne med mindst tre metoder fx interview, spørgeskema og observationer.

 

Vha. interview og spørgeskemaundersøgelser får man belyst, hvad informanterne mener de gør. Vha. observationer får man ligeledes belyst, hvad man ude fra kan se, de faktisk gør. Vi har alle farvede opfattelser af, hvad vi selv går rundt og gør i hverdagen bl.a. pga. hukommelsesforskydninger, og ind i mellem fordi vi "pynter" på tingenes tilstand for bedre at kunne se os selv i øjnene.

 

Med observationer fra informanternes hverdag kan vi dels bedre forstå, hvad de taler om - vi har jo selv set meget af det - og dels bedre dykke ned i deres udsagn på en meget dybere facon. Derudover kan vi holde observationerne op som et spejl foran informanterne og spørge til hvorfor der i det mindste på overfladen er diskrepans mellem det de fortæller og det vi observerer. Måske har vi misforstået noget i vores observationer. Måske har de kun fortalt noget af "historien".

 

Med modellering får vi informanterne til at visualisere i stedet for "blot" at fortælle om det evaluerede emne. De tegner fx grafer over kriminalitetsudviklingen i deres boligområde. Eller de prioriterer løsningsforslag vha. præference rangordning. Se mere om modellering under fanebladet Værktøjer.

 

 

Sprog
I vores evalueringsrapporter og præsentationer af evalueringsresultater tilstræber vi at ramme en god balance mellem evalueringsfagligt og præcist sprog på den ene side og flydende og letlæseligt sprog på den anden. Her er et eksempel: http://www.youtube.com/watch?v=_pxeRT8pcTo og http://www.youtube.com/watch?v=8-_vFosXhVU

 

 

Links

For interessante links på Dansk Evalueringsselskabs hjemmeside klik her:

Dansk Evaluerings Selskab


Andre links:

KREVI.DK | Det Kommunale og Regionale Evalueringsinstitut

Danidas evalueringsenhed

DAC evaluation

 

 

Evalureringsstandarder

DAC (OECDs enhed for evaluering af udviklingsbistand) har udviklet foreløbige standarder for ekstern evaluering. I det omfang de er relevante for danske forhold og den valgte evalueringstype, bestræber vi os på at følge disse standarder. De kan læses her.