Bakgrund
Vår erfarenhet är att det finns en medvetenhet i organisationer om vikten av att systematiskt utvärdera effekter av utvecklingsprocesser och utbildningar, men att det sällan görs. Sedan 2005 använder vi en metod som bygger på Kirkpatrick’s fyra-nivå modell.
Vi har fört in denna utvärderingsmodell i vårt arbete för att vi anser att utvärderingen i sig ökar effekten av utvecklingsinsatser i de organisationer vi arbetar. Detta sker genom att:
- Motivation för att nå enastående resultat ökar när man tidigt kommunicerar en tydlig processbeskrivning som inkluderar kontinuerlig uppföljning samt en effektutvärdering OCH återkoppling.
- Individer/organisationer får ökad medvetenhet om effekter som utvecklingsarbetet gett. Detta bidrar till ökad arbetstillfredsställelse. Dessutom bidrar det till individuellt och organisatoriskt lärande som kommer till nytta vardagen.
- Det praktiska tillvägagångssättet är livsberikande vilket bidrar till förbättrat arbetsklimat i organisationen.
Det finns mycket att säga om svårigheten att mäta rätt sak (validitet) och göra tillförlitliga mätningar (reliabilitet) speciellt på nivå 4 i modellen. Målsättningen med våra utvärderingar är inte att få exakta mätresultat. Därför använder vi inte traditionella metoder såsom enkäter, intervjuer etc. Vi inbjuder istället till reflektion i öppna processer där alla ges möjlighet att föra dialog och lära gemensamt (självutvärdering). Vi är medvetna om att utvärderings-resultaten handlar om möjliga eller på sin höjd troliga effekter av utvecklingsarbetet.
Nedan beskrivs grunderna i modellen och hur vi använder den för utvärderingar av utveck-lingsprocesser i organisationer.
Kirkpatrick’s fyra-nivå modell
Douglas Kirkpatrick utvecklade modellen för att utvärdera effekter av utbildningsinsatser men den är applicerbar i utvärderingar utvecklingsprocesser i organisationer. Enligt modellen skall utvärderingen alltid börja med nivå ett, och sedan fortsätta successivt genom nivå två, tre och fyra. Nivåerna är översiktligt beskrivna nedan. För mer information, se resurssektionen i detta dokument.
Kirkpatrick’s fyra nivåer för utvärdering är:
- Reaktioner. Vad tyckte du om utvecklingsarbetet/utbildningen?Lärande.
- Vad lärde du dig (kunskaper, färdigheter, attityder)?
- Beteenden. Har du använt dig av det du lärt, i din vardagsmiljö?
- Resultat. Har målsättningarna nåtts/har det resulterat i annan organisatorisk nytta?
Nivå 1-2 behandlas direkt efter en intervention men för att kunna identifiera effekter behöver det gå en tid. Nivå 3-4 utvärderar vi därför normalt efter 4-6 månader.
Förberedelsearbete
I planeringen av utvecklingsarbete/utbildning använder vi modellen ”baklänges”. Uppdragsgivarna ges möjlighet att klargöra vilka resultat de vill nå (nivå 4), vilka beteenden de vill skall främjas (nivå 3) för nå dessa mål. Därefter går vi vidare till att titta på det aktuella upplägget för att skapa ett lärande (nivå 2) och en upplevelse (nivå 1) som leder till målsättningarna.
Icke att förglömma – att tydliggöra hur organisationen planerar att ta tillvara den nya kunskapen genom att stödja, uppmuntra, belöna och följa upp. Forskning visar att dessa miljöfaktorer är minst lika viktiga som innehåll/kvalité i en utbildning! (2006 ASTD Study)
Utvärdering på nivå ett och två
De första två nivåerna utvärderas direkt efter eller i nära anslutning till interventionen. Deltagarna reflekterar över, och dokumenterar sina upplevelser.
- Deltagarna kan dela med sig av sina intryck genom reflektion o samtal i grupp.
- Reflektioner med hjälp av Dialogcafé metodiken.
- Ett annat alternativ är en ”Galleria” – frågorna sätts upp på stora pappersark och deltagarna vandrar runt och skriver ner sina intryck.
- I avslutningen av mötet får alla deltagare utrymme för reflektioner. Det brukar ge ytterligare information på nivå 1-2.
I utvecklingsprocesser ingår normalt ett avstämningsmötet (genomförs normalt inom 2 veckor efter huvudmötet). Utvärderingsaktiviteterna anpassas till varje situation samt hur respektive möte utvecklar sig.
Effektutvärdering – nivå 3 och 4
Ett uppföljningsmöte genomförs ca 6 månader efter huvudmötet. Huvudsyftet är att bestämma hur arbetet skall gå vidare. Utvärderingen ger viktig information för det fortsatta arbetet och stödjer således syftet.
Innan utvärderingen genomförs gör vi en kort återblick över hela processen från planerings-mötet och framåt. Därefter får deltagarna berätta hur arbetet gått vidare t ex med handlings-planer/praktiserande av det man lärt.
Vi ber deltagarna att identifiera och lista konkreta exempel av:
Nivå 3: Situationer då de använt sig av något de lärt sig under utvecklingsarbetet/ utbildningen.
Nivå 4: Organisatorisk nytta och resultat i förhållande till de mål som identifierats i förberedelserna.
Erfarenheter så långt…
Den initiala reaktionen från uppdragsgivare till denna utvärderingsmodell är i princip alltid positiv. Många är medvetna om att de ofta missar att utvärdera effekter av utvecklingsin-satser. Det händer att man är lite nervös inför utvärderingsmötet men hittills så har alla blivit positivt överraskade med vad de uppnått. En vanlig reaktion är: Ooaoo, vad mycket vi har gjort, detta måste vi berätta för alla andra!
Resurser
- Kirkpatrick, D.L. (1994). Evaluating Training Programs: The Four Levels. San Francisco, CA: Berrett-Koehler.
- En introduktion till modellen av Jim Kirkpatrick, PhD och Wendy Kayser Kirkpatrick.
- Hemsida: www.kirkpatrickpartners.com
- Kreativ diskussionsgrupp på LinkedIn: www.linkedin.com sök på Kirkpatrick Evaluation.
- Forskning om orsaker till ”misslyckade utbildningar”: American Society for Training and Development (2006). State of the Industry Report 2006. ASTD Publishing