Nyhedsbrev fra Videncenter for Synshandicap Nr. 1, 2008
Evaluering – på godt og ondt
Af Dorte Herholdt Silver
Uanset om evaluering betragtes som et nyttigt eller ligefrem uundværligt redskab i det daglige arbejde eller som en besværliggørende ekstraopgave, er der ingen tvivl om, at evaluering fremover vil være et centralt element i indsatsen inden for den offentlige sektor.
Evaluering kan imidlertid antage mange former, og en af kilderne til den frustration, evaluering ofte er forbundet med, er, at de metoder, der anvendes, ikke passer til den givne opgave. Hvis æbleavleren skal måle effekten af nye metoder, kan det fx være meningsfuldt at veje årets høst for at se, om udbyttet er øget. I det lange løb er det imidlertid ikke tilstrækkeligt, hvis man ikke samtidig tjekker, om smagen er fulgt med.
Evaluering var temaet for den årlige fagdag for Synscenter Refsnæs, Instituttet for Blinde og Svagsynede og de regionale og kommunale synsrådgivninger.
Praksiserfaringer
På fagdagen fortalte Annette Hvenegaard og Marianne Kildebjerg, Center for Rehabilitering og Specialrådgivning, Synsafdelingen, i Odense om den løbende tilpasning af kurser for nyblinde voksne på basis af uformelle evalueringer, dels i personalegruppen, dels på afsluttende eller opfølgende møder med kursisterne.
Karsten Olsen fra Synscenter Refsnæs fortalte, hvordan man her anvender både mundtlig og skriftlig evaluering af kurser.
Morten N. Schmidt, leder af Musikskolen på Instituttet for Blinde og Svagsynede, talte om teambaseret evaluering af pædagogiske tiltag. Han opridsede forskellene mellem tre grundlæggende forskellige tilgange til evaluering: Brugerorienteret (fx tilfredshed, kursistens vurdering af forløbet og egen indsats), målorienteret (nåede vi målet –kom de i arbejde?) og virkningsevaluering (se på processerne –hvorfor virker det, hvad er det, gør udslaget?).
God, ond eller grusom?
Efter disse konkrete eksempler talte Leif Olsen fra Servicestyrelsen om "Den gode, den onde og den grusomme evaluering". Hvor "den gode evaluering" knytter sig til oplysning, læring og ny viden, knytter "den onde evaluering" sig til kontrol og styring. Endelig er der "den grusomme evaluering", der kan forbindes med dokumentation af barske realiteter eller magt, der kræver radikale forandringer.
Aktionslæring
Jytte Vinther Andersen fra KLEO (Kompetencer, Ledelse, Evaluering og Organisationsudvikling) på Professionshøjskolen i København talte om aktionslæring, som lægger vægt på læring i og af praksis. Hun understregede, at vi for at udvikle og raffinere vores praksis har brug for vurdering i mange former, fra den umiddelbare reaktion over refleksion til formel evaluering.
Både gennem foredragene og dagens debat blev der taget fat på mange af de facetter, der er afgørende for, om evaluering bliver et redskab eller en byrde.
Ved brugerne bedst?
Karsten Olsen, Annette Hvenegaard og Marianne Kildebjerg kom alle tre ind på spørgsmålet om afvejningen af brugernes tilbagemeldinger i forhold til planlæggernes faglige vurdering. Karsten Olsen nævnte, at det fx godt kunne forekomme, at brugerne efterspurgte noget, som underviserne af erfaring vidste ikke ville fungere, og derfor så bort fra.
Tilfredshed, viden, handling
En anden vigtig problemstilling var spørgsmålet om, hvad det er, man måler. Er det brugernes tilfredshed ? Er det deres tilegnelse af ny viden, fx kendskab til kompenserende teknikker og evnen til at anvende dem i praksis? Eller er det konkrete ændringer i adfærd eller status, der er interessante – fx at man efter et kursus for nyblinde er begyndt selv at lave mad igen?
At viden er lettere at opnå end adfærdsændringer er veldokumenteret. Fx kender rigtig mange danskere anbefalingen om at spise seks stykker frugt eller grønt om dagen, mens langt færre faktisk har øget deres indtag af grønt.
I et interessant forsøg i USA i 2006 blev deltagerne på et mobilitykursus udstyret med diverse elektroniske instrumenter, som målte, hvor meget kursisterne kom omkring på egen hånd hhv. før og efter kurset. Her var forsøgsledernes fokus ikke på brugertilfredshed eller ny viden, men på, om indsatsen gjorde en forskel i kursisternes hverdag. Selv om målingen er objektiv, er den dog næppe neutral, da overvågningen formentlig har virket motiverende. (Se kilde sidst i denne artikel).
Hvad er målet?
En problemstilling, som bl.a. Leif Olsen fremhævede, er, at en meningsfuld evaluering skal tage udgangspunkt i det eller de reelle mål med indsatsen. Målet for en given rehabiliteringsindsats er jo ikke nødvendigvis at skaffe så mange som muligt i arbejde; det kan også være at nå frem til en afklaring af, hvad der er muligt eller optimalt for den enkelte. En evaluering, der kun måler, hvor mange der er i arbejde efter indsatsens afslutning, er meningsløs i forhold til målet.
Dette understreger det afgørende i, at alle parter er enige om, hvad målet er – det gælder såvel deltagere som udbyder, undervisere og bevilgende myndighed. Derfor anbefaler Leif Olsen også, at evaluering indtænkes så tidligt i processen som muligt, da det i bedste fald kan bidrage til en bedre proces hele vejen igennem.
Hvordan kommer vi videre?
Bendt Nygaard fra Videncenter for Synshandicap rundede dagen af med et tilbud om at medvirke til at organisere forsøg med faglige evalueringsnetværk. Videncentret vil udarbejde et oplæg og drøfte det med interesserede aktører.
Supplerende læsning
Link til PowerPoints fra Leif Olsens, Jytte Vinther Andersens og Bendt Nygaards bidrag: http://www.ibos.dk/Fælles綨ᵪྨ鯧꽪实긩.415.aspx
Peter Dahler-Larsen: Kvalitetens beskaffenhed. Syddansk Universitetsforlag, 2008 (186 sider)
Mobilityforsøg: Williams et al.: Objective mobility documentation using emerging technologies, Journal of Visual Impairment & Blindness, nr. 12, 2006, s. 736-741.
Denne side er kapitel 2 af 17 til publikationen "Nyhedsbrev fra Videncenter for Synshandicap Nr. 1, 2008".
Version nr. 1.0 af 30-04-2008
Publikationen kan findes på adressen http://www.visinfo.dk/forlag/online/nyhedsbreve/2008/NYH012008/index.htm
© Videncenter for Synshandicap 2008