Foto: Wilma Snickars
Skribenten Marina Lindell är akademiforskare vid Institutet för samhällsforskning vid Åbo Akademi. Hon forskar främst i demokrati, medborgardeltagande, allmän opinion och minoriteter - främst finlandssvenskar. Hon leder den finlandssvenska medborgarpanelen Barometern och ett projekt om samhällspolarisering i Svenskfinland. Marina har tidigare jobbat på Svenska studiecentralen/SFV och Svenska Österbottens Ungdomsförbund.
Det huvudsakliga syftet med mätning är att kunna bedöma hur väl en aktivitet eller insats har uppnått sina mål och syften, samt att identifiera vilka faktorer som bidragit till dess framgång eller bristande framgång. Om vi inte mäter hur stor nytta vi egentligen gör, hur kan vi då motivera att resurser ska investeras i vår verksamhet istället för i en annan? Ofta används begreppet genomslagskraft för att beskriva den genomgripande positiva förändring i samhället som insatser och handlingar bidragit till. Ensamma åstadkommer ingen genomslagskraft – det är ett pussel där olika aktörer bidrar med sin expertis och sin verksamhet för att tillsammans skapa en positiv förändring.
Finansiärer vill ofta bidra till verksamheter som kan åstadkomma mest samhällsnytta i förhållande till kostnaderna. För deras del handlar effektmätning om att kunna se att deras bidrag gör skillnad. För en organisation är den kanske viktigaste orsaken till att mäta effekter att kunna vidareutveckla sin verksamhet. Genom att se vad som fungerar bra, vilka insatser som ger utdelning och vad som inte går som det var tänkt kan den egna verksamheten utvecklas och bli mer effektiv. För att visa att organisationen skapar förändring och gör skillnad för samhälle, miljö eller människors liv behöver man kunna bevisa det. Effektmätning handlar om att synliggöra den egna insatsen och påvisa hur den, tillsammans med andra, bidrar till att lösa ett nyckelproblem i samhället. En del av arbetet med att mäta sin effekt handlar också om att hitta samarbeten med andra. Effektmätning kan även ge underlag för att fördela resurser bättre. Ett viktigt led i att skapa engagemang bland medarbetare och förtroendevalda är att vara tydlig med vad syftet med verksamheten är och att kunna visa på att man uppnått det. En organisation konkurrerar inte bara om finanser och understöd med andra aktörer men också om medarbetare, förtroendevalda och volontärer. Effektmätning kan även bidra till att bygga det egna varumärket och öka trovärdigheten. Ibland kan ivern att mäta och utvärdera leda till att man mäter det som går snabbt och lätt att mäta istället för att fokusera på de mer långsiktiga effekterna som är viktigare men många gånger svårare att mäta.
Det kräver mod att våga utvärdera och granska den egna verksamheten för att se om den har den effekt som avsågs och om den adresserar nyckelproblem och utmaningar i samhället och inte bara följderna av dem. Liksom jag har många av er säkert jobbat med social redovisning tidigare. Syftet med social redovisning är att mäta och redovisa det sociala och samhälleliga resultatet. För organisationer och aktörer som inte har ekonomisk vinning som mål ger ett socialt bokslut en mer rättvis bild av verksamheten. Från social redovisning är steget inte långt till effektmätning som handlar om att synliggöra den positiva förändring som inträffat till följd av en vidtagen åtgärd. Det handlar om att förstå vilken skillnad en viss åtgärd har för människor, miljö eller samhället. Det existerar inte någon övergripande modell för hur man ska mäta sin effekt. Istället finns det en uppsjö av olika modeller och metoder som ofta använder olika begrepp och identifierar olika processer. I SFV:s utbildning i effektmätning och genomslagskraft använde vi oss av Hyvän Mittas genomslagskraftskedja med sju steg (se figuren). Alla sju steg i kedjan behövs och är beroende av varandra. Låt oss kort gå igenom stegen var för sig.
Behov: Vilket samhällsproblem eller samhälleliga utmaningar tänker ni lösa? Vad är det ni vill förändra? Behov syftar på de övergripande samhälleliga utmaningarna eller problemställningarna som utgör grunden för er verksamhet. Vilka saker i samhället vill ni förändra? Gör även en intressentanalys. Vilka samhällsgrupper berörs? Vem är er målgrupp, i vilken situation befinner den sig och vad behöver den? Det verkliga behovet får ni fram när ni granskar ett samhällsproblem ur målgruppens synvinkel och reflekterar över vilka följderna skulle vara om de inte fick ta del av de insatser er verksamhet erbjuder.
Vision: Vilken förändring vill ni uppnå på lång sikt? Hur ser situationen ut för målgruppen när ni har åtgärdat behovet? Vilken samhällsnytta och vilket välmående skapar ni med er verksamhet? Visionen ska vara djärv och tillräckligt långsiktig men möjlig att uppnå. Visionen bör också vara konkret, mätbar och innehålla en tidpunkt så att ni vet när visionen ska vara uppnådd.
Mål: Vilka förändringar måste ske i målgruppens liv för att visionen ska nås? Mål anger den förändring man vill att ska ske för målgruppen. Mål är starkt riktgivande – var därför noga med hur ni definierar dem. Ju tydligare målen är definierade, desto bättre fungerar effektmätningen. Tänk också på att definiera målvärden. Hur vet ni att målet är uppnått? När är ni nöjda? Formulera gärna SMART(a) mål: specifika, mätbara, uppnåeliga (attainable), realistiska och tidsbundna. Målen kan också skrivas som resultatmål – då är målet i sig en mätare och det underlättar effektmätningen.
Resurser: Vilka resurser behövs och hur fördelas de? Med vilka resurser (tid, pengar, människor, partnerskap, teknik, annat) når ni målet? Med hjälp av partnerskap är det möjligt att förena både resurser och handlingar för att skapa en bättre helhet för målgruppen. Försök uppskatta hur mycket av olika resurser ni behöver för att kunna genomföra era aktiviteter och era handlingar. Planera också för hur mycket resurser ni kan avsätta till effektmätning. Resursfrågan har två aspekter: resurser som krävs för att sätta igång effektmätningsprocessen och vad som krävs för att genomföra processen.
Handlingar: Med vilka handlingar och insatser får ni en förändring att ske? Vilka handlingar och insatser genomför ni med resurserna? Ibland är det svårt att planera allting på förhand och det kan vara vettigt att lämna utrymme för att snabbt kunna testa nya insatser under vägens gång.
Resultat: Vilka konkreta förändringar har era handlingar åstadkommit i målgruppens liv? Resultaten mäts i förhållande till målen. Är resultaten de ni förväntade er? Varför eller varför inte? Om möjligt använd referensvärden, t.ex. nationella medelvärden eller andra aktörers resultat, för att kunna jämföra era resultat med andra. Det är också viktigt att hålla i minnet att handlingar och insatser även kan leda till oavsiktliga effekter.
Genomslagskraft: Vilka betydande och varaktiga intryck eller påverkan på målgruppens liv har era handlingar haft? Genomslagskraft är inget som är synligt genast eller som endast en viss typ av handlingar och insatser kan bidra till. Den är svår att verifiera eftersom den inte kan mätas direkt. Genomslagskraft har en samhällelig dimension och kopplar tillbaka till behovet för verksamheten. En organisation kan nå och påverka endast en begränsad mängd individer. Det är därför genomslagskraft inte kan skapas på egen hand – alla behöver varandra. När goda verksamhetsmodeller sprids och förverkligas i större skala och när olika aktörers effekter kompletterar varandra kan en förändring på samhällsnivå ske.
Utan effektmätning är det svårt att lyckas eftersom ni inte vet om ni nått målen och om era insatser haft önskad effekt. Det är också svårt att misslyckas eftersom ni inte heller vet huruvida ni inte nått målen och de önskade effekterna. Det blir då svårare att dra lärdomar och utveckla verksamheten. Om ni vid effektmätningen konstaterar att ni inte nådde ända fram kan ni ändå fira insikterna som kommer ur reflektionen kring varför effekten inte nåddes. Uppmärksamma lärdomar lika mycket som framgångar. Skapa en positiv stämning kring effektmätningen och poängtera att den inte är till för att bestraffa utan för att utveckla. Kommunicera alltid resultaten tillsammans med lärdomar samt med åtgärder som vidtagits eller ska vidtas för att förbättra resultatet och effekten ännu mera. Om ni bara tittar på effekter utan att fundera över hur de uppstod leder det sällan till någon utveckling.
Det är bättre att ha ungefär rätt än exakt fel. Ingen effektmätning är helt exakt och det kan vara onödigt att sätta en massa resurser på att försöka få fram en exakt effekt. För att kunna mäta den exakta effekten behöver ni kunskap om vad som skulle ha inträffat utan er inblandning och för att kunna göra det behövs forskningsliknande randomiserade studier med kontrollgrupper vilket gör det hela onödigt komplicerat. För de flesta räcker det att kunna påvisa att era insatser har en effekt – inte den exakta effekten. Hävda dock inte att en insats haft effekt om ni inte kan påvisa den.
Allt kan inte mätas och vissa saker är svårare än andra att mäta. Hur mäts till exempel välmående och hållbarhet?
Även om ni inte just nu har tid och resurser att starta en effektmätningsprocess lönar det sig att ta tiden att fundera igenom de olika stegen i genomslagskraftskedjan och sätta detta i relation till den egna verksamheten. Bara att få igång tankarna kring detta är ett steg på vägen. Ha inte ambitionen att försöka mäta effekterna för ”allt”. Välj istället en specifik del av verksamheten och fokusera på den. Var också tydlig i definitionen av målgruppen och de problem ni ämnar adressera. Följ upp kontinuerligt och planera för när och hurudana data ni ska samla in. Använd gärna många olika mätare och kombinera olika typer av data för att få ett bättre resultat. Kommunicera också tydligt internt varför ni vill mäta effekter och sätt inte fokus på att hitta fel och brister utan på att lyfta fram det ni gör bra och vad ni vill utveckla. Effektmätning är något man arbetar med från början och inte något man gör i slutet av ett projekt för att se om det man gjort fått resultat.
Allt kan inte mätas och vissa saker är svårare än andra att mäta. Hur mäts till exempel välmående och hållbarhet? Hur mäts demokrati och delaktighet? Dessa är mångdimensionella begrepp och kan betyda olika saker i olika sammanhang och för olika aktörer. Två organisationer som mäter välmående kan ta fasta på helt olika saker även om de båda mäter välmående. Var därför tydlig och noga med att definiera vad ni mäter och på vilket sätt det kopplar ihop med övergripande begrepp som till exempel välmående. Huvudsaken med en bra mätning är att det ska vara möjligt att se vad som förändrats för målgruppen. Använd gärna både kvantitativa och kvalitativa metoder för att mäta. När ni rapporterar om era effekter kan det vara bra att kombinera siffror och statistiska fakta med storytelling och känslomässiga vittnesmål. Det gäller att hitta en bra blandning av berättande och resultat med siffror. Rapporten har olika innehåll och utformning beroende på om fokus ligger på en intern eller extern publik.
Avslutningsvis tre goda tips när ni ska mäta era effekter. För det första, fokusera på den positiva förändring ni vill uppnå. För det andra, förstå och inkludera målgruppen. För det tredje, lyft fram det som fungerar bra och som ni är världsbäst på. Berätta vad ni gör, varför ni gör det och vad resultatet blev.
