Sådan vurderer du et indholdsforsøg trin for trin

Start med kriterierne, ikke med tallene

Den mest almindelige fejl i en evaluering er, at man først ser på resultaterne og bagefter finder ud af, hvad de skal bruges til. Så kommer kriterierne til at passe til det, der tilfældigvis gik godt. Jeg anbefaler det modsatte: skriv kriterierne ned, inden forsøget går i gang, og læg dem et sted, hvor alle i teamet kan se dem.

Et kriterium er et spørgsmål, du kan svare på med noget konkret. Nåede formatet de mennesker, du havde i tankerne? Blev det brugt på den måde, du forventede? Var det muligt at producere i en rytme, redaktionen kan holde? Det er spørgsmål, du kan svare på med observationer, ikke med mavefornemmelser.

På kurset arbejder vi med få kriterier ad gangen. Tre til fem er rigeligt for et lille forsøg. Jo flere du har, desto mere udvandet bliver konklusionen, og desto lettere er det at finde et kriterium, der understøtter den beslutning, man i forvejen havde lyst til at tage.

Skriv også ned, hvad der ville få dig til at ændre mening. Hvis du på forhånd ved, at et bestemt udfald betyder stop, og et andet betyder videre, bliver selve beslutningen langt mindre følelsesladet, når forsøget er slut.

• Formuler kriterier som spørgsmål, du kan svare på med observationer
• Hold dig til tre til fem kriterier pr. forsøg
• Skriv ned, hvad der ville ændre din konklusion

Beskriv forsøget, før du måler det

En evaluering er kun så god som beskrivelsen af det, der blev afprøvet. Skriv derfor kort, hvad formatet var, hvem det var tænkt til, hvor længe forsøget kørte, og hvilke ressourcer der gik til. Det lyder banalt, men efter nogle uger har de fleste glemt, hvilke små justeringer de lavede undervejs.

Notér også, hvad der ikke var en del af forsøget. Hvis du kun delte formatet i ét forum, eller hvis det kørte i en periode med usædvanligt meget andet indhold, skal det stå i din beskrivelse. Ellers risikerer du at tillægge formatet noget, der egentlig skyldtes omstændighederne.

Jeg beder altid deltagerne om at skrive beskrivelsen i nutid, mens forsøget stadig kører. Erindringen er en dårlig kilde. Et par linjer om ugen i et fælles dokument giver et langt mere troværdigt grundlag end en samlet opsummering efter forsøget.

Når du skal vise evalueringen til andre, er beskrivelsen det, der gør den læsbar. Kollegaer, der ikke var med, kan forstå, hvad I har lært, og de kan selv vurdere, om konklusionerne holder.

Saml observationer i to spor

Jeg deler materialet i to spor: det, du kan tælle, og det, du kan fortælle. Det, du kan tælle, er for eksempel antal visninger, gennemførte afsnit, svar eller henvendelser. Det, du kan fortælle, er kommentarer, samtaler, de spørgsmål folk stillede, og de steder, hvor de tydeligvis blev forvirrede.

Tallene siger noget om omfang, men næsten aldrig noget om årsag. Fortællingerne siger noget om årsag, men kan ikke bære en konklusion alene. Først når de to spor peger i samme retning, har du noget, du med rimelighed kan kalde en tendens i dit eget forsøg.

Vær ærlig om små datamængder. Et forsøg med få deltagere kan ikke give mere end et fingerpeg, og det er helt i orden. Problemet opstår, når et fingerpeg bliver præsenteret som et resultat. Brug ord som det tyder på og vi så, ikke ord som det beviser.

Gem også de observationer, der ikke passer til dine forventninger. Ofte er det dem, der indeholder den mest brugbare læring, fordi de viser, hvor din antagelse om publikum eller format var forkert.

• Tæl det, der kan tælles, og fortæl det, der ikke kan
• Brug forsigtige formuleringer ved små datamængder
• Gem de overraskende observationer

Læs resultaterne mod kriterierne

Når materialet er samlet, går du kriterium for kriterium. Besvar hvert spørgsmål med en kort sætning og peg på de observationer, der understøtter svaret. Hvis du ikke kan pege på noget, er svaret ikke ja eller nej, men ved ikke endnu, og det er en gyldig konklusion.

Brug en enkel skala, for eksempel opfyldt, delvist opfyldt og ikke opfyldt. Det tvinger dig til at tage stilling uden at foregive en præcision, du ikke har. Skriv en enkelt begrundelse ved siden af hver vurdering, så andre kan følge din tankegang.

Kig derefter efter mønstre på tværs af kriterierne. Et format, der er nemt at producere, men som ikke når den tænkte målgruppe, har et andet problem end et format, der rammer målgruppen, men æder alle timer i redaktionen. Det er sammenhængen mellem kriterierne, der fortæller, hvad næste skridt bør være.

Undgå at give kriterierne vægt bagefter. Hvis du mener, at nogle kriterier betyder mere end andre, skal det besluttes, inden forsøget starter, ikke når du kender udfaldet.

Tag beslutningen: videre, justér eller stop

En evaluering skal ende i en beslutning, ellers har den ikke været umagen værd. Jeg bruger tre mulige udfald. Videreudvikl, hvis de fleste kriterier er opfyldt, og læringen peger på konkrete forbedringer. Justér og afprøv igen, hvis resultatet er blandet, og du kan pege på en bestemt ændring. Stop, hvis forsøget har besvaret sit spørgsmål, og svaret var nej.

At stoppe er ikke en fiasko. Et afsluttet forsøg, der har givet et tydeligt svar, har sparet jer for måneders arbejde med et format, der ikke ville fungere. Det vigtige er, at beslutningen bliver truffet åbent og skrevet ned med en begrundelse.

Hvis I er flere om beslutningen, så lad hver person give sin vurdering skriftligt, før I drøfter den. Det forhindrer, at den mest talende i rummet afgør udfaldet, og det giver jer et fælles grundlag for at tale om uenighederne.

Sæt en dato for, hvornår I ser på beslutningen igen. Et format, der er sat i gang videre, bør have sin egen lille evaluering efter en aftalt periode, så det ikke bare fortsætter af vane.

• Videreudvikl, justér og afprøv igen, eller stop
• Skriv beslutning og begrundelse ned
• Aftal, hvornår beslutningen tages op igen

Skriv det ned, så andre kan bruge det

Den sidste del af evalueringen er et kort notat, som en kollega kan læse på fem minutter. Det skal indeholde forsøgets formål, kriterierne, de vigtigste observationer, vurderingen og beslutningen. Ikke mere. Et langt dokument bliver sjældent læst, og så går læringen tabt.

Tilføj et afsnit om, hvad I ville gøre anderledes, hvis I kørte forsøget igen. Det er ofte den mest værdifulde del for næste hold, fordi den fortæller om selve forsøgsopsætningen og ikke kun om formatet.

Opbevar notaterne samlet, så de kan sammenlignes. Efter nogle forsøg begynder du at se, hvilke kriterier der oftest afgør udfaldet, og hvilke spørgsmål du bør stille tidligere. Sådan bliver evaluering til en arbejdsmetode og ikke bare en afslutning.

I modul 5 øver vi netop dette med deltagernes egne forsøg fra de foregående moduler. Du går hjem med en skabelon, du kan bruge på dit næste projekt, uanset om det er i en redaktion, en virksomhed eller på egen hånd.