Hvad er et A/B test?
Et A/B test er grundlaget for ethvert datadrrevet marketingbeslutning. Du tager en side, email, annonce eller whatever — opret to versioner. Version A er kontrollen (status quo). Version B er din variasjon. Du sender trafik 50/50 til begge, måler på en defineret metric, og finder ud af hvilken der performer bedre.
Simpelt, right? Ja — teorien. Praksisen er hvor det bliver interessant.
Det vigtige: én ændring ad gangen. Hvis du ændrer både headline, knap-farve og billede samtidigt, ved du ikke hvad der drev resultatet. Du tester én hypotese: "Hvis vi ændrer X, vil Y forbedres." Ikke hele siden på én gang.
Hvad kan du A/B teste?
Stort set alt hvad der påvirker en målbar outcome:
- Headlines — ofte den mest impactful test
- CTA-tekst — "Køb nu" vs. "Start gratis" vs. "Se how it works"
- Billeder — produkt foto vs. lifestyle foto vs. illustration
- Priser — ofte bruges i prisoptimering
- Tilbud — "20% rabat" vs. "Spar 200 kr" vs. "Gratis shipping"
- Email subject lines — forskel på 20% og 40% open rate
- Landing page layout — single column vs. multi-column
- Annoncekreativer — video vs. carousel vs. static
- Button placement — right side vs. sticky vs. inline
Grundreglen: hvis du kan måle det, kan du teste det.
Den ene fejl der gør alle tests ugyldige: Peeking
Her kommer den vigtige del.
De fleste tests dør af samme årsag: peeking. Du starter et test, venter tre dage, ser at variant B leder med 15%, slår det på hele siden og går videre. I øjet ser det ud som en vinder. I virkeligheden? Du har bare lavet en falsk positive.
Dette hedder optional stopping bias. Når du tjekker resultaterne før du har nået statistisk signifikans, og stopper tidligt fordi én variant "vinder", skaber du systematisk fejlagtige konklusioner. Matematik, desværre.
Hvorfor sker det? Hvis du fører med 15% efter tre dage, kunne det være tilfældig varians. Hvis du fortsætter i fem dage mere, kunne variant A pludselig være foran. Men du så det aldrig fordi du stoppede tidligt.
Fikset er enkelt:
- Beregn dit nødvendige sample size FØR du starter (brug Optimizely, VWO eller en simpel online calculator)
- Bestem din significance level (normalt 95% eller højere)
- Lad testen køre til du har nået dit sample size
- Luk af og implementér vinneren
- Aldrig stoppe tidligt
Ja, det tager længere tid. Men du får faktiske resultater i stedet for illusions.
Sådan kører du et godt A/B test
Følg denne process:
- Formuler hypotese — "Vi tror at [ændring] vil øge [metric] fordi [årsag]"
- Definer success metric — konverteringsrate, AOV, CTR — én ting
- Beregn nødvendigt sample size — brug en power calculator (find på google)
- Split trafik 50/50 — random assignment, intet gaming
- Vent til signifikans — gå ikke der før
- Implementer vinder — det var det hele værd
- Dokumenter resultatet — du glemmer det næste måned
Dokumentation er vigtig. Du skal vide hvad du testede, hvad der vandt, og hvorfor — så du kan bygge på det næste test.
Typiske fejl der ødelægger tests
- Testing for mange ting samtidigt — du ved ikke hvad der vandt
- Utilstrækkelig trafik — 50 sessioner per variant betyder intet
- Tests på sæsonbestemte perioder — Black Friday data kan ikke bruges på marts
- Ingen test log — du gentager samme tests eller glemmer læringer
- Baseline er dårlig — hvis kontrollen er ødelagt, er vinder irrelevant
Relaterede begreber
Split test | Konverteringsoptimering | Konverteringsrate | Landing page | CTR
