Det bedste råd, man kan give til en e-købmand (well - alle med en hjemmeside) er et ord på fire bogstaver: Test!
Så derfor har jeg i årevis knoklet med at lave (primært) A/B splittests på serversiden med PHP. Men efter at have taget alvorligt hul på Google Analytics, har jeg erkendt, at jeg må flytte mine tests over på Google Website Optimizer. Så det har jeg nu gjort og vil godt dele lidt af det med dig her.
Hvad er en test?
Groft sagt inddeles tests i A/B splittest og multivariate tests. En A/B splittest går i sin simple form ud på, at du har to sider, du vil teste op mod hinanden. F.eks. kan du have to sider om tynde kondomer. Den ene har grå baggrund, næsten ingen tekst og små billeder. Den anden har sort baggrund, masser af tekst og ét stort produktbillede. Når du tester dem, smider du hveranden besøgende over på den første og hveranden på den anden. Når du har f.eks. 100 konverteringer, kan du se, hvilken der virker bedst. Hvis det er 55/45, så er der nok ikke den store forskel, men er det 70/30, så er det med at få skrottet den anden.
Multivariate tests er noget anderledes. Der har du een side, hvor du godt vil teste f.eks. to forskellige overskrifter og to forskellige billeder. Det giver 2 * 2 = 4 variationer. Når du sætter en multivariate test op fordeler Google Website Optimizer selv dine besøgende ligeligt mellem alle variationerne. Når du har nået tilstrækkeligt med konverteringer vil Google Website Optimizer fortælle dig, hvilken kombination, der er den bedste. Det er sgu' da smart, hva'?
Sådan virker det teknisk
Rent teknisk virker de to løsninger forskelligt. Hvis du A/B split-tester, så virker det ved, at Google Website Optimizer med et stykke javascript sender hver anden besøgende videre til en anden side, du har lavet. Så du har din original-side, der hedder original.html og en ny side, der hedder ny-side.html. Det betyder også, at dine besøgende måske bookmarker ny-side.html, så når din test er færdig, skal du enten lade den blive online eller lave en 301 re-direct.
Ved multivariate test har du kun een side. Men også her er der tale om, at Google Website Optimizer med JavaScript ændrer indholdet. Det betyder, at uanset hvilken løsning, du vælger, skal du tilføje noget javascript til din side.
Slutteligt skal der naturligvis også tilføjes noget kode til din kvitteringsside, når kunden har gennemført et køb (eller tilmeldt sig nyhedsbrevet, eller hvad du nu ønsker at teste).
Det er ekstremt nemt at indsætte koden, hvis man har lidt kendskab til HTML. Jeg har intet kendskab til dandomain-, scannet, osCommerce og hvad de ellers hedder de færdiglavede shops, så jeg ved ikke, hvor nemt det er i de tilfælde (jer, der har sådanne shops og bruger Google Website Optimizer kom lige på banen).
Efter nogle dage/måneder afhængigt af besøgende har du så data nok til at kunne lave en konklusion - og her kommer det virkeligt smukke. Det gør Google sgu' for dig. Du får ikke bare sådan en "jeg tror, den her er bedst". Der er simpelt hen meget nøjagtige likelihood-tal på. Ikke noget gætteri her.
Her er et eksempel på Google Website Optimizers afrapportering:
Bemærk lige "Chances to beat original" - det er da for lækkert!
Har det begrænsninger?
Ja, det har det da. Bl.a. er det jo JavaScript, så det virker ikke på bestemte browsere - typisk mobiltelefoner - eller hvis brugeren har slået JavaScript fra. Men det degraderer gracefully, så brugeren oplever ikke nogen fejl på siden. De får bare den originale side.
Det kører ganske vist fint side om side med Google Analytics, men jeg skal i gang med en test, hvor jeg tester tre forskellige farver knapper i en kanal. Det virker fint. Problemet er, at jeg vil køre en anden test, hvor jeg tester en animeret div med et tilbud op mod et tilbud, der ikke er animeret. Det kan sagtens lade sig gøre med en A/B split-test, men det er noget bøvl sammen med en multivariate test. Så det er nok ikke så meget Google Website Optimizers begrænsning, som det er fordi jeg vil teste en hel masse samtidigt med at jeg følger en kanal i Google Analytics.
Heldigvis er det dejligt simpelt, når man selv har lavet sin shop. Så laver man da bare den test på server-siden....
Har du ikke afprøvet Google Website Optimizer endnu, så giv den et go. Det er fantastisk imponerende. Læs denne start-guide - det ta'r 20 minutter og så er du klar til at gå i gang. Edit:
Jamen så har GWO netop lanceret sin egen kanal på Youtube. Der er forskellige gode videoer - bl.a. denne her om at sætte A/B-test op på 5 minutter.
Eller dette Always Be Testing-webinar med Bryan Eisenberg
Meget interessant læsning, det lyder som et værktøj der kunne være meget sjovt at lege med.
En begrænsning der måske er værd at overveje kunne også være at alt det javascript jo garanteret loader scripts på google's servere. Jo flere scripts du så kører samtidig (tests, analytics...) jo flere requests bliver der jo lavet til google's servere, er det en performance nedgang der er til at mærke?
Folk er jo generelt meget utålmodige, så selv små performance nedgange kan vel skræmme folk væk, eller hvordan?
05 Feb 2009 11:11
V4D5 Altså nu vil jeg sige, at Googles servere generelt kører meget stabilt, så det er ikke noget, jeg har oplevet problemer med. Men det er rigtigt - det hører nok ikke under begrænsninger, men mere under problemstillinger. Det kan man jo undgå ved at lave det hele på server-siden, men jeg må indrømme, at Website Optimizer er så stærkt et værktøj, at jeg har valgt at lade det stå for 99% af mine tests. Bruger kun server-side test, når Website Optimizer ikke helt slår til (som i ovenfornævnte kombination af A/B test og multivariate test).
Jeg har altid sagt "det vil jeg selv have kontrol over" og "det skal laves på server-siden", men efter at jeg har leget meget med Analytics, har jeg erkendt, at Analytics sammen med Webmaster Tools og Website Optimizer er den hellige treenighed
05 Feb 2009 11:22
Mikael Er det du fortæller at man kan få Optimizer til at virke med f.eks. php sider og ikke kun med html? jeg kan huske at jeg sad for et lille halvt år siden og var ved at bande det hele langt væk fordi jeg ikke kunne få det til at virke med php (Wordpress).
Jeg forsøgte dog kun at lave A/B test og det var måske derfor...
05 Feb 2009 11:29
V4D5 Ja, det kan du sagtens, Mikael. Alle mine sider er PHP. Det, du skal vide er, at PHP afvikles på webserveren og Javascript afvikles først ude på brugerens browser. Så du skal bare indsætte javascripten sammen med din html... Brugeren ser jo ikke forskellen på PHP og HTML. Når PHP bliver fortolket på webserveren, så bliver det jo netop til HTML og Javascript. Så det er muligt, at du skal proppe dit Javascript ind i din PHP - og så kan jeg godt se, at det bliver lidt teknisk. Men det kan simpelthen ikke passe, at der ikke er nogle, der har lavet noget med Wordpress.
05 Feb 2009 11:32
Lars Bachmann God gennemgang af Website optimizer. Jeg skal selv bruge det på et par sites, hvilket jeg skulle have gjort for længe siden, men det er den der undskyldning med tiden.. :)
Men ellers er der kun en ting at sige.. test, test og atter test
05 Feb 2009 11:36
Mikael Jeg spurgte ellers vidt og bredt og jeg kunne ikke finde noget om at folk havde brugt det på Wordpress. Men jeg er enig i at det ikke kan være sandt. Jeg kunne bare ikke finde det.
Men mon ikke der bør findes et plugin der gør at man kan smide javascript direkte ind i et indlæg på samme måde som man kan smide php ind i et indlæg med det rette plugin?
05 Feb 2009 11:37
V4D5 Ja - jeg har også udskudt det for længe. Og det fortryder jeg nu. Det tog mig 20-30 minutter at læse introduktionen, som jeg linker til og 20-30 minutter at sætte en test op. Jeg slog mig selv i hovedet over, at jeg ikke har gjort det for længst. Det bliver ubetinget det værktøj, der øger Kondomatens omsætning mest i hele 2009.
Pris: 0,- kr
(en pris vi nordjyder kan forstå)
Mikael LOOOL !! Nej det gjorde jeg åbenlyst ikke :D Damn....
05 Feb 2009 12:43
Johnny Krogsgård Mikael, jeg downloadede nedenstående for lang tid siden, har dog ikke haft tid til at prøve det af endnu. Men mon ikke det er det du leder efter?
http://websiteoptimizer.contentrobot.com/
05 Feb 2009 12:44
V4D5 Johnny, du skal stå lige præcis 13 minutter tidligere op, hvis du skal slå Vadskær
05 Feb 2009 12:57
Johnny Krogsgård :D Ja det tror jeg da også.. Jeg skrev kommentaren, så ringede telefonen...
05 Feb 2009 14:09
Jacob W Endnu en super artikel som måske kan være lidt en øjen-åbner for nogen.
Det der med at køre A/B-test og multivariant-test på en gang, er det særlig smart? Jeg mener, kan google holde styr på at køre de to tests sammen, så alle kombinationer mellem de to tests bliver testet? Kan google vise resultatet af A-testen sammen med hver af dine multivariant-tests og ligeledes med B-testen?
For ellers skal du jo køre A/B-testen for sig selv, inden du har resultatet på den test og så gå videre til multivariant-testen med vinderen af A/B.
Håber det gav mening...
05 Feb 2009 14:11
Jacob W Forresten, har du fjernet timestamp fra det primære rss-feed igen? Den bliver i hvert fald sat til det tidspunkt hvor jeg henter den igen...
Igen lykkedes det dig at producere en artikel, som jeg er grøn af misundelse over :-)
To yderligere detaljer:
- GWO husker (i en cookie) hvilken side brugeren fik vist. Dvs. hver gang han efterfølgende besøger dit site (så længe testen står på) vil han blive præsenteret for den samme variant. Simpelthen genialt!
- GWO dur ikke, hvis du ønsker kun at udføre testen på et segment af din trafik. F.eks. hvis du ønsker at lave en A/B-test af din forside, kun over for trafik der kommer via Adwords kampagner. Totalt træls.
05 Feb 2009 14:55
Jacob W Søren: Vigtig pointe du lige får slået fast med at brugeren altid vil se den samme side. Det giver umiddelbart to fordele:
1. Brugeren bliver ikke forvirret over at side konstant skifter udseende og knapper skifter farve og placering.
2. Hvis en bruger kommer forbi siden 3-4 gange før han konverterer er det vigtigt at det er samme layout der har overbevist brugeren over tid og ikke en kombination af layouts.
Med hensyn til det med trafikken, burde det så ikke være ligemeget da man vel altid forsøger at tiltrække den samme målgruppe (forhåbentligt den rigtige) uanset hvilken markedsføringskanal man bruger?
05 Feb 2009 15:05
Søren Sprogø @JacobW: IMHO er det ikke helt ligemeget.
Der er stor forskel på hvordan trafik fra de forskellige kanaler opfører sig, f.eks. er det normalt at Adwords trafik har en LANGT højere conversion rate end SEO trafik.
Og at du bombarderer en A/B-test med besøgende, der opfører sig forskelligt, er i mine øjne en kilde til at ødelægge testen. F.eks. kan det være SEO trafik foretrækker den blå knap, mens Adwords foretrækker den grønne. Og fordi du ikke adskiller trafikkanalerne vil resultatet give et gennemsnit, der viser at den blå- og den grønne knap er lige gode (meget simpelt stillet op).
Det allernemmeste/-bedste at gøre, er at tage al trafikken fra en Adwords kampagne og lede den ind til A/B-testen. Og IKKE andet! På den måde sikrer man sig at trafikken er temmeligt ensartet, og at resultatet ikke bliver ødelagt af det gamle statistikordsprog: Står du med det ene ben i en kummefryser og det andet på en stegepande, så har du det gennemsnitligt ganske udemærket :-)
Men det er alt sammen teoretisk. Og jeg vil til enhver tid påstå at selv en test med "mudret" trafik er 100% bedre, end slet ikke at lave en test.
05 Feb 2009 15:32
Jacob W Søren: Jeg kan sagtens se din pointe med at trafikken opfører sig meget forskelligt. Men i sidste ende vil du alligevel ende op med at skulle præsenterer alt din trafik for den samme butik, så det handler jo om at finde den løsning som virker bedst på den gennemsnitlige trafik.
Jeg ved ikke om der er nogen shop der tjekker på referer og viser et andet layout eller en anden checkout procedure alt efter hvor trafikken kommer fra - det ved du nok bedre med din erfaring?
05 Feb 2009 15:38
Søren Sprogø Kort fortalt handler min teori om, at folk typisk befinder sig i forskellige stadier af deres købsprocess alt efter trafikkanal, og evt. keyword. Og det derfor også er forskellige ting på en side, som de vægter som væsentlige/uvæsentlige.
Den længere, meget teoretiske og videnskabelige forklaring må du lige selv huske på at få, hvis vi en dag skulle rende ind i hinanden sådan rent fysisk :-)
05 Feb 2009 16:13
Jacob W Det må jeg lige huske :) Men jeg forstår godt din tankegang...
Men derfor vil man vel stadig være tvunget til at lave én shop som virker på alle markedsføringskanaler? I sidste ende...
05 Feb 2009 16:56
Søren Sprogø @JacobW: Bestemt, man skal kun have én shop.
Men den store kunst er ikke at drive trafik ind på forsiden, men ind på landing pages der er optimeret mod hvilket sted kunden er i sin købsprocess / formålet med besøget / hvor de kommer fra / hvad de har søgt på.
Det er meget sjældent det har noget formål at drive trafik ind til shoppens forside. Jeg kan slet ikke komme på et eksempel?
05 Feb 2009 17:52
V4D5 Whoa... I har haft travlt, mens jeg har været til arabisk. Dejligt, at I driver bloggen, mens jeg er væk (husk lige det i næste uge, hvor jeg er på ski-ferie )
Og tak for de pæne ord begge to. Er glad for, at Jacob finder den brugbar og Søren er misundelig ;-)
@Jacob W - Jo A/B splittest og multivariate er ikke noget man bør gøre på samme tid med GWO. Men jeg er utålmodig og test-viruset har bidt mig, så jeg vil i gang med begge dele. Så jeg kører multivariate med GWO og så klarer jeg split-testen på serversiden. Det er een af de fede ting ved at have håndkodet det hele selv (nogle gange skal der også være fordele, ikke?)
Har i øvrigt ikke fjernet timestamp'et, men havde glemt at tilføje det, når jeg redigerer en kommentar. Det skulle være bragt i orden nu. Beklager.
@Sprogø - ja, det kunne være neat med tests af segmenter, men jeg synes det er sjældent, man har brug for at smide f.eks. Adwords-besøgende direkte ind på forsiden. Så løsningen må være lige at lave en landingsside specielt til de "købte gæster". Derfor kan det jo også være interessant at teste f.eks. besøgende fra søgemaskiner - jeg tror faktisk, at folk, der kommer fra Live opfører sig anderledes (mindre teknisk minded) end folk, der kommer fra Google (altså besøgende - ikke de ansatte )
05 Feb 2009 18:21
Jacob W Vads: Tror du ikke det er omvendt? At dem som ikke ved noget som helst om teknik kommer fra google, fordi det er det alle bruger, og dem som kommer fra de andre steder er dem som gerne vil prøve lidt nye ting og interesserer sig for det?
05 Feb 2009 18:35
V4D5 Nej, jeg tror, at de, der bruger Live er dem, der har været på PC-kørekort og lært, at fra Internet Explorer kan man søge ved at skrive noget oppe i boksen til højre
Hvis man er teknisk minded og vil "prøve noget andet", så prøver man kun Live en enkelt dag. Ellers hopper man på Cuil eller Mahalo, men også kun for en kort bemærkning. Vil man oprigtigt "prøve noget andet", så hopper man på Linux
05 Feb 2009 21:03
Søren Sprogø Puha, skiferie. Se, endnu en ting jeg er misundelig over! Der er hele 16 dage, 7 timer og 9 minutter til jeg selv skal afsted...
Personligt tror jeg ikke der er så stor forskel på organisk trafik fra Live og fra Google. Under alle omstændigheder er det næsten umuligt at teste, ihvert fald her i Danmark, da trafikmængden fra Live er så lille, at man knap nok kan lave en gyldig test på det. En undersøgelse over søgemaskineandele er forresten på vej fra min side...
Derimod tror jeg at der er stor forskel på hvordan trafikken opfører sig alt efter søgeordets type. Ved meget generelle termer er man ofte tidlig i sin købsprocess og er derfor ude efter én type informationer. Hvor mere specifikke termer (typisk long tail) signalerer at man er meget længere i sin købsprocess, og er ude efter en helt anden type information.
Noget som forøvrigt også vil afspejle sig i en test kørt på ren Adwords trafik.
Dog er det hele meget teoretisk, og svinger utroligt meget fra branche til branche. Især ved let omsættelige produkter, hvor tiden fra tanke til køb er ekstremt kort, vil en segmentering ud fra trafiktype ikke give de store udsving. Hvorimod brancher, hvor der sker megen research og surfen rundt før man foretager et køb, vil der være store forskelle i hvordan trafikken opfører sig.
Et godt eksempel på det første er blomsterbranchen, som typisk også har helt ekstreme conversion rates. Hvorimod f.eks. ferieboligbranchen har utroligt mange visits før den besøgende konverterer.
Og igen, det hele er meget teoretisk. Med de sites jeg har arbejdet med konverteringsoptimering på, er det praktisk taget umuligt at lave tilfredsstillende tests ved at segmentere ud fra trin i købsprocessen af én simpel årsag: Der er simpelthen ikke trafik nok i det danske marked til at gå så meget i detaljer!
Hvem der dog bare sad og lavede eCommerce i det store USA... :-)
Jacob W Vads: Er det din gennemsnitlige CR eller er det på et nyhedsbrev eller noget i den stil?
Søren: Mange kloge ord...
06 Feb 2009 13:20
V4D5 @Jacob W - nej desværre ikke den gennemsnitlige. Det var bare en god tirsdag i januar. I januar var den på 7,2% - det er ca. vores gennemsnitlige p.t.
Den slags svinger jo. Når man kører en "agressiv" kampagne for at drive noget trafik ind, så stiger bounce raten og konverteringen falder. Når man så får luget ud i det og kun sætter ind overfor den trafik, der konverterer, så vender tallene. Så det hopper og danser lidt, men man skal jo eksperimentere for at finde den gode trafik - og det betyder en lidt høj bounce rate og lav CR engang imellem
06 Feb 2009 15:10
V4D5 GWO holder nok øje med bloggen her, for det kan næppe være tilfældigt, at de netop i dag vælger at lancere deres Youtube kanal. Link til det er tilføjet i indlægget.
06 Feb 2009 23:12
Jacob W Vads: 7,2% er jo også næsten nok til at kunne blære sig i blomster-branchen :)
Ja, der er nok meget forskel på hvor godt trafik konverterer. Hvordan ser du på SEO vs. PPC i den snak?
07 Feb 2009 14:20
V4D5 Altså PPC, der ikke konverterer ordentligt skal der jo luges ud i ret hurtigt, så det er svært at sidestille de to ting. Og når jeg selv står for min SEO er den jo næsten gratis, hvorfor jeg ind imellem hiver noget rigtigt dårlig trafik ind som et forsøg. Så noget SEO trafik konverterer helt eminent og andet slet ikke.
Faktisk gav jeg et råd videre i en webshop netværksgruppe i går. Hvis man tror på et bestemt søgeord, så er det en god idé at teste det med PPC først. Hvis det konverterer tilfredsstillende bør man investere i noget SEO. Så de to ting går faktisk meget hånd i hånd.
Jeg har også lavet et andet indlæg tidligere hvor jeg omtaler vigtige ting man skal være obs på ift. analyse. Som resultat sætter man kun én handling op (formentlig gennemført salg) og det er lidt sparsomt at analysere på i mange tilfælde. Hvis man fx tester en landing page, så handler det i sidste ende om at øge salget. Så ja, det er det vigtigste. Men det er også vigtigt at vide om en større andel klikker på det ene element frem for det andet, om færre bouncer osv. Det er specielt ved multivariate test hvor dette bliver et problem (da URL er den samme for alle variationer). Mit indlæg omkring dette kan læses her (og med citat fra Avinash til mig... yes yes sir): http://www.webanalytiker.dk/2008/11/22/google-website-optimizer-udvikling/
@Vadskær: Overlegen timing med Youtube. Godt de lytter ;-)
Avinash skrev derudover til mig at de arbejdede på at integrere Google Website Optimizer med Google Analytics. Jeg har set et hack et sted, som gør det muligt (i et eller andet omfang), men har ikke lige fået fulgt op på dette. For så begynder det at blive spændende at teste med GWO.
07 Feb 2009 17:09
Jacob W Vads: rigtig godt idé med at teste sine søgeord med PPC inden man begynder at linkbuilde med ordet. Både for at se hvor godt det konverterer, men bestemt også for at få et meget nøjagtigt tal på søgevolumen. Hvis du skal vælge mellem 3 ord, så opret dem i Adwords og få de helt præcise antal søgninger på de 3 ord.
"hvorfor jeg ind imellem hiver noget rigtigt dårlig trafik ind som et forsøg."
Hvad kan det være for forsøg? Link bait, eller noget med at komme til at ranke på et ord, som slet ikke konverterer?
09 Feb 2009 18:33
V4D5 @Jacob W - man skal prøve noget nyt ind imellem. Og der kommer "populære" søgninger ind i billedet. Altså søgninger, som måske ikke er så relevante, men som der bliver lavet mange af i Danmark. Og så behøver jeg vist ikke sige mere
Hele artiklen er heldigvis skrevet i et let og humoristisk sprog, så den er faktisk ret nem at kværne igennem.
Jeg kan især godt lide idéen om at man sætter væddemål op med kollegaerne for hvilken variant der vil vinde. Man kunne eventuelt kombinerer det med et ugentligt væddemål, hvor taberen giver fredagsøl :) Hver uge kunne man så køre tests på et nyt trin i check-out proceduren indtil man har været det hele igennem, og så kan man passende starte forfra med de erfaringer man har gjort sig.
13 Feb 2009 22:57
V4D5 Tak for linket, Jacob. Sidder i de franske alper omgivet af øl og svenske piger, så jeg har ikke lige tid til at læse dit link p.t. Men det er altid lækkert, når der kommer flere ressourcer til.
13 Feb 2009 23:26
Jacob W Det er lige før jeg tror det er den ultimative ressource :)
Den sætter i hvert fald tankerne igang...
14 Feb 2009 01:33
Jacob W Det er f.eks. sætninger som disse, der gør artiklen utrolig sjov at læse:
"Headlines are really important: That’s why we used up 4 of our 108 tips on them.
Plus the fact that 108 tips is starting to sound like a lot of hard work."
23 Feb 2009 11:30
Jacob W Nu har jeg leget lidt med det og sat den til at køre en multi-variant test, mens jeg var på skiferie i sidste uge. Det kræver dog lidt mere end en uge før den kan finde en vinder. Jeg har dog allerede nu fundet frem til et par spørgsmål:
2. Hvis man vil teste noget indhold som er genereret af noget PHP kode, kan man så bare smide sin PHP kode ind i boksen på siden hvor man sætter eksperimentet op?
3. Er det muligt at teste et element på tværs af hele websitet, istedet for kun en isoleret test-side? Jeg vil f.eks. gerne teste hvilken farve min "tilføj link"-knap skal have i menuen: http://index.wep.dk/
Kan man det? Morten, hvis du ved det, kunne det måske være en idé til et blog-indlæg, hvis det er meget komplekst at sætte op?
23 Feb 2009 12:04
V4D5 1. Ja, hvis man selv besøger siden, så er det en god idé at udelade sin egen trafik.
2. Er ikke helt sikker på, at jeg forstår, hvad du mener. Du kan godt lade PHP generere din JavaScript-kode og du kan jo godt sætte PHP både foran og efter den JavaScript man får fra GWO, men altså PHP'en skal jo afvikles på serversiden... Tror ikke, jeg forstår dit spørgsmål.
3. Nej desværre... Kunne være ønskeligt, men den går vist ikke. Her er det, at det er rart, at man har håndkodet sit skidt selv. Så er det nemt at lave sådan en test på server-siden
23 Feb 2009 12:25
Jacob W Hvis man nu vil teste om det virker at indsætte Top 3 Bestseller produkter på en side. Disse 3 produkter skal jo trækkes ud af databasen dynamisk ved hver sidevisning, så der skal bruges noget php-kode. Hvordan gør man det?
Det er ærgeligt at man ikke kan teste elementer på tværs af hele sitet. Så kunne vi jo finde ud af om det virker at have e-mærket eller ej :D
23 Feb 2009 13:25
V4D5 Ahh - nu ser jeg. Altså dynamisk indhold. Jeg tvivler på, at du kan teste det... Den slags skal også klares på server-siden. Endnu en grund til "håndbygget" webshop.
23 Feb 2009 14:35
Jacob W Okay... Jeg tror det må komme an på en test :)
Du må vist snart lige lave et indlæg om hvordan man laver serverside split-tests :)
24 Feb 2009 07:28
V4D5 Tjah... Er stadig lidt i tvivl, men som du skriver må det komme an på en test. Er du mand for den? Der går i hvert fald noget tid, før jeg får tid.
Jeg er overbevist om, at alle, der kan programmere et server-side sprog, sagtens selv kan lave split-tests, sådan et indlæg er vist overflødigt.
24 Feb 2009 10:27
Jacob W Tjah, det tror jeg godt jeg kan finde tid til. Ellers må lektierne jo lige vente en times tid :)
"Jeg er overbevist om, at alle, der kan programmere et server-side sprog, sagtens selv kan lave split-tests, sådan et indlæg er vist overflødigt."
Ikke mig :)
24 Feb 2009 13:14
V4D5 Det er PHP, du gør dig i, ikke?
Vil du lave en A/B split-test, så serverer du bare ver. 1 til brugeren og noterer i en session, at han har fået ver. 1. Du skriver også lige i databasen, at een bruger har fået ver. 1. Hvis brugeren konverterer, så noterer du (i databasen), at en bruger, der har fået ver. 1 er konverteret. Det er alt.... Næsten nemmere end GWO
Ja, det lyder jo ikke så besværligt. Hvis man bare lader PHP vælge random mellem ens varianter, så behøver man jo næsten ikke engang notere at der er en bruger der har fået ver 1.
Men man skal vel også lige lave en cookie på brugeren computer, så han får den samme version næste gang, ik? For sessionen bliver jo slettet når han forlader sitet...
25 Feb 2009 07:36
V4D5 Hmm... Mente ellers, at wep.index.dk var lavet i PHP sidst, jeg kiggede forbi. Nå - men ASP og PHP er jo næsten det samme. Kender ikke så meget til ASP.
Men jo - hvis du altid vil servere det samme til brugeren, skal du jo sætte en cookie, men det gør jeg ikke så meget i. På Kondomaten skifter vi mellem flere forskellige forsider. Vi synes ikke, det gør så meget, at brugeren får een side om mandagen og en ny om tirsdagen. Det virker bare som om, der er gang i siden (og det er der jo også )
Nå - men mener du stadig, at der er basis for et indlæg om server-side split-test?
25 Feb 2009 10:34
Jacob W Jeg ved ikke lige om jeg fik formuleret mig dårligt, men det er PHP jeg laver. Jeg kan intet ASP :)
Det lyder spændende med forsiden. Måler I også på hvilken forside der performer bedst eller er det bare for at skabe liv på siden?
Nej, jeg vil gerne give dig ret i at det vist ikke er stort nok til et indlæg. Men jeg siger tak for forklaringen om hvordan du laver det :)
25 Feb 2009 13:23
V4D5 Måler I også på hvilken forside der performer bedst eller er det bare for at skabe liv på siden?
-Hvad tror du selv, Jacob?
25 Feb 2009 14:13
Jacob W Hehe, ja det kunne jeg måske have sagt mig selv :)
Jeg havde bare ikke forestillet mig at forsiden kunne betyde noget. Men selvfølgelig kan den det. Selvom det nok betyder mere hvis man tester sider der ligger tættere på målet, f.eks. checkout-proceduren.
Jeg tænker bare at forsiden vil være så langt væk fra målet at usikkerheden må være ekstremt stor på om det faktisk er den forside der har gjort udfaldet.
25 Feb 2009 14:24
V4D5 Sætter i øvrigt snart gang i en ny ret spændende test. Når der foreligger nok data, skal der nok komme et indlæg om dét også.
Jeg kan godt se, hvad du mener med forsiden, men lader man dem køre rigtigt længe, kan man godt begynde at se et mønster. Men det er nemmere med landings-sider.
I indlægget er link til pdf. Den er hovedsageligt lavet af Prusak, som er en champ ift. den tekniske del af GWO. I kan følge ham på prusak.com
06 Mar 2009 11:50
Jacob W Kilde: Super link. Jeg skal lige have kigget lidt mere på det, men umiddelbart ligner det at denne guide godt kunne gøre det muligt at teste elementer på tværs af et helt site og ikke kun på en specifik side - lækkert :)
18 May 2009 16:49
Thomas Skall Hej Vadskær,
Jeg koder, ligesom dig, alt selv og jeg laver altid mine A/B tests serverside. Mener du der er nogle fordele for os "hjemmebyggere" ved at bruge GWO, det er der vel siden du benytter det :-)
18 May 2009 17:45
V4D5 Hej Thomas, og velkommen til.
Jeg synes bare, det er så super-nemt lige at smide en test på GWO. Skal ikke oprette en speciel tabel i databasen eller noget. Bare lige kopiere lidt JavaScript ind og så er man kørende.
Men hvis man vil køre en mere eller mindre permanent A/B test, så får man jo det bedste resultat ved at gøre det på server-siden. Men efter jeg blev mere og mere begejstret for Google Analytics som statistik-program, fik jeg også øjnene op for Website Optimizer. -Og da jeg fandt ud af, hvor nemt det var, kom det altså til at afløse mine server-side tests. Og nu kæmper jeg så for at lave ALLE mine tests med Website Optimizer (nogle tests er noget sværere at få til at virke end at lave dem på server-siden, men jeg er stædig )
18 May 2009 18:22
Thomas Skall Hej Vadskær,
Og tak for dit svar. Jeg må jo nok kigge på det en dag så :-)
Men nu er mit A/B test system også rimeligt simpelt, skal blot lave en ny template og fortælle shoppen at den skal "splitte" mellem to templates.
Men jeg bliver jo lidt nysgerrig når jeg ser dit screenshot af Google Website Optimizers afrapporteringen :-) Det ser jo lækkert ud!
18 May 2009 20:24
V4D5 Du skylder i hvert fald dig selv, at kigge på det en dag. Jeg havde det lige som dig, men er altså blevet meget begejstret for det. Og så tror jeg, at det står foran en kæmpe udvikling de næste par år.
A/B tests er jo rimeligt nemme at lave på server-siden, men synes at multivariate er noget bøvl. Jeg ved godt, at server-side test er mere nøjagtige, men unøjagtigheden er vist til at leve med. Det gør bare mit liv nemmere. Desværre bliver man lidt afhængig af skidtet
Jeg ved godt at det er en lidt ældre tråd jeg kaster mig over. Men jeg er en af de næsten "kode-analfabeter" som bruger et cms-shop system - og her ser min første hurdle ud til at være det med at smide en stump Java-script ind på siden.
Sååå er der nogen her der har erfaring med hvordan GWO spiller på sådanne løsninger??
24 Jun 2009 11:03
V4D5 Jes - bare fordi en tråd er "gammel" er den jo ikke nødvendigvis uaktuel. Du er velkommen til at kaste dig over alle de gamle indlæg.
Du kan gøre to ting: Enten finde ud af, hvordan du indsætter HTML i dit CMS eller du kan vælge "mine programmører indsætter koden for mig" i GWO. Så får dine programmører bare en stump kode, som du beder dem indsætte på relevante sider.
CMS er en fantastisk opfindelse, men der skal være muligheder for "hacks". Det betyder, at du skal have mulighed for at ændre lidt på standard-opsætningen og indsætte HTML + JavaScript. Så du f.eks. også kan skrue lidt på dine Google Analytics-koder.
Håber, du får det til at virke
06 Jul 2009 08:17
Jimmy M Puha, så lykkedes det mig at sætte A / B splittest op i en osCommerce (ZenCart) webshop. Der er altså en del man lige skal forstå før bare det lykkedes. Derudover er der nu Multivariate tests :/, men nu har jeg da noget at lege med det næste stykke tid :D.
Men lade sig gøre, det kan det
06 Jul 2009 13:25
V4D5 @Jimmy - suverænt. Vil man bare teste et enkelt element på en side (altså f.eks. A/B på en overskrift), så kan man jo sagtens bruge en multivariate test. Hovedformålet er at få testet.
Fedt, at det er lykkes for dig, at sætte det op i en osCommerce.
Jeg tror, at et vigtigt element for fremtidens standard-løsninger i webshop er, at man har mulighed for at bruge Googles Website Optimizer.
Håber, du får et godt resultat ud af din test.
06 Jul 2009 14:06
Jimmy M Jeg har ikke helt luret fordelen i at benytte A / B splittest frem for multivariat test (tværtimod). Jeg valgte kun at starte med A / B fordi det lød hurtigst at få implementeret.
Det er uden tvivl et godt emne, som funktion til alle webshopudbyderne, men det bliver godt nok svært at få givet webshopejerne muligheden for at ændre i deres templates (foruden kunnen til at gøre det)
06 Jul 2009 14:22
Jacob Kildebogaard Jimmy - den store praktiske forskel er URL´erne. Ved en AB test skal der laves forskellige URL´er, mens det hele sker på samme side ved en multivariate test. Ved forskellige URL har du mulighed for at analysere dybere i Google Analytics, da du kan se på dem som har set den ene og den anden side. Ulempen er at du så skal lave flere URL, og er det forsiden der testes på, så giver det oplagt lidt udfordringer. Heriblandt hvis brugeren bookmarker test-siden.
Rent testmæssigt, så er en ab test tænkt til at man tester en side mod en anden. Dvs. en helt side, og fx helt andet design osv. Når man finder en vinder af disse, så kan man lave multivariate tests, dvs. teste enkeltelementer på samme side. Det kan være test af hhv. billede, overskrift og farve på køb-knappen. Her testes den samme side, men et eller flere elementer har flere variationer.
Gav det nogenlunde mening? :)
30 Jul 2009 23:18
Kim Jørgensen Super artikel. Efter at have læst Martin Thorborgs E-Pusher adskillige gange, har jeg hver gang tænkt længe over det med at split-teste. Hvordan man kom igang med det. Var ikke klar over at det var google optimizer der klarede den slags. Så nu har jeg ikke flere undskyldninger for at komme igang. Nu skal det være!!!
Så endnu engang tak for en super artikel.
18 Aug 2009 01:43
Morten Rigtig spændende læsning. Konvertering er noget vi på industribasen.dk er begyndt at lægge meget mere vægt på efter vi har læst denne artikel.
Det er nok især smart hvis man kører et af de store projekter med f.eks. 1024 varianter, ligesom Youtube. På den måde kan man lidt hurtigere komme frem til en vinder.
