Suggerimenti per i test A / B?
Sembra che ci sia un numero crescente di servizi di test A/B (come Google Website Optimizer ) e le persone che li usano. Hai qualche consiglio su come usare e analizzare i risultati da loro?
Philip
Ri: Analizzare i risultati. Dai un'occhiata a Statistiche semplici per test A/B di AdWords e criceti da Jason Cohen .
È uno dei migliori articoli che abbia mai letto sulla comprensione della rilevanza statistica dei risultati di un test A/B. Inoltre (e questo è un grande vantaggio per me) è divertente da leggere.
Il messaggio principale:
Il modo in cui si determina se un test A/B mostra una differenza statisticamente significativa è:
Definisci N come "il numero di prove". - (Fare clic sui risultati per la variante A + Variante B)
Definisci D come "metà della differenza tra il" vincitore "e il" perdente ".
Il risultato del test è statisticamente significativo se D2 è più grande di N.
Una spiegazione completa è fornita nell'articolo.
Ti auguro il meglio,
Opaco
C'è un articolo davvero carino di Cennydd Bowles che probabilmente troverai utile Significato statistico e altre insidie del test A/B
Sono stato coinvolto nello Strumento per ottimizzare il sito e in Omniture, Marketo e in alcuni strumenti di test A/B di produzione propria. La mia scoperta chiave è questa: Garbage In - Garbage Out .
La domanda chiave è "Cosa stai testando? Chi lo sta decidendo?" È solo "Proviamo a battere il controllo" o è "Facciamo conoscere il nostro pubblico". Quest'ultimo è molto più importante. Devi arrivare alle domande PERCHÉ, non solo al WHICH.
In Intuit, ad esempio, hanno testato tutti i tipi di progetti terribili dal comitato e non hanno mai spostato l'ago. Inoltre non hanno mai imparato perché una cosa fosse migliore di un'altra.
L'esperienza utente deve essere quella di entrare nella testa delle persone. Non può essere solo unire casualmente i pixel e sperare che sia meglio dell'ultimo sforzo.
Scusa, forse ho volato fuori tema. Ho visto i test AB fallire in molti modi. E non farmi iniziare sui test multivariati (DOE).
Ultimo pensiero: il blog di Avinash Kaushik e libri sono fantastici per conoscere le analisi. È una superstar nel settore.
Potresti trovare Smashing Magazine's The Ultimate Guide To A/B Testing un'utile risorsa di test A/B:
Include una sezione su Strumenti per test A/B , oltre a coprire quanto segue:
- Che cos'è il test A/B?
- Cosa testare?
- Crea il tuo primo test A/B
- Fare e non fare
- Casi studio classici di test A/B
- Risorse per le immersioni in profondità nei test A/B
C'è un buon articolo di Jon Von Tividar su http://www.futurenowinc.com/resources/abtesting.pdf
Un bel po 'per evitare i falsi massimi - io sono con glen e penso che tu possa raggiungere i picchi solo applicando prima una serie intera di tecniche - poi Tweak usando A/B o test multivariati. Nel web design almeno hai bisogno di un "creatore intelligente" e non puoi lasciarlo evolvere testando la selezione naturale.
[NB: Sono anche sorpreso dalla frequenza con cui vedo le persone reclamare risultati senza assolutamente capire nemmeno le statistiche e il significato di base - e non farmi iniziare a pubblicizzare le persone facendo test concettuali creativi ...]
Jon