Tipy pro testování A / B?
Zdá se, že roste počet testovacích služeb A/B (například Google Website Optimiser ) a lidí, kteří je používají. Máte nějaké tipy na použití a analýzu výsledků z nich?
Filip
Re: Analýza výsledků. Podívejte se na Snadná statistika pro testování AdWords A/B a křečky od Jason Cohen .
Je to jeden z nejlepších článků, které jsem kdy četl o porozumění statistické relevance výsledků testu A/B. Plus (a to je pro mě velké plus) je zábavné číst.
Hlavní zpráva:
Způsob, jakým určujete, zda test A/B vykazuje statisticky významný rozdíl, je:
Definujte N jako „počet pokusů“. - (Klikněte na výsledky pro variantu A + varianta B)
Definujte D jako „poloviční rozdíl mezi„ vítězem “a„ poraženým “.
Výsledek zkoušky je statisticky významný, pokud D2 je větší než N.
Úplné vysvětlení je uvedeno v článku.
Vše nejlepší,
Matt
Cennydd Bowles má opravdu pěkný článek, který pravděpodobně najdete užitečně Statistický význam a další testovací nástrahy A/B
Zapojil jsem se do Optimalizátoru webových stránek a Omniture, Marketa a do některých domácích A/B testovacích nástrojů. Moje klíčové zjištění je toto: Odpadky - Odpadky .
Klíčovou otázkou je „Co testujete? CO o tom rozhoduje?“ Je to jen „Zkusme porazit kontrolu“ nebo je to „Umožňuje dozvědět se o našem publiku“. Ten je mnohem důležitější. Musíte se dostat k Proč otázky, nejen k WHICH.
V Intuitu například testovali výbory všech hrozných návrhů a nikdy jehlu opravdu nepohybovali. Nikdy se také nedozvěděli, proč je jedna věc lepší než druhá.
Uživatelská zkušenost musí být o tom, jak se dostat do hlav lidí. Nemůže to být náhodně házení pixelů dohromady a doufat, že je lepší než poslední úsilí.
Promiň, možná jsem odletěl mimo téma. Viděl jsem, jak se AB testování zhoršuje mnoha způsoby. A nenechte mě začít multivariačním testováním (DOE).
Poslední myšlenka: blog Avinash Kaushik a knihy jsou úžasné informace o analytice. Je to superstar v oboru.
Možná najdete Smashing Magazine The Ultimate Guide to A/B Testing užitečný zdroj pro testování A/B:
Zahrnuje část o nástrojích pro testování A/B a také obsahuje následující informace:
- Co je testování A/B?
- Co vyzkoušet?
- Vytvořte svůj první A/B test
- Pro a proti
- Případové studie klasického testování A/B
- Zdroje pro hluboké potápění do testování A/B
Existuje docela dobrý článek Jon Von Tividar na http://www.futurenowinc.com/resources/abtesting.pdf
Hodně o tom, jak se vyhnout falešným maximům - jsem s glenem a myslím si, že maxima můžete dosáhnout pouze tehdy, pokud nejprve použijete celou řadu technik - pak Tweak pomocí A/B nebo multivariačního testování. Ve webovém designu alespoň potřebujete „inteligentního tvůrce“ a nemůžete jej nechat na evoluci testováním přirozeného výběru.
[Pozn .: Také jsem ohromen tím, jak často vidím, jak lidé tvrdí, že výsledky, s abslolutely, nechápu ani základní statistiky a význam - a nechci mě začít s marketingem lidí, kteří provádějí kreativní testování konceptů ...]
Jon