it-swarm-eu.dev

Tipy pro testování A / B?

Zdá se, že roste počet testovacích služeb A/B (například Google Website Optimiser ) a lidí, kteří je používají. Máte nějaké tipy na použití a analýzu výsledků z nich?

12
Philip Morton

Filip

Re: Analýza výsledků. Podívejte se na Snadná statistika pro testování AdWords A/B a křečky od Jason Cohen .

Je to jeden z nejlepších článků, které jsem kdy četl o porozumění statistické relevance výsledků testu A/B. Plus (a to je pro mě velké plus) je zábavné číst.

Hlavní zpráva:

Způsob, jakým určujete, zda test A/B vykazuje statisticky významný rozdíl, je:

Definujte N jako „počet pokusů“. - (Klikněte na výsledky pro variantu A + varianta B)

Definujte D jako „poloviční rozdíl mezi„ vítězem “a„ poraženým “.

Výsledek zkoušky je statisticky významný, pokud D2 je větší než N.

Úplné vysvětlení je uvedeno v článku.

Vše nejlepší,

Matt

9
Matt Goddard

Cennydd Bowles má opravdu pěkný článek, který pravděpodobně najdete užitečně Statistický význam a další testovací nástrahy A/B

6
adrianh

Zapojil jsem se do Optimalizátoru webových stránek a Omniture, Marketa a do některých domácích A/B testovacích nástrojů. Moje klíčové zjištění je toto: Odpadky - Odpadky .

Klíčovou otázkou je „Co testujete? CO o tom rozhoduje?“ Je to jen „Zkusme porazit kontrolu“ nebo je to „Umožňuje dozvědět se o našem publiku“. Ten je mnohem důležitější. Musíte se dostat k Proč otázky, nejen k WHICH.

V Intuitu například testovali výbory všech hrozných návrhů a nikdy jehlu opravdu nepohybovali. Nikdy se také nedozvěděli, proč je jedna věc lepší než druhá.

Uživatelská zkušenost musí být o tom, jak se dostat do hlav lidí. Nemůže to být náhodně házení pixelů dohromady a doufat, že je lepší než poslední úsilí.

Promiň, možná jsem odletěl mimo téma. Viděl jsem, jak se AB testování zhoršuje mnoha způsoby. A nenechte mě začít multivariačním testováním (DOE).

Poslední myšlenka: blog Avinash Kaushik a knihy jsou úžasné informace o analytice. Je to superstar v oboru.

4
Glen Lipka

Možná najdete Smashing Magazine The Ultimate Guide to A/B Testing užitečný zdroj pro testování A/B:

Zahrnuje část o nástrojích pro testování A/B a také obsahuje následující informace:

  • Co je testování A/B?
  • Co vyzkoušet?
  • Vytvořte svůj první A/B test
  • Pro a proti
  • Případové studie klasického testování A/B
  • Zdroje pro hluboké potápění do testování A/B
4
Nathalie C

Existuje docela dobrý článek Jon Von Tividar na http://www.futurenowinc.com/resources/abtesting.pdf

Hodně o tom, jak se vyhnout falešným maximům - jsem s glenem a myslím si, že maxima můžete dosáhnout pouze tehdy, pokud nejprve použijete celou řadu technik - pak Tweak pomocí A/B nebo multivariačního testování. Ve webovém designu alespoň potřebujete „inteligentního tvůrce“ a nemůžete jej nechat na evoluci testováním přirozeného výběru.

[Pozn .: Také jsem ohromen tím, jak často vidím, jak lidé tvrdí, že výsledky, s abslolutely, nechápu ani základní statistiky a význam - a nechci mě začít s marketingem lidí, kteří provádějí kreativní testování konceptů ...]

Jon

3
Jon Dodd