it-swarm-eu.dev

Stojí testování A / B za vyšší náklady a čas?

Klient se ptá na slepé testování A/B split pro online aplikaci zaměřenou převážně na použitelnost pracovního postupu návrhu a aplikace. Někdo v klientově kanceláři si přečetl článek o tom, jak všechny velké agentury testují koncepty A/B před uvedením do provozu ... takže pro ně musí být důležité udělat také!

--edit-- O aplikaci: Jedná se o veřejně orientovanou aplikaci, ale uživatelé budou placenými členy, takže to není zdarma, otevřená spotřeba. Uživatelé budou přímými klienty, kteří zase produkt dále prodají svým klientům. Provoz na vrcholu by pravděpodobně byl +1 000 uživatelů; někteří z nich by byli denní uživatelé, zatímco menší část by mohla být pouze 1X/týden. --Upravit--

Odůvodnily výsledky dodatečné náklady a úsilí?

3
bpeterson76

Doufám, že chápu vaši situaci správně. Pokud ne, zanechte komentář a trochu to vyčistím.

Ve vaší situaci si nejsem jistý, jak dobře bude testování A/B fungovat - mám obavy z toho, že mohu získat použitelné výsledky. Existují dva problémy, které je třeba překonat - získání statisticky platných výsledků a jejich porozumění.

První problém, který musíte vidět, je, že ~ 1 000 lidí, kteří používají vaši službu, není celá vaše uživatelská základna a nemůžete si být jisti, že jsou zástupci vašich uživatelů. To, že těchto 1000 uživatelů vykazuje určité tendence v testování A/B, neznamená, že tyto tendence budou mít i jiné skupiny uživatelů. A myslím si, že také zakaluje statistickou platnost výsledků, protože máte nesprávné vzorky.

Máte také dvě kategorie lidí, kteří používají vaši konkrétní službu a kdo ví, kolik lidí používá systémy dalšího prodeje. Ve vašem systému máte časté a občasné uživatele. Ale co v dalších nasazeních? Pokud by vás vaše změny ovlivnily také, mohli byste mít vliv na jejich schopnost dosáhnout svých cílů bez absolutních údajů o uživatelských zkušenostech v A nebo B.

A pochopení všech výsledků, které získáte, bude obtížné, zejména pokud nasadíte testování A/B na více nasazení vaší služby. Pokud shromažďujete data z několika různých populací, možná zjistíte, že dosáhnete požadovaných výsledků pomocí A v některých a B v jiných - pak se musíte rozhodnout, zda je to skutečně přesné, a pak se rozhodnout, co s tím dělat.

Upřímně, v tomto případě bych doporučil průzkumy. Zjistěte více o pozadí vašich uživatelů - věkové rozmezí, pohlaví, zkušenosti s počítačem, profese - a o tom, jak software používají. Poté zjistěte, jaké funkce se jim líbí nebo nelíbí, jaké funkce se snadno používají nebo ne, atd. Tento průzkum by měl oslovit co nejvíce lidí - jak lidí, kteří používají vaše nasazení, tak lidí, kteří používají jiné nasazení.

5
Thomas Owens

Testování A/B má své místo, ale vyžaduje, aby některé věci držely. A co je nejdůležitější, potřebujete jasnou metriku úspěchu. Tj. musí být snadné posoudit, které výkony dosahovaly lepších výsledků A nebo B. To platí zejména v případě, že váš web je zaměřen na konkrétní komerční cíl (např. přimět lidi k zadávání objednávek, přimět lidi, aby klikali na reklamní odkazy atd.).

Potřebujete také jasné alternativy k testování a dostatečně velkou uživatelskou základnu, abyste mohli získat statisticky platné výsledky pro každý pár A/B. Počet párování a trvání testování je také faktorem.

Pokud máte větší zájem o zlepšení celkové použitelnosti, měli byste raději provést kooperativní hodnocení použitelnosti (posadit se s testovacími uživateli a pozorovat je, projít seznam úkolů, zaznamenat problémy). Je levnější a přináší velmi užitečné výsledky.

Nakonec jde o to, čeho se snažíte dosáhnout.

3
Kris

Někdo v klientově kanceláři si přečetl článek o tom, jak všechny velké agentury testují koncepty A/B před uvedením do provozu ... takže pro ně musí být důležité udělat také!

Dobře a dobře, pokud dostáváte velké finanční prostředky za výsledky velkých agentur na velkých stránkách agentur ... bohužel, jak si všimli Kris a Thomas Owens, statistické vzorkování se nezmění dolů velmi dobře.

Uživatelé, kteří za službu zaplatili, jsou ne lidé, na které se testování s vícerozměrným zaměřením obecně zaměřuje (a moudře) - cílem je najít způsob, jak převést lidi, kteří nejso odběratelé protože jich je více a jejich pozornost stojí více než potenciální záměna se stávajícími předplatiteli, kteří se přesto odhlásili.

3
danlefree

Pokud máte situaci, kdy vývojáři/manažeři mají na určité stránce na paměti několik věcí, pak je testování A/B s dostatečným provozem uživatelů dobrým způsobem, jak vyzkoušet a rozhodnout, co funguje lépe.

Pokud jsou rozhodnutí nařízena a není zde tolik prostoru pro experimentování (pravda většiny obchodů s webdev), pak povrchové testování A/B nepřinese výsledky, které byste mohli očekávat.

Trik testování A/B spočívá v získání dostatečného množství statistických údajů a následném analyzování výsledků - tam, kde je těžká část analýzy. Takže nastavení A/B není tak časově náročné vedle času, který vyžaduje pochopení dat.

Můžete také zvážit použití testů použitelnosti naživo, které jsou popsány na seit.com .

Nebo dokonce automatizované nástroje jako ClickTale , které vám ukážou, jak uživatelé používají vaše stránky.

0
Evgeny

Testování A/B je v dnešní době poměrně levné a snadné, můžete použít Optimalizátor webových stránek Google, který je zdarma nebo něco podobného jako virtuální optimalizátor webových stránek, který má plány klesající na 50 $/měsíc. Doporučuji A/B testovat jakékoli cíle orientované na cíle (konverze, předplatné atd.) V nejhorším případě nezískáte statistického výherce a zbytečně ztrácíte 50 $, vylepšíte míru konverze a váš klient vydělá více peněz.

Z pohledu na váš popis to zní, jako by hledali testování použitelnosti, spíše než optimalizaci konverze. Pokud tomu tak je, použil jsem jak clicktale (již bylo zmíněno výše), tak usertesting.com. ustertesting.com umožňuje snadné obecné testy použitelnosti a clicktale umožňuje zjistit, co dělají skuteční uživatelé.

Můžete provádět testy A/B i testy použitelnosti za méně než 500 USD, takže pokud je rozpočet a máte jasné cíle, pak to rozhodně stojí za to.

0
Joshak