it-swarm-eu.dev

Ideální počet kandidátů pro uživatelské testování

Vytvářím návrh návrhu pro některé uživatelské testy zahrnující několik docela základních prototypů drátových modelů. Kolik účastníků by lidé doporučili pro tento typ cvičení?

Záměrem by bylo několikrát opakovat proces pohovoru s vývojem projektu.

17
Damian

V článku z roku 2000 Jakob Nielsen doporučil, aby pro kvalitativní testování uživatelů 5 uživatelů bylo optimální [~ # ~] Pokud [~ # ~] spustíte 3 testovací relace v průběhu životního cyklu projektu .

Předpokladem doporučení je, že 5 účastníků objeví 85% otázek použitelnosti. Během 3 kol testování byste měli všechny chytit s zvládnutelným počtem účastníků.

Navrhuje, že pokud chcete objevit 100% problémů (ano správně!), Budete muset vyzkoušet s 15 uživateli. Viděl jsem málo publikovaných jinde, abych to vyvrátil.

Přijímáme 5-8 účastníků, během dvou dnů testování. (Někteří lidé neukazují, nezáleží na tom, kolik zaplatíte.)

n.b. jak říká Steve Krug Nedělejte mě přemýšlet. Testování jednoho cílového uživatele je lepší než testování vůbec.

12
Matt Goddard

Od zjednodušujícího pravidla, kterým je 5 uživatelů, jsme ušli dlouhou cestu. Velmi dobrým argumentem v tom, proč 10 nestačí, jsou Woolrych a Cockton 2001. Poukazují na problém v Nielsenově vzorci (1 1-0,31) ^ 5) v tom, že nezohledňuje viditelnost problému. Ukazují, že použití pouze 5 uživatelů může výrazně podceňovat i významné problémy s použitelností.

Počet uživatelů, kteří potřebujete, závisí na tom, kolik problémů existuje, na kulturní variace vaší uživatelské základny a na míře chyb, se kterou jste spokojeni. Testování 5 uživatelů (nebo dokonce 10) nestačí na moderním dobře navrženém webu.

Předpokládejme například, že návrháři webových stránek používali dobré zásady designu, a problém tedy ovlivňuje pouze 2,5% uživatelů. Pak 10 uživatelů v testu zjistí, že problém je 22% času. Pokud váš web přiláká 1 milion návštěvníků ročně, bude mít problémy 25 000 lidí.

Snadný způsob, jak myslet na test použitelnosti, je jako hon na poklad. Pokud je poklad velmi zřejmý, budete potřebovat méně lidí, pokud méně zřejmé, budete potřebovat více lidí. Pokud zvětšíte oblast lovu, budete potřebovat více lidí.

Pro většinu zastánců testování pouze 5 až 10 uživatelů, jejich zkušenosti pocházejí z jedné země. Chování se v jednotlivých zemích výrazně mění, a to i v západní Evropě. Zobrazit můj blogový příspěvek --- (zde :

Možná se také budete chtít podívat na okraj chyby pro test, který děláte.

11
James Page

Myslím, že po 8 účastnících začnete vidět mnohem menší hodnotu. Pokud je problém čas/rozpočet, je lepší spustit 2 nebo 3 testy s 5-8 uživateli, než jediný test s mnoha uživateli.

Jak však Matt upozorňuje s laskavým svolením Steve Krug, lepší než žádný!

5
Ali

Otázka, kolik uživatelů je často kladeno. Odpověď je často pět uživatelů, ale stejně jako u konzultací a behaviorálního výzkumu to vše záleží. Záleží na čem? Cíle studie, výzkumné otázky, paradigma relace, charakteristické typy uživatelů a další.

Kniha Measuring the User Experience obsahuje důkladnou analýzu požadovaného počtu účastníků.

5
Ofer Deshe

Rozhodující věc, kterou je třeba zvážit, je přesně to, co se pokoušíte dostat z testování a navrhnout test a počet účastníků, aby získali co nejvhodnější (a nákladově efektivní) data zpět k informování rozhodnutí.

Ano, vím, je to jedna z odpovědí „záleží“, ale mezi věci, které ovlivňují počet účastníků, patří:

  • testovací materiál (např. jedna stránka/dialog, proces, celý web/systém), což může ovlivnit pravděpodobný čas, který účastník stráví v úkolu. (Udržujte to co nejkratší a realističtější. Je to možné, že čím delší jsou relace, tím méně jsou; také kvalita a složitost materiálu, jaká je pravděpodobnost signálu na šum?)
  • Úkoly, které jsou spíše realistické a zcela reprezentativní než dlouhý nereprezentativní mechanický seznam. Pokud provádíte kratší sezení, můžete se jich pravděpodobně v reálném čase hodit do více (a máte sklon získat více z mnoha kratších sezení než bičování malého počtu chudých účastníků k smrti)
  • cílové účastníky (a jak se jich můžete chytit) někteří lidé těžko najdou (a často dražší), někteří si mohou doslova táhnout z ulice. Máte tendenci chtít dostat své peníze z obtížných předběžně přijímaných účastníků, takže testy jsou často delší a je jich méně
  • kde jste v procesu a na jaké otázky potřebujete odpovědět (Toto je KRITICKÉ!), což vede k zásadním změnám v designu, např. rychlé opakovací cykly zlepšování, průzkumné pozorování/pozorování, měření a srovnávání, statisticky platné důkazy atd. atd. atd. atd.
  • Dostupný rozpočet a čas (kde „ideální“ odpovídá realitě - některé jsou lepší než žádné a „malé a často“ obecně lepší než masivní)

Existuje samozřejmě více kondorací ... ale v podstatě se podívejte na to, co potřebujete z testování a návrhu odpovídajícím způsobem a prakticky - sporné rovnice neberou v úvahu všechny faktory ...

Poté, co jsme řekli vše, k čemu směřujeme:

  • 5 nebo 6 (na cílovou účastnickou skupinu nebo osobu) pro formativní, průzkumné, iterativní testování - se sníženým počtem, kde se cílové skupiny překračují.
  • 12 - 15, kde jsme benchmarking
  • 30 - 50 (na skupinu a na podmínku) (ano tolik) - pro kvantitativní testování, jako jsou oční studie zaměřených procesů nebo vstupní stránky, testování A/B atd.
5
Jon Dodd

Snažím se naplánovat asi 12 účastníků, protože, jak řekl Matt, někteří se neobjeví. V průměru dostanu asi 8-10, abych prošel testem.

Jedním z důvodů, proč se mi líbí ještě několik lidí, je doporučených 5, protože v mnoha testech mám 2 různé prototypy. Budu mít polovinu účastníků, aby provedli úkoly proti verzi A, poté ukážu verzi B. Ve druhé polovině, budu mít účastníky, aby provedli stejné úkoly, než verze B, pak verze A. Dokážu dostat dost data na obou prototypech a zároveň vidět, který z nich má lepší výkon.

4
Craig Kistler

Minulý týden jsme měli nějaké uživatelské testy a přišli jsme dvacet. Na našem uživatelském testování je to, že mezi každou skupinou provádíme těžké vylepšení.

Takže máme 4 ráno, učíme se naše lekce, Tweak během oběda, a pak odpoledne ukážeme 4 novou verzi. Udělali jsme to po dobu 3 dnů, a bylo to úžasné.

4
mrr0ng

Nielsenovým pravidlem je 5 lidí pro kvalitativní uživatelský test, ale předpokládá se, že se výzkum provádí na jednom demografickém nebo osobním typu. Pokud cílíte na více typů osob, můžete mít mnohem větší velikost vzorku.

3
Rob Fay

Kolik účastníků ve studii opravdu záleží na účelu a cílech studie. Pokud chcete vyzkoušet vaše drátové snímky a zjistit, zda lidé dokážou zvládnout některé ze základních úkolů, které jsou od nich vyžadovány, může někdy stačit 5 účastníků (vždy však bylo preferováno mít minimálně 8).

Pokud je cílem studie provést srovnávací test, kde jste, řekněme, při porovnání drátových modelů s existující webovou stránkou, budete potřebovat více než 5 účastníků. Pro tento druh cvičení by byla vhodnější kvantitativní studie použitelnosti.

3
Toby Biddle

Normálně se snažím získat kolem 5-10 účastníků na test založený na skutečných úkolech. Ale to je dobré pouze k opravě problémů s použitelností ve vašem designu a nestačí, pokud například chcete porovnat dva různé kandidáty na design.

Ale moje obecné pravidlo je, že pokračuji v testech, dokud budu objevovat nové problémy. Někdy to trvá déle, než se původně očekávalo, někdy méně.

1
Zoltán Gócza

Ive právě dokončil kolo testování s 12 lidmi, udělali jsme pár vylepšení v průběhu týdne, takže jsme to nemohli udělat s méně.

Máme naplánované další kolo za pár týdnů, chci pro něj asi 20 uživatelů, protože to bude podrobnější a zahrnuje jejich schopnost porozumět obsahu, nejen používat rozhraní.

U velmi rozsáhlého komplexního webu se segmenty segmentu publika se obvykle můžete dostat 8–10 na segment.

Vždycky ale zjistím, že když jste asi 75% na cestě, zachytíte většinu věcí, které kolo testování odhalí.

To vše platí pro kvalitativní testování tváří v tvář. Pokud chcete kvantitativní výsledky, nebo pokud provádíte vzdálené testování, analýzu teplotní mapy, testy cíle a cesty, testy A/B atd., Pak není ideální číslo, musí to být velké :)

1
Nathan-W

Vždy jsem chodil s 6-8 lidmi. Ale nedávno jsme se změnili na max 4 osoby na test a tyto testy mají častěji, jako každé 3-4 týdny.

Problémy, se kterými jsme se setkali u 6-8 lidí, spočívaly v tom, že bylo zapotřebí hodně přípravy (a shromáždění a zpracování výsledků trvalo příliš dlouho), takže jsme všechny testy společně přeskakovali.

Dělat to s menším počtem lidí a mnohem častěji nám umožňuje rychlejší integraci výsledků do skutečného pracovního softwaru.

1
Lode