it-swarm-eu.dev

Co je doporučeno pro počet uživatelů k použití při kvalitativním a kvantitativním testování?

V současné době buduji celý náš intranet od nuly, hlavně proto, že technologické zázemí je zastaralé a bylo prokázáno, že je obtížné najít spoustu informací.

Ačkoli to je mimo to, co mě zajímá, jaké by bylo optimální množství uživatelů pro kvalitativní a kvantitativní testování s uživatelskou základnou asi 1000 uživatelů?

Existuje obecná pravidla pro obě na základě celkového počtu uživatelů? nebo je to jen 5 pro kvalitativní a 10 pro kvantitativní?

Jaký by byl nejlepší přístup?

9
LiamGu

V Proč potřebujete testovat pouze s 5 uživateli Jakob Nielsen navrhuje:

Nejlepší výsledky vycházejí z testování ne více než 5 uživatelů a spuštění tolika malých testů, kolik si můžete dovolit.

Namísto zaměření na počet uživatelů však může být lepší zaměřit se na počet a kvalitu úkolů :

Testovací úlohy použitelnosti jsou tak kritické, že někteří lidé tvrdí, že jsou ještě důležitější než počet účastníků, které používáte: zdá se, že kolik úkolů účastníci zkusí, nikoli počet účastníků testu, je kritickým faktorem pro nalezení problémů) v testu použitelnosti .

10
Antony Quinn

Nemám na to odkaz, ale domnívám se, že tato čísla budou záviset na velikosti uživatelské základny.

Pro kvalitativní testování musíte mít „typické“ uživatele. Takže pokud máte 3 role, které mohou uživatelé vzít, potřebujete alespoň 3 uživatele - jeden pro každou roli. Ve skutečnosti byste chtěli více než jednu, ale toto je vaše absolutní minimum.

Pro kvantitativní testování potřebujete značnou část vaší uživatelské základny. Nevím, jaké by to číslo bylo, ale pokud vezmete svou uživatelskou základnu a 10% jako číslo, budete potřebovat 100 uživatelů. Může to však být nereálné - není možné, jak spravovat tolik uživatelů, nebo pokud máte malou uživatelskou základnu, bude to produkovat velmi malé číslo.

2
ChrisF

Něco jiného je třeba zvážit, pokud jde o výsledek vaší zprávy o použitelnosti. Kolik práce mohou lidé od vás napravit - a jaký bude účinek těchto oprav?

Řekněme, že jsem provedl test s patnácti lidmi. Po prvních třech jsem si všiml problémů A B C. Do konce patnácti jsem také spatřil problémy D E F G.

Problém je v tom, že tým po mně má pouze čas na opravu A a B.

Ještě horší - jakmile jsme opravili A a B, systém se změnil a další nejzávažnější problémy s použitelností nemusí být C-G.

Takže bych se podíval na celou dobu cyklu vašeho vývoje produktu folk - a udělat jen tolik testování použitelnosti, aby vyplnil fronty práce. Více než to bude pravděpodobně odpad.

Byla to moje zkušenost, že dělat více testů použitelnosti s menším počtem účastníků (i jen jedním) rozšířeným v průběhu procesu vývoje je mnohem efektivnější než několik velkých testů.

2
adrianh

Pro kvantitativní testování je možné být jasnější, pokud jde o vliv velikosti vzorku na vaše výsledky, ale počet uživatelů, které potřebujete, závisí na konkrétních testech nebo analýzách, které zvažujete (příklady mohou určovat podíl účastníků, kteří úspěšně dokončují úkol) , odhad průměrného času na úkol, porovnání dvou verzí s dotazníkem, jako je SUMI nebo SUS…) Je proto obtížné stanovit pravidlo, které by bylo užitečné pro všechny situace, ale existují techniky, jak zjistit velikost vzorku. potřebujete v dané situaci.

Nyní, pokud nechcete překonat všechny tyto problémy a skutečně odhadnout věci, jako jsou intervaly spolehlivosti a statistická síla, je třeba si pamatovat ještě dva důležité závěry.

Prvním je, že přesnost odhadu a tedy počet uživatelů, které potřebujete k dosažení dané úrovně přesnosti, není závislá na velikosti vaší uživatelské základny, alespoň pokud je tato uživatelská základna mnohem větší než váš zkušební vzorek. Druhým je, že čím větší je velikost vašeho vzorku, tím menší bude vylepšení, které můžete očekávat od dalších testovacích uživatelů. Takže přechod z 10 na 110 je obrovské zlepšení, z 1000 na 1100 ne tolik.

To je důvod, proč průzkumy veřejného mínění mají často vzorky asi 1 000 účastníků, a to i v případě, že sledovaná populace zahrnuje několik milionů lidí. Ve skutečnosti bude velikost vzorku pro předvolební průzkum obvykle velmi podobná v zemích s 5, 80 nebo 200 miliony obyvatel. Pokud je váš vzorek náhodný a populace je mnohem větší, nezáleží na tom, zda se ptáte pouze 1%, 0,1% nebo 0,00001% z celkového počtu voličů.

Oba tyto závěry stále platí pro jiné věci než procento: například srovnání mezi ratingy v dotazníku o spokojenosti nebo analýzy času potřebného k dokončení úkolu. Pokud chcete jít dále, dobrým výchozím bodem je web Jeffa Saura http://www.measuringusability.com/

1
Gala