it-swarm-eu.dev

Che cosa è raccomandato per il numero di utenti da utilizzare nei test qualitativi e quantitativi?

Attualmente sto ricostruendo la nostra intera intranet da zero, soprattutto perché la tecnologia che sta dietro è obsoleta ed è stato dimostrato che molte informazioni sono difficili da trovare.

Anche se non è questo il punto, quello che mi chiedo è quale sarebbe la quantità ottimale di utenti da utilizzare per test qualitativi e quantitativi con una base di utenti di circa 1000 utenti?

Esiste una regola empirica generale per entrambi in base al numero totale di utenti che hai? o è solo dire 5 per qualitativo e 10 per quantitativo?

Quale sarebbe l'approccio migliore?

9
LiamGu

In Perché devi solo provare con 5 utenti Jakob Nielsen suggerisce:

I risultati migliori derivano dal test di non più di 5 utenti e dall'esecuzione di tutti i test più piccoli che è possibile permettersi.

Tuttavia, anziché concentrarsi sul numero di utenti, potrebbe essere meglio concentrarsi sul numero e sulla qualità delle attività :

Le attività di test di usabilità sono così critiche che alcune persone sostengono che sono ancora più importanti del numero di partecipanti che usi: sembra che quante attività i partecipanti provano, non il numero di partecipanti al test, è il fattore critico per trovare problemi in un test di usabilità .

10
Antony Quinn

Non ho un riferimento per questo, ma penso che questi numeri dipenderebbero dalle dimensioni della base di utenti.

Per i test qualitativi è necessario disporre di utenti "tipici". Quindi, se hai 3 ruoli che i tuoi utenti possono assumere, ti servono almeno 3 utenti, uno per ciascun ruolo. In realtà ne vorresti più di uno, ma questo è il tuo minimo assoluto.

Per i test quantitativi è necessaria una parte significativa della base utenti. Non so quale sarebbe quel numero, ma se prendi la tua base di utenti e il 10% come cifra avrai bisogno di 100 utenti. Tuttavia, questo potrebbe non essere realistico: non ci sarebbe modo di gestire così tanti utenti, o se hai una piccola base di utenti produrrebbe un numero molto piccolo.

2
ChrisF

Qualcos'altro da considerare è dove sta andando il risultato del rapporto sull'usabilità. Quanto lavoro possono riparare le persone a valle di te - e quale sarà l'effetto di quelle correzioni?

Supponiamo di eseguire un test con quindici persone. Dopo i primi tre ho individuato problemi A B C. Alla fine dei quindici ho anche individuato problemi D E F G.

Il problema è che il team a valle da me ha solo il tempo di riparare A e B.

Ancora peggio: una volta risolti i problemi con A e B, il sistema è cambiato e i successivi problemi di usabilità più gravi potrebbero non essere C-G.

Quindi darei un'occhiata all'intero ciclo di lavoro della tua gente di sviluppo prodotto e farei solo i test di usabilità sufficienti per riempire la fila di lavoro. Nient'altro che probabilmente sarà uno spreco.

È stata la mia esperienza che fare più test di usabilità con un minor numero di partecipanti (anche solo uno) diffusi nel processo di sviluppo è molto più efficace di pochi test di grandi dimensioni.

2
adrianh

Per i test quantitativi, è possibile essere più espliciti sull'effetto della dimensione del campione sui risultati, ma il numero di utenti necessari dipende dai particolari test o analisi che si stanno prendendo in considerazione (gli esempi potrebbero determinare la percentuale di partecipanti che completano con successo un'attività , stimando il tempo medio di attività, confrontando due versioni con un questionario come il SUMI o il SUS ...) È quindi difficile fornire una regola empirica che sarebbe utile per tutte le situazioni ma ci sono tecniche per scoprire la dimensione del campione hai bisogno in una determinata situazione.

Ora, se non si desidera superare tutti questi problemi e in realtà stimare cose come intervalli di confidenza e potere statistico, ci sono ancora due conclusioni importanti da ricordare.

Il primo è che la precisione della stima e quindi il numero di utenti necessari per raggiungere un determinato livello di precisione non dipendono dalla dimensione di la tua base di utenti, almeno fintanto che questa base di utenti è molto più grande del tuo campione di prova. Il secondo è che maggiore è la dimensione del campione, minore sarà il miglioramento che ci si può aspettare da ulteriori utenti del test. Pertanto, passare da 10 a 110 è un enorme miglioramento, che va da 1000 a 1100 non così tanto.

Ecco perché i sondaggi di opinione hanno spesso campioni di circa 1000 partecipanti, anche quando la popolazione di interesse comprende diversi milioni di persone. In effetti, la dimensione del campione per un sondaggio pre-elettorale sarà in genere molto simile nei paesi con 5, 80 o 200 milioni di abitanti. Fintanto che il campione è casuale e la popolazione è molto più ampia, non importa se stai chiedendo solo l'1%, lo 0,1% o lo 0,00001% del numero totale di elettori.

Entrambe queste conclusioni sono ancora vere per altre cose oltre alle percentuali: ad esempio confronti tra valutazioni su un questionario di soddisfazione o analisi del tempo impiegato per completare un'attività. Se vuoi andare oltre, un buon punto di partenza è il sito Web di Jeff Sauro http://www.measuringusability.com/

1
Gala