Numero ideale di candidati per test utente

In un articolo scritto nel 2000 Jakob Nielsen ha raccomandato che per test qualitativi su 5 utenti è l'ottimale [~ # ~] se [~ # ~] esegui 3 sessioni di test durante il ciclo di vita del progetto .

La premessa alla base della raccomandazione è che 5 partecipanti scopriranno l'85% dei problemi di usabilità. Oltre 3 round di test, dovresti prenderli tutti con un numero gestibile di partecipanti.

Suggerisce che se vuoi scoprire il 100% dei problemi (sì, giusto!), Dovrai testare con 15 utenti. Ho visto poco pubblicato altrove per confutare questo.

Assumiamo 5-8 partecipanti, oltre due giorni di test. (Alcune persone non mostrano non importa quanto paghi.)

n.B. come dice Steve Krug in Non farmi pensare. Testare un utente target è meglio che testare nessuno.

Abbiamo fatto molta strada dalla semplice regola empirica secondo cui 5 utenti sono sufficienti. Un ottimo argomento nel perché 10 non è abbastanza è Woolrych e Cockton 2001. Sottolineano un problema nella formula di Nielsen (1 1-0.31) ^ 5) in quanto non tiene conto della visibilità di un problema. Mostrano che l'utilizzo di soli 5 utenti può sottovalutare significativamente anche problemi significativi di usabilità.

Il numero di utenti di cui hai bisogno dipende da quanti problemi ci sono, dalla varianza culturale della tua base di utenti e dal margine di errore di cui sei soddisfatto. Testare 5 utenti (o anche 10) non è sufficiente su un moderno sito web ben progettato.

Ad esempio, supponiamo che i progettisti di un sito Web stiano usando buoni principi di progettazione e quindi un problema riguarda solo il 2,5% degli utenti. Quindi 10 utenti in un test scopriranno quel problema solo il 22% delle volte. Se il tuo sito attira un milione di visitatori all'anno, 25.000 persone avranno problemi.

Il modo semplice di pensare a un test di usabilità è come una caccia al tesoro. Se il tesoro è molto ovvio, allora avrai bisogno di meno persone, se meno ovvio, avrai bisogno di più persone. Se aumenti l'area della caccia, avrai bisogno di più persone.

Per la maggior parte dei sostenitori di testare solo da 5 a 10 utenti, la loro esperienza proviene da un paese. Il comportamento cambia significativamente Paese per Paese, anche in Europa occidentale. Vedi il mio post sul blog --- (qui :

Potresti anche voler esaminare il margine di errore per il test che stai facendo.

Penso che dopo 8 partecipanti inizi a vedere molto meno valore. Se il tempo/il budget è un problema, meglio eseguire 2 o 3 test con 5-8 utenti, piuttosto che un singolo test con molti utenti.

Tuttavia, come sottolinea Matt per gentile concessione di Steve Krug, meglio di niente!

La domanda su quanti utenti viene spesso chiesto. Cinque utenti sono spesso la risposta, ma come per qualsiasi cosa nella consulenza e nella ricerca comportamentale, tutto dipende. Dipende da cosa? Gli obiettivi dello studio, le domande di ricerca, il paradigma della sessione, i tipi di utenti distintivi e altro ancora.

Il libro Measuring the User Experience ha un'analisi approfondita del numero richiesto di partecipanti.

La cosa fondamentale da considerare è esattamente ciò che si sta tentando di uscire dal test e di progettare il test e il numero di partecipanti per ottenere i dati più appropriati (e convenienti) per informare le decisioni.

Sì, lo so, è una di quelle risposte "dipende", ma le cose che influenzano il numero di partecipanti con cui testare includono:

• il materiale di prova (ad es. singola pagina/dialogo, processo, intero sito/sistema) che a sua volta possono influire sul tempo probabile che un partecipante trascorrerà nell'attività. (Mantenerlo il più breve e realistico possibile. Spesso le sessioni più lunghe sono minori sono le loro; anche la qualità e la complessità del materiale quanta probabilità ha il segnale-rumore?)
• I compiti che sono idealmente realistici e totalmente rappresentativi piuttosto che un lungo elenco meccanico non rappresentativo. Se stai eseguendo sessioni più brevi, probabilmente puoi inserirne più di una in un momento realistico (e tendi a ottenere di più da molte sessioni più brevi rispetto alla frustata di un piccolo numero di poveri partecipanti)
• i partecipanti target (e come ottenerli) alcune persone sono più difficili da trovare (e spesso più costose) altre che puoi letteralmente trascinare fuori dalla strada. Tendi a voler ottenere il valore dei tuoi soldi dai difficili partecipanti pre-assunti, quindi i test sono spesso più lunghi e ce ne sono meno
• dove ti trovi nel processo e quali domande devi rispondere (Questo è CRITICO!) che porta a cambiamenti fondamentali nel design, ad es. rapidi cicli di miglioramento iterativo, approfondimento esplorativo/osservazione, misurazione e benchmarking, prove statisticamente valide, ecc. ecc. ecc.
• Il budget e il tempo disponibili (dove "l'ideale" incontra la realtà - alcuni sono meglio di nessuno e "piccoli e spesso" generalmente migliori dei grandi)

Ovviamente ci sono più considerazioni ... ma essenzialmente guarda a ciò che ti serve dai test e dal design di conseguenza e praticamente - le equazioni contestate non tengono conto di tutti i fattori ...

Detto ciò a cui tendiamo:

• 5 o 6 (per gruppo o persona partecipante target) per test formativi, esplorativi, iterativi - con numeri ridotti nel punto in cui i gruppi target si incrociano.
• 12-15 dove stiamo confrontando
• 30-50 (per gruppo e per condizione) (sì, molti) - per test quantitativi come studi eyetracking di processi focalizzati, o landing page, test A/B ecc.

Cerco di ottenere circa 12 partecipanti in programma poiché, come ha detto Matt, alcuni non si presentano. In media ottengo circa 8-10 per superare il test.

Un motivo per cui mi piace avere un po 'più di persone rispetto alle 5 consigliate è perché in molti test ho 2 prototipi diversi. Prima metà dei partecipanti eseguiranno le attività con la versione A, poi mostrerò la versione B. La seconda metà, avrò i partecipanti eseguiranno le stesse attività prima con la versione B, quindi con la versione A. Sono in grado di ottenere abbastanza dati su entrambi i prototipi mentre si vede quale si comporta meglio.

La settimana scorsa abbiamo effettuato alcuni test sugli utenti e ne abbiamo registrati 20. La cosa più importante dei test sugli utenti è che facciamo importanti modifiche tra i gruppi.

Quindi abbiamo le 4 di mattina, impariamo le nostre lezioni, ottimizziamo a pranzo, quindi mostriamo alle 4 di pomeriggio la nuova versione. Lo abbiamo fatto per 3 giorni ed è stato fantastico.

La regola empirica di Nielsen è di 5 persone per un test qualitativo dell'utente, ma ciò presuppone che la ricerca sia condotta su un tipo demografico o di persona. Se stai prendendo di mira più tipi di persona, potresti avere una dimensione del campione molto più grande.

Quanti partecipanti hai in uno studio dipendono davvero dallo scopo e dagli obiettivi dello studio. Se vuoi testare i tuoi wireframe per vedere se le persone possono gestire alcune delle attività di base richieste, a volte 5 partecipanti possono essere sufficienti (tuttavia la nostra preferenza è sempre stata di avere almeno 8).

Se lo scopo dello studio è quello di fare un esercizio di benchmarking in cui ti trovi, ad esempio, confrontando i wireframe con il sito Web esistente, avrai bisogno di più di 5 partecipanti. Per questo tipo di esercizio sarebbe più appropriato uno studio quantitativo sull'usabilità.

Di solito cerco di ottenere circa 5-10 partecipanti per un test basato sulle attività effettive. Ma è utile solo per correggere i problemi di usabilità nel progetto e non è sufficiente se si desidera confrontare, ad esempio, due diversi candidati.

Ma la mia regola empirica è che continuo i test finché continuo a scoprire nuovi problemi. A volte ci vogliono più sessioni di quanto precedentemente previsto, a volte meno.

Ho appena completato una serie di test con 12 persone, abbiamo apportato alcune modifiche nel corso della settimana, quindi non avrei potuto farlo con meno.

Abbiamo in programma un altro giro tra qualche settimana, voglio circa 20 utenti per quello in quanto sarà più dettagliato e include la loro capacità di comprendere il contenuto non solo di utilizzare l'interfaccia.

Per un sito molto grande e complesso con gruppi di segmenti di pubblico, di solito puoi cavartela con 8-10 per segmento.

Trovo sempre che quando avrai raggiunto il 75% circa delle sessioni, avrai catturato la maggior parte delle cose che verranno scoperte durante i test.

Tutto ciò si applica ai test qualitativi faccia a faccia. Se vuoi risultati quantitativi o se stai eseguendo test remoti, analisi di mappe di calore, test di obiettivi e percorsi, test A/B ecc., Allora non esiste un numero ideale, deve solo essere grande :)

Sono sempre andato con 6-8 persone. Ma recentemente siamo passati a max 4 persone per test e hanno questi test più spesso, come ogni 3-4 settimane.

I problemi che abbiamo dovuto affrontare con 6-8 persone erano la necessità di molta preparazione (e ci è voluto troppo tempo per raccogliere ed elaborare i risultati), quindi abbiamo iniziato a saltare i test tutti insieme.

Farlo con meno persone e molto più spesso ci consente di integrare più rapidamente i risultati nel software funzionante.