it-swarm-eu.dev

Quando è utile il test automatizzato di usabilità remota?

Oggigiorno sembrano esserci pochi servizi che offrono test automatici di usabilità remota, quindi suppongo che ci siano poche persone che usano quei servizi, il che implica che sono utili - nelle giuste circostanze.

Ma ... quali sono quelle circostanze? Quando i test automatici remoti generano dati che informano utilmente il processo di progettazione?

Nota: non sto chiedendo dei test remoti moderati, con interazione in tempo reale con l'utente - quelli sembrano abbastanza vicini ai test faccia a faccia da essere indiscutibilmente utili.

15

Di recente ho guidato un complesso progetto di esperienza utente che ha richiesto una nuova strategia di esperienza e concetti di progettazione basati sull'evidenza. Le nostre ricerche hanno riguardato un'ampia gamma di posizioni geografiche, contesti demografici e profili comportamentali. Tuttavia, abbiamo dovuto lavorare con un piccolo budget per la ricerca e una tempistica rigorosa. Pertanto, non è realistico inviare un ricercatore UX in diverse località, gestire la logistica e avere accesso a tutti i partecipanti richiesti. Ho deciso di utilizzare la ricerca automatizzata remota. Tuttavia, avevo bisogno di uno strumento che andasse oltre le misure comportamentali e le metriche di usabilità basate sull'attività, in quanto dovevamo lavorare con approfondimenti approfonditi.

Dopo aver esaminato alcune opzioni, ho deciso di utilizzare Webnographer [1] in quanto sostenevano che potevano aiutarci con test sia formativi che sommativi. Molti altri strumenti sono in effetti più sommativi e forniscono solo statistiche non elaborate (ad es. Percentuale di completamento e tempo di esecuzione). Combinando i test di Webnographer e Guerilla abbiamo risparmiato poco più del 50% sulla parte UCD del progetto, ma siamo stati in grado di generare modelli utente ricchi che hanno catturato stili cognitivi chiave specifici del dominio, processi decisionali, comportamenti, atteggiamenti e associazioni di marchi. Questi modelli sono stati successivamente utilizzati durante tutto il processo di progettazione per informare la nostra strategia, i concetti e i progetti dettagliati.

Dalla mia esperienza di un test con Webnographer potrei dire che mantiene le sue promesse di dare risultati sia formativi che sommativi. Tuttavia, avevo bisogno dell'aiuto del team di Webnographer per aiutare sia nella progettazione del test che nell'analisi dei risultati. Il team è ben informato e dove è sempre disponibile a rispondere a una domanda, questo è fondamentale nel fare uno studio remoto per la prima, o anche la seconda volta.

Userei di nuovo Webnographer? Si assolutamente. Li ho appena incaricati di iniziare un nuovo test qualche giorno fa.

9
Ofer Deshe

Immagino che stai parlando di sistemi come Userfly che registrano le interazioni degli utenti su un sito web?

Personalmente non sono convinto che forniscano molto valore.

Se hai un'analisi vagamente decente, sai già dove stanno andando gli utenti sul tuo sito web e se i tuoi obiettivi vengono raggiunti. Senza essere in grado di interagire con l'utente, ci sono così tante informazioni extra che puoi raccogliere guardando il puntatore del mouse muoversi?

Come il eye-tracking, anche solo guardare dove si trova il puntatore del mouse può essere ingannevole. Le persone vedono il mouse come l'attenzione dell'utente al centro dell'attenzione - quando spesso si trovano persone in veri test “si agitano” con il mouse mentre l'attenzione è rivolta a qualcos'altro o si sposta il mouse lontano dal centro dell'attenzione attuale perché distraeva . Individuare questo tipo di cose può essere difficile con questo tipo di registrazione.

È anche più difficile individuare un'istanza dell'utente che sembra che stia provando a fare X quando sta effettivamente provando a fare Y.

La cosa chiave è l'osservatore umano. Impari così tanto guardando il volto della persona che svolge l'attività, ponendo domande in seguito (o durante se è quel tipo di prova).

Le applicazioni di tipo Userfly sono davvero molto utili per ottenere informazioni di tipo "cosa sta succedendo". Ed è ottimo per identificare alcuni tipi di problemi.

Sono davvero pessimi nell'intento dietro quel comportamento.

Per fare un esempio. Una volta sono stato coinvolto in alcuni test di usabilità in cui abbiamo osservato questo comportamento sulla pagina che consente l'accesso popolare (o registrati se non avevano già un account.)

  • Prova ad accedere e fallisci
  • Prova ad accedere e fallisci
  • ... ripeti più volte ...
  • Usa il modulo di registrazione

Cosa stavano cercando di fare?

1) Cercare di accedere con il loro nome utente e password - e sbagliare. Impossibile capire come recuperare il loro nome utente/password. Rinunciare e registrarsi di nuovo.

2) Cercare di registrarsi per un nuovo account - e fraintendere il layout della pagina e usare la casella di accesso quando avrebbero dovuto usare la casella di registrazione.

In questo caso particolare è stato il secondo. Sarebbe stato più difficile da capire senza essere in grado di porre domande ai partecipanti perché era dovuto a un problema di layout moderatamente sottile.

4
adrianh

Davvero una bella domanda, e ne sentiamo molto. Esistono due circostanze per i test automatici nella nostra esperienza (abbiamo condotto 238 studi remoti in 10 anni con 2.000 partecipanti moderati e 3.000 partecipanti automatizzati):

  • Convincere le persone. Lavori per un'orginizzazione di grandi dimensioni in cui è semplicemente più semplice convalidare la tua ricerca moderata su piccoli campioni con alcuni dati di grandi campioni. Come se sapessi cosa c'è che non va, ma per convincere tutte le parti interessate e i dirigenti, hai bisogno di alcuni dati basati su attività come "L'89% dei visitatori non è riuscito a completare il modulo di registrazione". La maggior parte degli strumenti automatici come Loop11, UserZoom, Keynote, ecc. Fornisce una barra delle attività in un frame che indirizza gli utenti al completamento delle attività. In questo modo puoi mostrare grafici fantasiosi per 1.000 utenti basati su attività. Questo è il grande vantaggio rispetto all'analisi dei file di registro tradizionale offerta dagli strumenti remoti automatizzati.

  • Opinioni . Poiché i sondaggi fanno schifo e il comportamento si ripete solo su piccole ricerche di esempio, se si desidera utilizzare uno strumento come MindCanvas (RIP) che registra mappe di clic o alcuni degli strumenti OptimalWorkshop come Chalkmark o anche l'ordinamento remoto delle carte, può essere un ottimo rapporto dare insieme ai disegni perché, ancora una volta, sembra una scienza "reale". E onestamente, se stai facendo nomenclatura e IA, è bello avere 500 persone che completano un tipo di carta anziché solo 12.

Cerchiamo di mantenere tutto questo jazz su remoteusability.com ma siamo un po 'indietro rispetto agli strumenti. Se sei interessato a maggiori informazioni, facciamo anche questi seminari chiamati http://escapethelab.com in cui trattiamo sia la procedura guidata remota automatizzata che moderata.

4
Nate Bolt
4
Zoltán Gócza

In seguito al post di Nate, è necessario apprezzare che i test remoti riguardano esclusivamente dati quantitativi.

Abbiamo sviluppato un dashboard di usabilità per un cliente basato su uno strumento di test remoto che mostrava prestazioni su attività chiave rispetto alla concorrenza. Stampato su un singolo foglio di carta, quel "rapporto" ha cambiato le idee di più alti dirigenti dell'organizzazione rispetto ai 12 mesi precedenti di piccoli test campione. Ecco n esempio di dashboard di usabilità che puoi produrre usando questi strumenti.

Penso che la ragione per cui le opinioni al riguardo siano così polarizzate sia che le persone pensano di dover scegliere tra test remoti di campioni di grandi dimensioni e test "pensare ad alta voce" di piccoli campioni. In effetti, dovresti eseguire entrambi i tipi di test. Pensa ai test remoti come a un altro strumento nella tua casella degli strumenti.

4
David Travis

So che questo non risponde direttamente alla domanda, ma non conosco alcun servizio di test di usabilità automatizzato e non li toccherei mai; Non riesco a immaginare come possa funzionare! A meno che non sia semplicemente un nome di fantasia per qualche indagine culturale ospitata sul web?

3
Nathanael Boehm

userfly non è una piattaforma di test di usabilità remota. Non è possibile eseguire test di usabilità su di esso. È possibile osservare solo le registrazioni dello schermo del comportamento dell'utente.

3
Harry

Il test di usabilità automatizzato è ottimo in queste situazioni (e probabilmente molte altre):

  1. Volete fare alcuni test di usabilità ma non avete il budget (o il tempo) per organizzare test moderati.
  2. Sai che dovresti fare test interattivi durante tutto il ciclo di vita dello sviluppo, ma semplicemente non puoi permetterlo.
  3. Poiché i test di laboratorio sono di natura qualitativa e online è quantitativo (ovvero si ottengono molte percentuali di Nizza), i test di usabilità automatizzati sono ottimi da utilizzare insieme ai test di laboratorio.
  4. Gestisci un sito web internazionale e dovresti davvero fare test anche con persone di altri paesi, non solo con il tuo.

Qualcuno vuole aggiungere a questo elenco? Sono sicuro che ci sono molte altre situazioni in cui i test di usabilità automatizzati sono una scelta migliore rispetto ai test di laboratorio.

3
Toby Biddle

Ho usato Chalkmark (da Optimal Workshop) per confrontare diverse versioni di una riprogettazione della homepage proposta. Volevo scoprire se 1 display di link funzionava meglio di un altro. Chalkmark ha funzionato bene per questo dato che avevo compiti molto specifici (ovvero "dove fai clic per trovare un ___?") E avevo un obiettivo molto specifico.

Avevo bisogno di dati per convincere gli stakeholder del progetto che la loro idea non avrebbe funzionato (Nate lo menziona sopra). Con solo un paio d'ore di tempo di progettazione ho avuto due versioni testate. Per creare un prototipo ed eseguire effettivamente un test di usabilità ci sarebbe voluto molto più tempo.

Il test è stato impostato, ho impostato l'invito via e-mail (e-mail 4.500 partecipanti) e poi sono tornato a lavorare su un altro progetto.

In questo caso i test automatizzati sono stati incredibilmente utili e validi.

2
Craig Kistler

Supponendo che "automatizzato" significhi "non moderato", un possibile uso potrebbe essere la prova longitudinale. Facciamo finta di avere una nuova brillante applicazione di supporto utilizzata da un team di venditori ogni giorno. Potresti essere in grado di utilizzare test automatici per valutare la curva di apprendimento. Per esempio. quanto più competente diventa la forza vendita con l'esperienza?

OTOH, potresti essere in grado di vedere come determinate metriche (tasso di errore, tempo di completamento, ecc.) Si comportano su una serie di miglioramenti.

Ovviamente, non otterrai buoni dati qualitativi con i test automatizzati. Come l'analisi del Web, tuttavia, può aiutare a suggerire aree che richiedono attenzione.

2
Todd Moy

I test automatizzati di usabilità non hanno assolutamente alcun valore e i test automatizzati di usabilità remota hanno ancora meno valore (sì, so che tecnicamente non è possibile). Non è possibile ottenere nulla dal test senza essere in grado di osservare l'utente. L'unico tipo di dati che puoi ottenere da questo tipo di test è lo stesso tipo di dati che puoi ottenere dall'analitica, solo meno accurato perché hai un set di dati molto più piccolo con cui lavorare e le persone non sono davvero usando l'applicazione come farebbero nel mondo reale.

1
Charles Boyung

I casi a cui riesco a pensare sono:

  1. Quando non hai accesso fisico diretto ai tuoi utenti ma hai un'idea della capacità degli utenti di gestire i requisiti del test per fornirti i dati necessari

  2. Puoi testare senza la necessità di creare un ambiente controllato e osservare le interazioni delle persone nel loro ambiente naturale. Ciò fornirà informazioni molto preziose su come i disturbi esterni possono influenzare i risultati dei test che potrebbero altrimenti essere condotti in un test di persona in un ambiente controllato

  3. Puoi testare un gran numero di utenti contemporaneamente

  4. Quando lavori per un'organizzazione in cui è impossibile convincere tutte le parti interessate a partecipare a un test di usabilità per vedere cosa non va, un test remoto di usabilità automatizzato ti consentirà di fornire dati che possono poi essere passati agli stakeholder per guidare il tuo progetto o la tua decisione dietro il percorso che stai prendendo

  5. Quando si desidera eseguire un'analisi basata sul tempo dell'interazione degli utenti con il proprio sito e in cui soffrono i tassi di conversione - Questo perché, se si eseguono questi test automatici a intervalli regolari, è possibile utilizzare i dati da diversi intervalli di tempo per creare istantanee che aiutano a definire le differenze

0
Mervin Johnsingh