it-swarm-eu.dev

Was wird für die Anzahl der Benutzer empfohlen, die für qualitative und quantitative Tests verwendet werden sollen?

Ich baue derzeit unser gesamtes Intranet von Grund auf neu auf, hauptsächlich weil die Technologie dahinter veraltet ist und nachgewiesen wurde, dass viele Informationen schwer zu finden sind.

Obwohl dies nebensächlich ist, frage ich mich, was die optimale Anzahl von Benutzern für qualitative und quantitative Tests mit einer Nutzerbasis von etwa 1000 Benutzern wäre.

Gibt es eine allgemeine Faustregel für beide, basierend auf der Gesamtzahl Ihrer Benutzer? oder heißt es nur 5 für qualitativ und 10 für quantitativ?

Was wäre der beste Ansatz?

9
LiamGu

In Warum Sie nur mit 5 Benutzern testen müssen Jakob Nielsen schlägt vor:

Die besten Ergebnisse werden erzielt, wenn nicht mehr als 5 Benutzer getestet und so viele kleine Tests durchgeführt werden, wie Sie sich leisten können.

Anstatt sich auf die Anzahl der Benutzer zu konzentrieren, ist es möglicherweise besser, sich auf die Anzahl und Qualität der Aufgaben zu konzentrieren :

Usability-Testaufgaben sind so kritisch, dass einige Leute behaupten, sie seien noch wichtiger als die Anzahl der von Ihnen verwendeten Teilnehmer: Es scheint, dass wie viele Aufgaben die Teilnehmer versuchen, nicht die Anzahl der Testteilnehmer, der entscheidende Faktor für das Auffinden von Problemen ist in einem Usability-Test .

10
Antony Quinn

Ich habe keine Referenz dafür, aber ich würde denken, dass diese Zahlen von der Größe der Benutzerbasis abhängen würden.

Für qualitative Tests benötigen Sie "typische" Benutzer. Wenn Sie also 3 Rollen haben, die Ihre Benutzer übernehmen können, benötigen Sie mindestens 3 Benutzer - eine für jede Rolle. In Wirklichkeit möchten Sie mehr als eine, aber dies ist Ihr absolutes Minimum.

Für quantitative Tests benötigen Sie einen erheblichen Teil Ihrer Benutzerbasis. Ich weiß nicht, wie hoch diese Zahl sein würde, aber wenn Sie Ihre Benutzerbasis und 10% als Zahl nehmen, benötigen Sie 100 Benutzer. Dies kann jedoch unrealistisch sein - es gibt möglicherweise keine Möglichkeit, so viele Benutzer zu verwalten, oder wenn Sie eine kleine Benutzerbasis haben, würde dies eine sehr kleine Anzahl erzeugen.

2
ChrisF

Zu berücksichtigen ist auch, wohin das Ergebnis Ihres Usability-Berichts geht. Wie viel Arbeit können die Leute nach Ihnen reparieren - und wie werden sich diese Korrekturen auswirken?

Angenommen, ich führe einen Test mit fünfzehn Personen durch. Nach den ersten drei habe ich Probleme A B C entdeckt. Am Ende der fünfzehn habe ich auch Probleme D E F G entdeckt.

Das Problem ist, dass das Team hinter mir nur Zeit hat, A und B zu reparieren.

Schlimmer noch - sobald wir A und B behoben haben, hat sich das System geändert, und die nächst schwerwiegendsten Usability-Probleme sind möglicherweise nicht C-G.

Ich würde also die gesamte Zykluszeit Ihrer Produktentwickler betrachten - und nur so viele Usability-Tests durchführen, dass die Warteschlange voll ist. Mehr als das ist wahrscheinlich Verschwendung.

Ich habe die Erfahrung gemacht, dass mehr Usability-Tests mit weniger Teilnehmern (auch nur einem), die über den gesamten Entwicklungsprozess verteilt sind, weitaus effektiver sind als wenige große Tests.

2
adrianh

Bei quantitativen Tests ist es möglich, die Auswirkung der Stichprobengröße auf Ihre Ergebnisse genauer zu bestimmen. Die Anzahl der benötigten Benutzer hängt jedoch von den jeweiligen Tests oder Analysen ab, die Sie in Betracht ziehen (Beispiele könnten den Anteil der Teilnehmer bestimmen, die eine Aufgabe erfolgreich abgeschlossen haben) , Schätzung der durchschnittlichen Arbeitszeit, Vergleich zweier Versionen mit einem Fragebogen wie dem SUMI oder dem SUS…) Es ist daher schwierig, eine Faustregel anzugeben, die für alle Situationen nützlich wäre, aber es gibt Techniken, um die Stichprobengröße herauszufinden Sie brauchen in einer bestimmten Situation.

Wenn Sie all diese Probleme nicht durchgehen und Dinge wie Konfidenzintervalle und statistische Aussagekraft abschätzen möchten, müssen Sie sich noch an zwei wichtige Schlussfolgerungen erinnern.

Die erste ist, dass die Genauigkeit der Schätzung und damit die Anzahl der Benutzer, die Sie benötigen, um eine bestimmte Genauigkeit zu erreichen, nicht von der Größe von abhängt Ihre Benutzerbasis, zumindest solange diese Benutzerbasis viel größer ist als Ihr Testmuster. Die zweite ist, dass je größer Ihre Stichprobe ist, desto geringer ist die Verbesserung, die Sie von zusätzlichen Testbenutzern erwarten können. Von 10 auf 110 zu gehen ist also eine enorme Verbesserung, von 1000 auf 1100 nicht so sehr.

Aus diesem Grund haben Meinungsumfragen häufig Stichproben von etwa 1000 Teilnehmern, selbst wenn die interessierende Bevölkerung mehrere Millionen Menschen umfasst. Tatsächlich ist die Stichprobengröße für eine Umfrage vor den Wahlen in Ländern mit 5, 80 oder 200 Millionen Einwohnern in der Regel sehr ähnlich. Solange Ihre Stichprobe zufällig ist und die Bevölkerung viel größer ist, spielt es keine Rolle, ob Sie nur 1%, 0,1% oder 0,00001% der Gesamtzahl der Wähler fragen.

Beide Schlussfolgerungen gelten immer noch für andere Dinge als Prozentsätze: zum Beispiel Vergleiche zwischen Bewertungen auf einem Zufriedenheitsfragebogen oder Analysen der Zeit, die zur Erledigung einer Aufgabe benötigt wird. Wenn Sie weiter gehen möchten, ist Jeff Sauros Website http://www.measuringusability.com/ ein guter Ausgangspunkt

1
Gala