it-swarm-eu.dev

Kdy je automatické testování dálkové použitelnosti užitečné?

Zdá se, že v dnešní době existuje několik slušných služeb nabízejících automatické testování použitelnosti na dálku, takže předpokládám, že existuje jen málo lidí, kteří tyto služby používají, což znamená, že jsou užiteční - za správných okolností.

Ale ... za jakých okolností? Kdy automatizované vzdálené testy poskytují data, která užitečně informují o procesu návrhu?

Poznámka: Neptám se na moderované vzdálené testy, s živou interakcí s uživatelem - ty se zdají být dostatečně blízko, aby byly osobní testy nekontroverzně užitečné.

15

Nedávno jsem vedl komplexní projektový návrh uživatelských zkušeností, který vyžadoval novou strategii zkušeností a návrhové koncepce založené na důkazech. Náš výzkum musel pokrývat širokou škálu geografických lokalit, demografického pozadí a profilů chování. Museli jsme však pracovat s malým rozpočtem na výzkum a přísnou časovou osou. Proto bylo nerealistické posílat výzkumného pracovníka UX na různá místa, řídit logistiku a mít přístup k tolika účastníkům, kolik jsme požadovali. Rozhodl jsem se použít vzdálený automatizovaný výzkum. Potřeboval jsem však nástroj, který přesáhne behaviorální opatření a metriky použitelnosti založené na úkolech, protože jsme potřebovali pracovat s bohatými poznatky.

Po přezkoumání několika možností jsem se rozhodl použít Webnografa [1], protože tvrdili, že nám mohou pomoci s formativním i sumativním testováním. Mnoho dalších nástrojů je ve skutečnosti souhrnnější a poskytuje pouze hrubé statistiky (např. Míru dokončení a čas na úkol). Kombinováním testování Webnographer a Guerilla jsme ušetřili více než 50% na části projektu UCD, přesto jsme byli schopni vygenerovat bohaté uživatelské modely, které zachytily klíčové kognitivní styly specifické pro doménu, rozhodovací procesy, chování, postoje a asociace značky. Tyto modely byly následně použity v průběhu procesu navrhování k informování o naší strategii, koncepcích a podrobných návrzích.

Z mé zkušenosti s jedním testem pomocí Webnografa jsem mohl říci, že dodržuje své sliby dát formativní i sumativní výsledky. Potřeboval jsem však pomoc týmu ve společnosti Webnographer, abych pomohl jak při návrhu testu, tak při analýze výsledků. Tým je dobře informován a je-li vždy k dispozici, aby odpověděl na otázku, je to rozhodující při provádění vzdálené studie poprvé nebo dokonce podruhé.

Použil bych znovu webový grafik? Ano absolutně. Právě jsem je pověřil, aby před několika dny zahájili nový test.

9
Ofer Deshe

Hádám, že mluvíte o systémech jako Userfly, které zaznamenávají interakce uživatelů na webových stránkách?

Osobně nejsem přesvědčen, že poskytují velkou hodnotu.

Pokud máte nejasně slušnou analýzu, již víte, kam uživatelé na vašem webu směřují a zda jsou vaše cíle splněny. Aniž byste byli schopni komunikovat s uživatelem, existuje mnoho dalších informací, které můžete získat při sledování pohybu ukazatele myši?

Stejně jako sledování očí, i pohled na to, kde je ukazatel myši, může být klamný. Lidé vidí myš jako zaměření pozornosti uživatelů - když často zjistíte, že lidé ve skutečném testu „pohrávají“ s myší, zatímco je pozornost na něčem jiném, nebo pohybují myší pryč od jejich současného středu pozornosti, protože to rušilo . Hledání tohoto druhu věcí může být u tohoto druhu záznamu obtížné.

Je také těžší najít instanci uživatele, který vypadá, jako by se pokoušel udělat X, když se skutečně snaží udělat Y.

Klíčovou věcí je lidský pozorovatel. Tolik se toho naučíte tím, že se podíváte na tvář osoby, která úkol plní, a poté se ptáte (nebo během toho, zda je to takový test).

Aplikace typu Userfly jsou opravdu užitečné při získávání informací typu „co se děje“. A to je skvělé pro identifikaci určitých druhů problémů.

Jsou opravdu špatní v tom, aby dosáhli záměru tohoto chování.

Jako příklad. Jednou jsem se účastnil několika testů použitelnosti, kde jsme pozorovali toto chování na stránce, která umožňuje přihlášení lidí (nebo se zaregistrovat, pokud již účet nezískali).

  • Zkuste se přihlásit - a nezdaří
  • Zkuste se přihlásit - a nezdaří
  • ... opakujte několikrát ...
  • Použijte registrační formulář

Co se snažili udělat?

1) Pokouší se přihlásit pomocí svého uživatelského jména a hesla - a špatně. Nelze přijít na to, jak obnovit své uživatelské jméno/heslo. Vzdání se a registrace znovu.

2) Pokus o registraci k novému účtu - a nepochopení rozložení stránky a použití přihlašovacího pole, když měli používat registrační pole.

V tomto konkrétním případě to bylo druhé. To by bylo těžší zjistit, aniž by bylo možné položit účastníkům otázky, protože to bylo způsobeno mírně jemným problémem s rozvržením.

4
adrianh

Opravdu dobrá otázka a ta, kterou slyšíme hodně. Podle našich zkušeností existují dvě okolnosti pro automatické testování (během 10 let jsme provedli 238 vzdálených studií s 2 000 moderovanými účastníky a 3 000 automatickými účastníky):

  • Přesvědčující lidi. Pracujete pro organizování velkých zadků, kde je jednoduše snazší ověřit svůj moderovaný výzkum malého vzorku pomocí některých údajů velkého vzorku. Jak víte, co se děje, ale abyste přesvědčili všechny zúčastněné strany a vedoucí pracovníky, potřebujete některá data založená na úkolech, jako například „89% návštěvníků nevyplnilo registrační formulář.“ Většina automatizovaných nástrojů, jako je Loop11, UserZoom, Keynote atd. - poskytuje panel úloh v rámci, který uživatele nasměruje k dokončení úkolů. Tímto způsobem můžete zobrazit fantastické grafy pro 1 000 uživatelů založených na úkolech. To je velká výhoda oproti tradičním analýzám souborů protokolu, které nabízejí automatické nástroje pro vzdálený přístup.

  • Názory . Vzhledem k tomu, že průzkumy sají a opakují pouze chování při výzkumu malého vzorku, pokud chcete použít nástroj jako MindCanvas (RIP), který zaznamenává mapy kliknutí, nebo některé z nástrojů OptimalWorkshop, jako je Chalkmark, nebo dokonce vzdálené třídění karet, může to být skvělá zpráva vzdát se návrhů, protože opět vypadá jako „skutečná“ věda. A upřímně řečeno, pokud děláte nomenklaturu a IA, je hezké mít 500 lidí, kteří dokončují kartičky místo pouhých 12.

Snažíme se udržet tento jazz na remoteusability.com, ale jsme trochu pozadu na nástroje. Pokud vás zajímají další informace, provádíme také workshopy s názvem http://escapethelab.com , kde se zabýváme automatizovaným i moderovaným vzdáleným čarodějem.

4
Nate Bolt
4
Zoltán Gócza

V návaznosti na příspěvek od Nate musíte ocenit, že vzdálené testování je jen o kvantitativních datech.

Vyvinuli jsme řídicí panel použitelnosti pro klienta na základě nástroje pro vzdálené testování, který ukázal výkon v klíčových úkolech ve srovnání s konkurencí. Tato „zpráva“, vytištěná na jediném listu papíru, změnila názor více vyšších manažerů v organizaci, než tomu bylo v předchozích 12 měsících. Zde je příklad ovládacího panelu použitelnosti , který můžete vyrobit pomocí těchto nástrojů.

Myslím, že důvody, proč jsou na to tak polarizované, je to, že si lidé myslí, že si musí vybrat mezi velkým vzorkováním na dálku a malým vzorkem „myslet nahlas“. Ve skutečnosti byste měli provádět oba typy testů. Mysli na vzdálené testování jako na další nástroj ve své sadě nástrojů.

4
David Travis

Vím, že to přímo neodpovídá na otázku, ale neznám žádné automatizované služby testování použitelnosti a nikdy by se jich nedotkl; Nedokážu si představit, jak by to mohlo fungovat! Pokud to není prostě fantastické jméno pro nějakou webovou hostitelskou kulturní sondu?

3
Nathanael Boehm

userfly není vzdálená platforma pro testování použitelnosti. Nemůžete na něm provádět testy použitelnosti. Můžete sledovat pouze záznamy o chování uživatelů.

3
Harry

Automatické testování použitelnosti je v těchto situacích skvělé (a pravděpodobně mnoho dalších) skvělé:

  1. Chcete provést testování použitelnosti, ale nemáte rozpočet (ani čas) na zajištění moderovaného testování.
  2. Víte, že byste měli během intervalu vývoje vývoje provádět interaktivní testování, ale jednoduše si to nemůžete dovolit.
  3. Protože laboratorní testování je svou povahou kvalitativní a online je kvantitativní (tj. Dostanete spoustu pěkných procent), je automatické testování použitelnosti skvělé ve spojení s laboratorním testováním.
  4. Provozujete mezinárodní web a opravdu byste měli dělat testy s lidmi v jiných zemích, nejen s vašimi vlastními.

Chcete někoho přidat do tohoto seznamu? Jsem si jistý, že existuje spousta dalších situací, kdy je automatické testování použitelnosti lepší volbou než laboratorní testování.

3
Toby Biddle

Použil jsem Chalkmark (z Optimal Workshop) k porovnání různých verzí navrhovaného přepracování domovské stránky. Chtěl jsem zjistit, jestli 1 zobrazení odkazů fungovalo lépe než jiné. Chalkmark na to dobře pracoval, protože jsem měl velmi specifické úkoly (tj. „Kde kliknete a najdete ___?“)) A měl jsem velmi konkrétní cíl.

Potřeboval jsem data, abych přesvědčil účastníky projektu, že jejich nápad nebude fungovat (Nate to zmiňuje výše). S pouhými pár hodinami návrhu jsem nechal testovat 2 verze. Vytvoření prototypu a provedení testů použitelnosti by zabralo mnohem více času.

Test byl nastaven, nastavil jsem e-mailovou pozvánku (e-mailem 4500 účastníků) a poté jsem se vrátil k práci na jiném projektu.

V tomto případě bylo automatické testování neuvěřitelně užitečné a platné.

2
Craig Kistler

Za předpokladu, že „automatizovaný“ znamená „nemoderovaný“, jedním z možných použití by mohly být podélné testy. Předpokládejme, že máte novou lesklou podporu, kterou denně používá tým prodejců. Možná budete moci použít automatické testování k posouzení křivky učení. Např. o kolik kompetentnější se prodejní síla stane se zkušenostmi?

OTOH můžete zjistit, jak určité metriky (míra chyb, doba dokončení atd.) Fungují v průběhu řady vylepšení.

Při automatickém testování samozřejmě nebudete mít kvalitní kvalitativní data. Stejně jako webová analytika však může pomoci navrhnout oblasti, které vyžadují pozornost.

2
Todd Moy

Automatické testování použitelnosti nemá absolutně žádnou hodnotu a automatické, dálkové testování použitelnosti má ještě menší hodnotu (ano, vím, že technicky není možné). Nemůžete dostat nic z testu, aniž byste byli schopni pozorovat uživatele. Jediný druh dat, který můžete získat z tohoto druhu testu, je stejný druh dat, který můžete získat od analytiků, pouze méně přesný, protože máte mnohem menší sadu dat, se kterou můžete pracovat a lidé nejsou opravd pomocí aplikace, jako by tomu bylo v reálném světě.

1
Charles Boyung

Kromě případů, na které mohu myslet, jsou:

  1. Pokud nemáte přímý fyzický přístup ke svým uživatelům, ale máte představu o schopnosti uživatelů zvládnout požadavky na zkoušky a poskytnout vám potřebná data

  2. Můžete testovat, aniž byste museli nastavovat kontrolované prostředí a sledovat interakce lidí v jejich přirozeném prostředí. To vám poskytne velmi cenné informace o tom, jak vnější poruchy mohou ovlivnit výsledky vašich testů, které by se jinak mohly provádět v kontrolovaném prostředí osobním testováním

  3. Můžete otestovat velký počet uživatelů současně

  4. Když pracujete pro organizaci, kde je nemožné přimět všechny zúčastněné strany, aby se zúčastnily testu použitelnosti, abyste zjistili, co se děje, automatizovaný dálkový test použitelnosti vám umožní přinést data, která pak mohou být předána zúčastněným stranám. řídit svůj design nebo své rozhodnutí za cestou, kterou jdete

  5. Pokud chcete provést časovou analýzu interakce uživatelů s vaším webem a míry konverze - je tomu tak proto, že pokud tyto automatizované testy provádíte v pravidelných intervalech, můžete použít data z různých časových intervalů k vytvářet snímky, které pomáhají definovat rozdíly

0
Mervin Johnsingh