Ma i soggetti “professionali” dei test online sono affidabili?

Con l’avvento dei servizi di usabilità online alcuni servizi offrono panel di utenti “professionali”, cioè che eseguono test online in maniera ripetuta (a proposito: noi reclutiamo i volontari qui). Normalmente invece in laboratorio si utilizzano utenti selezionati con cura: cosa che rende il processo costoso. Ma gli utenti “professionali” hanno performance differenti da quelli di laboratorio?

Jeff Sauro ha comparato i risultati di 12 soggetti testati in laboratorio con utenti di servizi online, che lui chiama perciò “professionali”. E ha trovato che i risultati sono statisticamente indistinguibili per quanto riguarda il tasso di completamento di un compito e il giudizio soggettivo. Differenze invece esistono per il tempo di completamento. Problemi di comparabilità del tempo esistono comunque in generale fra test in laboratorio e online, qualunque siano gli utenti. Per di più, se si usa il thinking-aloud, il tempo è impossibile da rilevare anche in laboratorio: dunque non ne farei una questione centrale.

In definitiva, gli utenti “professionali” dei servizi online sono utilizzabili con buona affidabilità. Lui dice che i risultati sono “promettenti”. In effetti trarre conclusioni definitive in questo settore ancora nuovo è difficile. Sarebbe per esempio giusto comparare tipi di task diversi, e tipi di siti diversi. Per di più, gli utenti che lui ha utilizzato in laboratorio sono selezionati con procedura tutt’altro che casuale. Ma niente è niente, qualcosa è qualcosa. Saper di potersi fidare dei tassi di completamento e delle valutazioni, ma non dei tempi, è senz’altro un buon punto di partenza per usare correttamente la metodologia ed evitare di prendere decisioni sballate.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato.