I test di usabilità, come qualsiasi test che coinvolga delle persone, deve fare i conti con l’alterazione dei risultati dovuta a fattori umani e all’effetto Hawthorne. In questo articolo spiego cos’è questo fenomeno e quali sono gli errori di cui tener conto per rendere affidabile un esperimento.

effetto Hawthorne secondo cui il solo atto di osservare fa mutare ciò che si osserva
per l’effetto Hawthorne le persone osservate possono modificare il proprio comportamento

L’effetto Hawthorne: Il solo atto di osservare fa mutare ciò che si osserva

C’era una volta nel lontano 1800 un cavallo chiamato Clever Hans che sapeva eseguire delle operazioni aritmetiche con molta precisione.

Un giorno si scoprì che Clever Hans era solo un animale in grado di rispondere al linguaggio del corpo del proprio istruttore.

il cavallo Clever Hans sapeva eseguire operazioni aritmetiche con molta precisione
il cavallo Clever Hans che sapeva contare

Quando le persone sanno di essere osservate possono modificare il loro comportamento.

Le persone che partecipano a test sperimentali tendono a rispondere in modo alterato perchè sanno di essere osservate o perchè tendono a interpretare e a conformarsi alle aspettative di chi le osserva.

Questo è l’effetto Hawthorne.

Esempio. Quando partecipano ad un test di usabilità di un sito, sebbene sia stato assegnato loro un compito diverso, le persone tendono a cercare problemi di usabilità.

Se le persone soggette a test vengono in qualche modo influenzate, i risultati sono meno attendibili.

per l'effetto hawthorne le persone soggette a test vengono in qualche modo influenzate e i risultati sono meno attendibili
le persone soggette a test sanno di essere osservate

I test di usabilità come qualsiasi altro esperimento scientifico, possono essere influenzati da fattori esterni, prevalentemente legati al comportamento umano, che possono rendere meno affidabili i risultati:

  1. Il linguaggio. E’ molto difficile per chi conduce gli esperimenti rendere la comunicazione verbale e quella non verbale del tutto piatta ed oggettiva.
  2. La scelta del compito. Il compito scelto per l’utente test può non coincidere con l’obiettivo di un utente tipico
  3. La rilevanza dell’obiettivo. L’obiettivo scelto per l’utente test non è detto sia rilevante per lui quanto potrebbe esserlo per un utente tipico.
  4. Imitazione del comportamento. Nel test si chiede a una persona di eseguire un compito ma questa persona tende a immaginare e ad agire come se fosse il vero utente che agisce nella struttura della pagina web.
  5. Emulazione dell’ambiente. Anche se l’ambiente dei test simula bene l’ambiente in cui agiscono gli utenti reali, si tratta comunque di un ambiente controllato e artificiale
  6. Desiderabilità sociale. I partecipanti tendono a dare dei feedback più positivi di quanto non siano in realtà per compiacere al proprio interlocutore.
  7. Interpretazione inconscia. I partecipanti interpretano lo scopo dell’esperimento ed il risultato desiderato modificando inconsciamente il proprio comportamento per adattarsi a tale interpretazione. In questo caso le risposte potranno essere più mirate a come funziona il sito web piuttosto che a indicare in che modo il sito soddisfa alle esigenze degli utenti.
  8. Inaffidabilità dello sperimentatore. Lo sperimentatore può comunicare inconsapevolmente le proprie aspettative ai partecipanti o può privilegiare le risposte conformi alle proprie ipotesi.

    Se ad esempio il committente del test è molto interessato ad introdurre una nuova funzionalità nel sito web, lo sperimentatore può essere portato a interpretare che il grado di usabilità sia migliore di quello reale anche se pochi intervistati hanno dato questo giudizio.

Come ci si può comportare con tutti questi pregiudizi?

E’ molto importante utilizzare un metodo scientifico per condurre gli esperimenti, a partire dalla formulazione delle domande da porre nei test.

Deve esserci un disegno sperimentale ben delineato in modo da individuare i potenziali difetti che possono influenzarne l’affidabilità.

l'esperimento deve avere un disegno sperimentale per individuare i potenziali difetti che possono influenzarne l’affidabilità
occorre un disegno sperimentale che tenga conto dei fattori umani

Qualsiasi sia l’esperimento, non deve essere un mezzo volto unicamente a confermare le nostre convinzioni.

Lo sperimentatore deve prendere nota, in modo accurato, delle aspettative del committente – un po’ come facciamo noi di Site Inside quando ci occupiamo di realizzazione di siti web con seo e di web marketing – e delle proprie supposizioni e deve essere a conoscenza di come qualsiasi decisione possa influenzare il test.

Approfondimenti storici

L’effetto Hawthorne è stato scoperto nel 1920 da Elton Mayo e Fritz Roethlisberger in seguito ad una serie di studi condotti nello stabilimento di Hawthorne dalla Western Electric Company di Chicago.

Le ricerche erano mirate a individuare in modo sistematico l’influenza dei fattori ambientali sulla produttività dei lavoratori.

hawthorne, foto storica dei lavoratori della fabbrica
i lavoratori di Hawthorne

Uno di questi test consisteva nel cambiare in modo diverso il livello di illuminazione a vari gruppi di lavoratori. A sorpresa tutti i partecipanti hanno incrementato la produttività anche se per alcuni gruppi l’illuminazione era stata volutamente peggiorativa.

L’interpretazione più popolare sull’Effetto Hawthorne è stata data da Mayo nel 1933 e ripresa da Rice 50 anni dopo:

Le persone scelte per effettuare dei test possono migliorare le loro prestazioni o il proprio comportamento semplicemente per l’attenzione ricevuta dai propri dirigenti (Rice, 1982, pag. 1).

Riferimenti

Alla Kholmatova (2014). Test User collaborativo: Meno Bias, Better Research. Estratto da A List Apart: http://alistapart.com/article/collaborative-user-testing-less-bias-better-research

Robert Hoekman JR (2009). Il mito di test di usabilità. Estratto da A List Apart: http://alistapart.com/article/the-myth-of-usability-testing

Rob Kerr (2012). Migliore progettazione sperimentale per una migliore test utente. Estratto da UX Booth: http://www.uxbooth.com/articles/better-experimental-design-for-better-user-testing/.

Jeff Sauro (2012). 9 distorsioni nel test di usabilità. Estratto da MeasuringU: http://www.measuringu.com/blog/ut-bias.php

Vicky Brown (2014). Il ruolo attivo dei partecipanti e facilitatori. Estratto da Nomensa: http://www.nomensa.com/blog/2014/active-role-participants-and-facilitators

Patrick Neeman (2013). Cinque cose che ho imparato da test di usabilità. Estratto da Usabilitycounts: http://www.usabilitycounts.com/2013/08/20/five-things-ive-learned-from-usability-testing/

Usability Studies and the Hawthorne Effect: JOURNAL OF USABILITY STUDIES