Qualitatives & quantitatives User Testing

Im Herbst 2022 begann die Konzeption und Neugestaltung der Website eines Museumskunden. Um den Business Value unserer Arbeit sichtbar machen zu können und keine Designentscheidung dem Zufall zu überlassen, legten wir bereits zu Anfang des Projektes Key Performance Indicators sowie eine Usability Testing Strategie fest. Ziel war es, den Impact des Webrelaunches akkurat messen zu können und konkrete UX Metriken für diesen zu bestimmen.

In diesem Blogbeitrag zeigen wir, wie wir unseren Customer Success sichtbar machen und wie wir eine adäquate Usability Testing Strategie für unsere Projekte entwickeln.

Schritt 1: Status Quo messen und den UX Business Value sichtbar machen

Wesentlich, gleichzeitig dennoch oft übersehen, ist die Status-Quo-Messung. Denn nur der Vergleich bringt die Klarheit über tatsächliche Optimierungen. Essentiell ist es hier im Vorhinein, Business-Ziele heranzuziehen, um sicherzugehen, dass auch wirklich gemessen wird, was für Kund:innen relevant ist. 

Hierbei lag die Herausforderung darin, dass sowohl die Gebrauchstauglichkeit (Usability) als auch die Wahrnehmung der Ästhetik (Look & Feel) gemessen werden sollten. Wir entschieden uns daher für die Durchführung eines standardisierten Fragebogen –  den UEQ (User Experience Questionnaire), um somit mithilfe eines bereits etablierten Auswertungsverfahren, eine aussagekräftige und möglichst akkurate Vergleichbarkeit zu erreichen.  

Der UEQ (Usability Experience Questionnaire)

Der Allrounder unter den standardisierten Fragebögen in der User Experience Welt. Das Produkt bzw. das Interface wird hierbei anhand von 26 Eigenschaftspaaren bewertet.

Die Begründung für unsere Entscheidung war einfach. Denn der UEQ bringt folgende Vorteile: 

Der UEQ…

Schritt 2: Aufsetzen von zusätzlichen Analytic- und Tracking Tools

Um zusätzliche Informationen bezüglich des derzeitigen User:innen-Verhaltens zu gewinnen, wurde zudem die Analytics-Plattform “Smartlook” auf der derzeitigen Website integriert. Diese ermöglicht das Observieren des Nutzerverhaltens anhand von Session Recordings sowie Heat-, Click- und Scrollmaps. 

Schritt 3: Usability Testing Strategie aufsetzen

Die Mischung von quantitativen und qualitativen Methoden lässt das Herz eines jeden UX Designers / einer UX Designerin höher schlagen. Daher war es für uns wesentlich, neben quantitativen Messungen ebenso qualitative Deep-Dives bezüglich Meinungen, Motive und Einstellungen von User:innen zu erforschen.

Moderierte User Interviews und Usability Tests

“ Moderated sessions allow for back and forth between the participant and facilitator, because both are online simultaneously. Facilitators can ask questions for clarification or dive into issues through additional questions after tasks are completed.”

“Unmoderated usability sessions are completed alone by the participant. (…) Questions can also be emailed to be completed after the user has finished her session. In both cases, questions are the same across users. There is no opportunity to ask detailed questions specific to the user’s actions.” 

Quelle: Nielsen Norman Group (2013) – Remote Usability Tests: Moderated and Unmoderated

Moderierte Usability Tests erlauben spontanes Nachfragen und eignen sich besonders gut, wenn User:innen in ihrer Aufgabenstellung keinen rigiden Ablauf folgen müssen. Ebenso ermöglicht die Methode die Observierung von paraverbalen Signalen von Nutzer:innen während des Tests.

Typisch Liechtenecker, wollten wir auf nichts verzichten und haben beide Methoden in unsere Usability Testing Strategie eingebaut. Nach der Konzeption eines Teilbereiches wurde ein moderiertes User Testing via Hello Ping Pong mit 5 User:innen aufgesetzt. Die primäre Zielsetzung war folgende: 

Unmoderierte Usability Tests

Für Bereiche der Seite, die aufgabenorientierter sind, wurden unmoderierte Usability Test via Userbrain und Maze durchgeführt. User:innen werden hierbei während des Tests aufgenommen, es gibt jedoch keine Interaktionsmöglichkeit mit ihnen. Daher sollten sich unmoderierte Usability Tests auf spezifische Elemente konzentrieren. Folgende Metriken wurden dabei von uns gemessen:

Schritt 4 – Guerrilla Testing Vor Ort
Weil wir Liechteneckers obsessive UX Geeks sind, hat uns all das jedoch nicht gereicht. Denn auf intensive Diskussionen bezüglich Designentscheidungen reagieren wir mit: “Keine Diskussion notwendig. Wir testen!” (–Diskussion beendet–) 

Guerrilla Testing ist hierbei die “Quick & Dirty Methode”, um rasches Feedback einzuholen und erste grobe Tendenzen zu erkennen. 

“Guerrilla usability testing aims to cut out the time-consuming parts of the user testing process. A designer, researcher, or anyone building a product takes to the streets and finds members of the public to participate in a quickfire, on-the-spot guerrilla usability test.”

Quelle: Maze – What is guerilla usability testing?

Mithilfe eines Prototypen konnten wir zwei Versionen, in welchen sich lediglich ein Element unterschied, in einem A/B Test in den Kampf schicken. 

Ähnlich wie bereits im Maze Test  wurden auch hier Erfolgs- und Fehlerrate sowie Time on Task miteinander verglichen. Zusammenfassend konnten wir für uns anhand dieser Metriken eine Designentscheidung fällen und somit Diskussionen verringern sowie datenbasiert agieren.

Fazit

User Experience umfasst so viel mehr als nur Design. Es benötigt stetiges Messen, Vergleichen, Planen, Kalkulieren und im Falle von Guerrilla Testings sogar ein “Sich-live-in die-Masse-stürzen”. (#NoShameNoGame), um an wesentliche Daten zu kommen. 

Klingt nach viel Arbeit? – Ist es auch. Und wir lieben es. (#UXMasochists)