How to: Remote-Tests mit Zoom und Miro
Auch wenn wir bei Railslove Produkte am liebsten in einer persönlichen Atmosphäre mit Teilnehmer:innen vor Ort evaluieren, mussten wir aufgrund der COVID-19-Pandemie unsere Pläne ändern und auf remote-Tests umschwenken. Doch diese bieten auch eine Reihe von Vorteilen.
Daher möchten wir euch im Folgenden einen kurzen Überblick geben, worauf bei der Durchführung von Remote-Tests zu achten ist und welche Learnings wir bereits dabei sammeln konnten. Als Tools haben wir Zoom für die Testdurchführung und Miro für die Auswertung genutzt.
Vorteile von remote-Tests
Remote-Tests bieten vor allem Flexibilität für alle Beteiligten. Die individuelle Anreise entfällt und die Proband:innen können ganz bequem von Zuhause aus teilnehmen. Dadurch lassen sich bei einer homogenen Zielgruppe möglicherweise auch leichter Proband:innen für die Tests rekrutieren. Dies können beispielsweise Menschen sein, die zu einer bestimmten Berufsgruppe zählen.
Außerdem bewegen sich die Teilnehmer:innen in einer vertrauten Umgebung – ihrem Zuhause – das meist auch den Nutzungskontext repräsentiert. Zudem können sie ihre eigenen Devices benutzen und sind im Umgang mit einem Prototyp dadurch meist auch weniger gehemmt, als wenn sie ein fremdes Gerät benutzen würden.
Je nach gewähltem Videokonferenz-Tool können die Test-Sessions auch direkt aufgezeichnet werden. Dies ist besonders praktisch, um die während der Tests „verpassten“ Momente noch einmal nachzusehen. Mit Zoom lassen sich die Aufnahmedaten lokal oder in der Cloud speichern.
Vorbereitung ist die halbe Miete
In der Vorbereitung auf die Tests ist es hilfreich sich vorab die folgenden Fragen zu stellen:
- Welche Ziele wollen wir erreichen?
- Welche Nutzergruppen möchten wir ansprechen?
- Welchen Entwicklungsstand möchten wir testen? Handelt es sich um einen klickbaren Prototyp oder ein funktionsfähiges Produkt?
- Welche Testaufgaben definieren wir?
Sind diese Fragen geklärt, stet der Rekrutierung von Proband:innen nichts mehr im Wege. Wenn es sich bei der Zielgruppe, um eine ältere, teils weniger technikaffine Zielgruppe handelt, ist es hilfreich sie vorab über den Umgang mit dem gewählten Videokonferenz-Tool zu informieren. Wir haben daher den Proband:innen für ihr jeweils genutztes Gerät die entsprechenden Installationsanleitungen für Zoom mitgeschickt. Außerdem haben wir die Erfahrung gemacht, dass es sinnvoll ist, vorab zu klären, ob die Teilnehmer:innen auch eine weitestgehend stabile Internetverbindung haben 🙂
Während der Tests – Geduld zahlt sich aus
Zu Beginn des Tests müssen die Proband:innen einige Aktionen, wie das Teilen ihres Bildschirms und das Öffnen des Prototyps, im Alleingang ausführen. Mit diesen Schritten können weniger technikaffine Personen Schwierigkeiten haben. Daher ist es für den/die Moderator:in wichtig, bestmöglich zu unterstützen und vor allem geduldig zu sein. Insbesondere auf dem Smartphone kann sich die Interaktion durch die reduzierte Ansicht als schwierig herausstellen. Hier hilft: Sich selbst in die Lage der Proband:innen zu versetzen und, wenn möglich auf einem eigenen Gerät den Umgang mit dem Tool nachvollziehen, damit man in der jeweiligen Situation weiterhelfen kann.
Um ein tieferes Verständnis über den Umgang der Proband:innen mit dem Prototyp zu erlangen, bietet sich die think-aloud Methode an. Dabei äußeren Proband:innen alle Gedanken, die ihnen während der Interaktion mit dem Produkt in den Sinn kommen. So lassen sich Probleme, Erfahrungen und Erwartungen an das Produkt viel deutlicher nachvollziehen. Auch ein kurzes Interview zum Abschluss des Tests kann helfen, um nocheinmal auf wichtige Erfahrungen einzugehen und gezielt Fragen zu stellen.
Auswertung mit dem Miro-Tool
Im nächsten Schritt erfolgt schließlich die Auswertung der Tests. Dafür können wir besonders das Whiteboard-Tool Miro empfehlen – mit dem man in Echtzeit im Team zusammenarbeiten kann.
Um die Protokolle aus den Usability-Tests aufzubereiten, empfiehlt es sich die einzelnen Beobachtungen und Aussagen der Proband:innen jeweils auf einem einzelnen digitalen Post-it zu notieren. Unterstützend dazu kann man in Miro, Post-its mit Tags versehen. So lassen sich ergänzend zu jeder Aussage Zusatzinformation festhalten, wie z.B. Abkürzung der Proband:innen, der Testaufgabe oder der Angabe des Features. Dies erlaubt es die Auswertung besser zu strukturieren und einen Überblick zu behalten.
Im nächsten Schritt lassen sich aus den Post-its schließlich Cluster bilden, die sowohl positive Aspekte, als auch Hindernisse und Probleme darstellen können. Wenn es sich um letzteres handelt, empfiehlt es sich die Probleme daraufhin nach dem Schwergrad zu bewerten und geeignete Handlungsempfehlungen zu entwickeln.
Insgesamt lassen sich mit Usability-Tests wertvolle Erkenntnisse generieren mit denen ein Produkt nachhaltig verbessert werden kann.
Nach unserer positiven Erfahrung mit remote-Test und der digitalen Cluster-Auswertung, werden wir auf diese Methoden – sofern sie für das Produkt geeignet sind – sicherlich auch in Zukunft häufiger zugreifen.
Zum Theme Research haben wir noch was: Guerilla User Research – Hier geht es zu unserem Webinar
