Ziel des Workshops ist es, Personen zusammenzubringen, die an der Entwicklung von UX Fragebögen arbeiten oder viel Erfahrung im praktischen Einsatz von UX Fragebögen haben. Es sollen Erfahrungen ausgetauscht werden und offene Fragestellungen und Probleme angesprochen werden. Es geht hier explizit nicht darum, neue Fragebögen vorzustellen, Detailergebnisse zu vorhandenen Fragebögen darzustellen oder Anwendungen vorhandener Fragebögen in Projekten zu berichten. Der Schwerpunkt liegt auf eher generellen offenen Fragen und ggfs. Lösungsvorschlägen, die diskutiert und ausgearbeitet werden müssen, aber nicht auf fertigen Antworten. Die Hoffnung ist, dass sich im Anschluss des Workshops kleinere Arbeitsgruppen bilden, die bereit sind gemeinsam an offenen Fragestellungen zu arbeiten.

Fragebögen sind eine weit verbreitete Methode zur Messung von User Experience (UX). Die Methoden zur Konstruktion und Validierung von UX Fragebögen orientieren sich aktuell an den etablierten Methoden der psychologischen Testtheorie. Allerdings gibt es einige prinzipielle Unterschiede zwischen einem UX Fragebogen und einem klassischen psychologischen Test, z.B. einem Persönlichkeitstest. Wir beschreiben diese Unterschiede und diskutieren die Frage, ob man etablierte Konzepte der psychologischen Testtheorie wirklich unverändert auf die Konstruktion von UX Fragebögen übertragen kann.

Bei der Konstruktion von User Experience Fragebögen werden verschiedene statistische Methoden angewendet. Eine weit verbreitete Methode ist die Faktorenanalyse. Diese kann sowohl bei der Konstruktion als auch als Bestätigung des Faktorenmodells eines Fragebogens dienen.

In diesem Beitrag werden wir einen Überblick über den Einsatz der Faktorenanalyse geben und mögliche Probleme bezüglich der Ermittlung des Faktorenmodells diskutieren. Dabei zeigen wir anhand von iterativ ermittelten Faktorenmodellen, dass es kein eindeutiges Faktorenmodell gibt. Diese Erkenntnis hat unweigerlich Auswirkungen auf den Einsatz der Faktorenanalyse, die wir im abschließenden Kapitel dieses Beitrags diskutieren werden.

Bekannterweise liefern die üblichen in Fragebogen verwendeten Ratingskalen mit n Stufen ledig-lich ordinal skalierte Zahlenwerte. Die Relevanz der Skalenniveaus im Sinne von Stevens (1946) ist ein vieldiskutierter Streitpunkt bei dem sich die „wahre Lehre“ der axiomatischen Messtheorie und die eher pragmatische Auffassung auf der Anwenderseite gegenüberstehen. Grundsätzlich stellt sich die Frage, welche statistischen Verfahren für die Ergebnisse solcher Ratings sinnvoll ange-wandt werden können und welche Konsequenzen es möglicherweise hat, Kennwerte zu verwenden für die es aus messtheoretischer Sicht keine Grundlage gibt. Außerdem soll diskutiert werden, welche alternativen oder ergänzenden Verfahren verfügbar sind, die der ordinalen Natur von Ra-tings Rechnung tragen.

Der vorliegende Beitrag stellt die Merkmale guter User Experience (UX) Fragebögen anhand von zentralen Kriterien heraus. Neben den klassischen Gütekriterien, insbesondere Reliabilität und Validität, werden hierbei die Grundlagen eines Verfahrens sowie die praktische Anwendung diskutiert. Eine beispielhafte Illustration erfolgt anhand etablierter UX Fragebögen im Spiegel der Erkenntnisse aus Evaluationsforschung und Psychometrie.

Bei dem meCUE Fragebogen handelt es sich um ein modular aufgebautes und flexibel ein-setzbares Messinstrument zur Erhebung von Erlebensaspekten mit interaktiven technischen Produkten. Der Gesamtfragebogen besteht aus 33 Items in Likert-skaliertem Antwortformat. Zusätzlich kann ein Gesamturteil als Single-Item in Form eines semantischen Differenzials eingesetzt werden. Aktuell liegt der Fragebogen in der Version 2.0 vor, die es erlaubt, je nach Fragestellung und Befragungsgegenstand, fünf verschiedene Module miteinander zu kombinieren, die sich auf die Wahrnehmung aufgabenbezogener und nicht-aufgabenbezogener Produktqualitäten, Emotionen (positiv wie negativ) sowie Konsequenzen der Interaktion (z.B. Nutzungsintention, Loyalität, Gesamturteil) beziehen. In diesem Beitrag werden bisherige praktische Erfahrungen im Einsatz des meCUE Fragebogens vorgestellt, die letztlich zu einer Überarbeitung und der Erstellung der Version 2.0 geführt haben. Insbesondere ist nunmehr eine getrennte Messung aufgabenbezogener und nicht-aufgabenbezogener Produktqualitäten möglich. Anhand von sechs Kriterien, die als zentral für UX Fragebögen erachtet werden, wird die Anwendung von meCUE 2.0 weitergehend diskutiert und es werden zusätzliche Hinweise für die Durchführung und Auswertung sowie die Interpretation von Ergebnissen geliefert.

User Experience (UX) hat viele Facetten. Zahlreiche Standardfragebögen beanspruchen, solche Facetten in jeweils eigenen Skalen zu messen; diese sind jedoch regelmäßig hoch miteinander korreliert. Dem gegenüber steht die Beobachtung, dass die Skalenwerte einzelner Befragungsteilnehmer in der Regel erheblich streuen. Ein Konzept einer einheitlichen Skala mit einem punktförmigen „Messwert“ wird dieser Streuung nicht gerecht, erweckt sie doch den Eindruck eines homogenen Benutzererlebens. Wir nehmen hier die Variabilität des Benutzererlebens in den Focus und stellen Ansätze vor, sie gezielt zu untersuchen. Aus den Ergebnissen werden Anforderungen an Befragungsinstrumente abgeleitet.

Dieser Beitrag beschreibt die Herausforderung der ganzheitlichen Evaluation der User Experience von Business-Software mittels Fragebögen. Bewertungen der Nutzer werden häufig produktbezogen erhoben und die zugrundeliegenden Arbeitsprozesse werden nicht ausreichend betrachtet. Doch die Arbeit der Anwender mit Business-Software endet häufig nicht an den Produktgrenzen und das gesamte Benutzererlebnis ist damit durch verschiedene Produkte geprägt. Zur Anpassung der Evaluationsmethodik werden Herausforderungen bei der Wahl des Messinstruments und der Definition von geeigneten Arbeitsprozessen diskutiert.