Pretest des Fragebogens

Eine saubere Konstruktion des Fragebogens garantiert noch nicht, dass die Fragen von jedem Teilnehmer korrekt verstanden werden. Der wichtigste Schritt, um mit einem Fragebogen valide Daten zu erhalten, ist nach wie vor ein ordentlicher Pretest.

Pretests kommen gerade bei Online-Befragungen häufig zu kurz, was einen großen Teil der vermeintlich schlechten Datenqualität von Onlineerhebungen im Rahmen von Studien ausmacht. Daher wird im folgenden erläutert, wie man einen ordentlichen Pretest durchführt.

1. Im Folgenden geht es um das Thema „Stress im Studium“. Zunächst interessiert uns, was Sie persönlich unter Stress verstehen. Welche Begriffe assoziieren Sie mit Stress? Hinweise: Mehrfachnennungen sind möglich. Für weitere Assoziationen nutzen Sie bitte das Freitextfeld. □ Zeitdruck □ Überforderung □ Langeweile □ (Positive) Herausforderung □ Freisetzung mentaler Kräfte □ Orientierungslosigkeit □ Leistungsdruck □ Hilflosigkeit □ Einsamkeit □ Unsicherheit □ Erwartungsdruck □ Ungeduld □ Angst □ Unzufriedenheit □ (Selbst-)Zweifel □ Energieaufbau/Anregende Wirkung □ Motivation □ Nervosität/innere Unruhe □ Antrieb □ Ungerechtigkeit □ Umweltfaktoren, wie Lärm, Gerüche, etc. □ Leistungsfördernd □ Enttäuschung □ Ärger (zwischenmenschlich) □ Sonstige, und zwar: _

2. Bitte denken Sie an die letzten zwei Wochen zurück. Wie gestresst fühlten Sie sich im Vergleich zum Rest des Jahres? Hinweis: Bitte kreuzen Sie jeweils die zutreffende Antwortmöglichkeit an. □ deutlich weniger gestresst □ etwas weniger gestresst □normal/durchschnittlich gestresst □ etwas mehr gestresst □ deutlich mehr gestresst

3. Im Folgenden finden Sie eine Reihe von Aussagen zum Thema „Stress im Studium“. Bitte kreuzen Sie an, inwiefern diese Aussagen auf Sie zutreffen, d.h. wie sehr Ihr Denken und Fühlen in den letzten Wochen durch diese Aussagen beschrieben wird. Hinweis: Bitte geben Sie im Folgenden an, wie Sie die unten angeführten Aussagen auf einer Skala von „Trifft auf mich überhaupt nicht zu“ bis „Trifft auf mich voll zu“ bewerten. 1 = Trifft auf mich überhaupt nicht zu 2= Trifft auf mich selten zu 3= Trifft auf mich manchmal zu 4= Trifft auf mich häufig zu 5= Trifft auf mich voll zu a) In den letzten zwei Wochen habe ich mich darüber aufgeregt, dass etwas völlig Unerwartetes eingetreten ist. □ 1 □ 2 □ 3 □ 4 □ 5 b) Ich hatte in den letzten zwei Wochen das Gefühl, wichtige Dinge in meinem Leben nicht beeinflussen zu können. □ 1 □ 2 □ 3 □ 4 □ 5 c) In den letzten zwei Wochen habe ich mich nervös gefühlt. □ 1 □ 2 □ 3 □ 4 □ 5 d) Ich habe mich in den letzten zwei Wochen sicher im Umgang mit persönlichen Aufgaben gefühlt. □ 1 □ 2 □ 3 □ 4 □ 5 e) In den letzten zwei Wochen hatte ich das Gefühl, mit meinen anstehenden Aufgaben nicht richtig umgehen zu können. □ 1 □ 2 □ 3 □ 4 □ 5

f) In den letzten zwei Wochen hatte ich das Gefühl, mit in meinem Leben auftretendem Ärger ganz gut klar zu kommen. □ 1 □ 2 □ 3 □ 4 □ 5 g) In den letzten zwei Wochen habe ich alles im Griff gehabt. □ 1 □ 2 □ 3 □ 4 □ 5 h) In den letzten zwei Wochen habe ich mich darüber geärgert, wichtige Dinge nicht beeinflussen zu können. □ 1 □ 2 □ 3 □ 4 □ 5 i) Die letzten Monate haben sich insgesamt nach meinen Vorstellungen entwickelt. □ 1 □ 2 □ 3 □ 4 □ 5 j) In meinem Leben haben sich die Probleme in den letzten Monaten so sehr angestaut, dass ich das Gefühl hatte, diese nicht mehr bewältigen zu können. □ 1 □ 2 □ 3 □ 4 □ 5

4. Denken Sie nun bitte an Ihre Studien- bzw.Semesterorganisation zurück und bewerten Sie, ob Sie folgende Punkte als stressig empfunden haben. Hinweis: Mehrfachnennungen sind möglich. □ Planung des Studienverlaufs (z.B. Planung, wann wird welche Vertiefung/Seminar belegt, Zeitpunkt der Abschlussarbeit/des Auslandssemesters/des Praktikums) □ Hohe Veranstaltungsdichte (z.B. viele Veranstaltungen pro Woche, zeitliche Überschneidung von Veranstaltungen) □ Prüfungsplanung für jedes Semester □ Organisation des Auslandssemesters □ Wahl der Studienschwerpunkte/Vertiefungen □ Auswahl geeigneter Vorlesungen/Seminare □ Alle relevanten Informationen zu den Veranstaltungen zusammenstellen (z.B. Start der Veranstaltung, Unterlagen, Voraussetzungen etc.) □ Erzwungene Änderung des geplanten Semesterverlaufs (z.B. NichtZulassung zum Seminar, Wiederholung von Klausuren) □ Arbeitsbelastung durch das Studium insgesamt □ Organisation von Praktika □ Aufbau/Aufwertung des Lebenslaufs durch Praxiserfahrungen

5. Denken Sie nun bitte an Ihre Lehrveranstaltungen des laufenden Semesters zurück und kreuzen Sie an, inwiefern Sie folgende Punkte als stressig empfunden haben. Hinweis: Mehrfachnennungen sind möglich. □ Anforderungsniveau in den Veranstaltungen □ Unzureichende oder unvollständige Materialien zu den Veranstaltungen □ Unzureichender Zugriff auf Literatur (z.B. Bibliothek oder elektronische Datenbanken) □ Unausgeglichene Anforderungen im Verlauf des Semesters in den jeweiligen Veranstaltungen (z.B. während des Semesters ausschließlich Vorlesungen und Abschluss durch eine Prüfung am Ende des Semesters) □ Gruppenarbeiten (z.B. Organisation, Abstimmung mit Kommilitonen) □ Kontakt mit Professoren/Dozenten (z.B. Erreichbarkeit, Dauer der Rückmeldung) □ Großer Stoffumfang in den Veranstaltungen □ Art der Stoffvermittlung (z.B. didaktische Aufbereitung)

6. Denken Sie nun bitte an Ihren Umgang mit Menschen in Ihrem Studienumfeld zurück und bewerten Sie, inwiefern durch folgende Punkte Stress für Sie entstanden ist. Hinweis: Bitte geben Sie im Folgenden an, wie Sie die unten angeführten Aussagen auf einer Skala von 1 (“Überhaupt nicht stressig”) bis 5 (“Sehr stressig“) bewerten. 1= Überhaupt nicht stressig 2= Wenig stressig 3= Teils/teils 4= Stressig 5= Sehr stressig - = Kann ich nicht beurteilen a) Konkurrenzkampf unter Kommilitonen □ 1 □ 2 □ 3 □ 4 □ 5 □ – b) Mobbing durch Kommilitonen □ 1 □ 2 □ 3 □ 4 □ 5 □ – c) Verpflichtungen gegenüber Eltern/Familie/Freunden □ 1 □ 2 □ 3 □ 4 □ 5 □ – d) Ständige Erreichbarkeit durch Smartphone, Internet und neue Medien □ 1 □ 2 □ 3 □ 4 □ 5 □ – e) Ärger/Streitigkeiten mit Bezugspersonen (z.B. mit Partner/Freunden/in der WG) □ 1 □ 2 □ 3 □ 4 □ 5 □ – f) Pflege von sozialen Kontakten □ 1 □ 2 □ 3 □ 4 □ 5 □ – g) Pflege von sozialen Netzwerken (Facebook, Whatsapp, etc.) □ 1 □ 2 □ 3 □ 4 □ 5 □ –

  7. Denken Sie nun bitte an die allgemeine Organisation Ihres studentischen Lebens in den letzten Monaten zurück und bewerten Sie, inwiefern Sie folgende Punkte als stressig empfunden haben. Hinweis: Bitte geben Sie im Folgenden an, wie Sie die unten angeführten Aussagen auf einer Skala von 1 (“Überhaupt nicht stressig”) bis 5 (“Sehr stressig“) bewerten. 1= Überhaupt nicht stressig 2= Wenig stressig 3= Teils/teils 4= Stressig 5= Sehr stressig - = Kann ich nicht beurteilen a) Zeitliche Vereinbarkeit von Studium und anderen Aktivitäten □ 1 □ 2 □ 3 □ 4 □ 5 □ – b) Fahrtwege (z.B. zwischen Wohnung und Hochschule) □ 1 □ 2 □ 3 □ 4 □ 5 □ – c) Bezahlte (Neben-)Beschäftigung □ 1 □ 2 □ 3 □ 4 □ 5 □ – d) Wohnungssuche □ 1 □ 2 □ 3 □ 4 □ 5 □ – e) Finanzielle Lage □ 1 □ 2 □ 3 □ 4 □ 5 □ – f) Alltagsorganisation (Haushalt, Einkauf, etc.) □ 1 □ 2 □ 3 □ 4 □ 5 □ – g) Sonstiges: ¬_ ===== Face-to-Face Pretest ===== Ein „richtiger“ Pretest dauert – je nach Sorgfalt bei der Konstruktion des Fragebogens – zwischen einer Stunde und einigen Tagen. Die Zeit sollte man auf jeden Fall investieren: Bei der Auswertung spart man sie um ein Vielfaches wieder ein. Abgesehen davon erhält man deutlich bessere Daten und eine geringere Abbruchquote. Aktivieren Sie für den Fragebogen, wie oben beschrieben, den Pretest-Modus. So können Sie bzw. Ihre Pretester auch außerhalb des Befragungszeitraums auf den Fragebogen zugreifen. Im Face-to-Face Pretest verwenden Sie die URL für die Original-Vorschau (ohne Frage-Kennungen und Feld für Anmerkungen). - Sie brauchen ca. 5 Personen, die von der Studie wenig wissen (was bei den späteren Teilnehmern auch der Fall sein wird). Im Idealfall sind es Personen aus der Zielgruppe – diese finden sich häufig in der Familie, im Freundeskreis oder in der Mensa bzw. Kantine. Für letztere Orte hat sich ein Notebook mit Internetzugang gut bewährt. - Diese Personen setzt man nun einzeln vor den Fragebogen. Alles was man dafür braucht ist ein Computer mit Internetanschluss, die URL (Internetadresse) des Fragebogens (steht unter Fragebogen zusammenstellen) und das Pretest-Passwort. - Während die Person den Fragebogen ausfüllt, soll sie alles__ sagen, was ihr dabei durch den Kopf geht (Methode des lauten Denkens). Insbesondere, wenn ihr irgend etwas unklar oder mehrdeutig ist. Man muss einen Tester während des Ausfüllens immer mal wieder darauf hinweisen, dass er laut denken soll.

1. Als Beobachter hat man einen Block in der Hand und notiert die Anmerkungen erstmal nur – bloß nicht anfangen, sich dagegen zu verteidigen („aber das versteht man doch eigentlich schon, oder?“).
2. Wenn man bei einer Frage unsicher ist, ob sie korrekt verstanden wurde, dann kann man direkt nachfragen, was der Tester verstanden hat. Man sollte auch nachfragen, ob längere Texte (im Internet sind das schon 2-3 Sätze) überhaupt gelesen werden.
3. Passt den Testern schon beim ersten mal alles, dann hat man sie nicht ausreichend um Kritik gebeten. Denn Kritik wird man immer bekommen, wenn man es richtig macht. Allen kann man es schließlich nie recht machen…
4. Hat man das Feedback der 5 Personen gesammelt, lässt man sich die Anmerkungen durch den Kopf gehen. Manche Kleinigkeiten lassen sich einfach beseitigen (z.B. fehlende Antwortkategorien), andere stören vielleicht nur eine einzelne Person. Man muss natürlich nicht sofort alles ändern, wenn es einen guten Grund gibt, das nicht zu tun.
5. Nach Abschluss der Änderungen sollte man den Pretest wiederholen – sonst kann es vorkommen, dass man Probleme verschlimmbessert. Natürlich muss man dafür andere Personen ansprechen, weil die Tester aus der ersten Runde ja inzwischen wissen, wie sie etwas verstehen sollen.
6. Auch bei guten Fragebögen sind einige Änderungen vollkommen normal. Üblicherweise benötigt man 2-4 Pretest-Runden, um einen guten Fragebogen richtig gut zu machen. Aber der Aufwand zahlt sich bald aus: durch bessere Daten, weniger Abbrecher und weniger Ärger bei der Auswertung und Interpretation. Gerade, wenn man unter Zeitdruck ist, sollte man keinesfalls am Pretest sparen.

Nützliche Hinweise zum Pretest und weitere Testmethoden beschreibt zum Beispiel der Text Kognitive Interviews von Prüfer und Rexroth (2005) aus der ZUMA How-to-Reihe, Nr. 15.