Beurteilung der Qualität von Tests und Fragebogen
Wie kann man die Qualität eines Tests beurteilen? Expert(innen)en haben ihr Know-how zur Qualitätsbeurteilung von Tests und Fragebogen zusammengetragen und für die Praxis anwendbar aufbereitet. Zunächst hat die Expert(inn)en-Kommission, die die DIN 33430, eine DIN-Norm für die interne und externe Personalauswahl, entwickelt hat (siehe hier), Mindestanforderungen an die Information über Tests und Fragebogen formuliert. D.h. es wurde genau aufgelistet, welche Informationen zu einem Test oder Fragebogen vorliegen müssen, damit dieser überhaupt beurteilt werden kann. Daraufhin hat das Diagnostik- und Testkuratorium (DTK) Beurteilungsrichtlinien für Tests und Fragebogen formuliert, d.h. angegeben, wie die Informationen, die nach DIN 33430 zu einem Test vorliegen müssen, beurteilt werden können. Schließlich haben ausgewählte Expert(inn)en einzelne Tests und Fragebogen beispielhaft nach diesem System beurteilt.
Qualitätsbeurteilung Schritt 1: Sachinformationen über den Test / den Fragebogen
Um einen Test beurteilen zu können, müssen Sachinformationen vorliegen. Und zwar nicht zur Marktdurchdringung oder zu Referenzkund(inn)en, sondern Sachinformationen zur Konstruktion, Beschaffenheit und Bewährung des Tests oder Fragebogens. Ein Persönlichkeitsfragebogen lässt sich beispielsweise dann verantwortlich einsetzen, wenn man Zahlen, Daten und Fakten zu dem Fragebogen kennt: Wie zuverlässig misst der Fragebogen? Wie genau lassen sich relevante Ereignisse (z.B. Berufserfolg, berufliche Zufriedenheit) vorhersagen? Wenn die Ergebnisse im Fragebogen in Bezug zu einer Referenzgruppe betrachtet werden (so genannte „Normierung“): Wer genau ist diese Referenzgruppe (Qualifikation, Alter und Geschlecht der Teilnehmer, Datum der Erhebung usw.)? Die Basis für die Entwicklung und Pflege eines Tests oder Persönlichkeitsfragebogens sind empirische Studien. Die Einschätzung der Qualität eines Verfahrens ist also in der Regel nur anhand von Kennwerten möglich, die in empirischen Untersuchungen gewonnen wurden. Daher kommt der Qualität der empirischen Untersuchungen sowie der Qualität der Dokumentation dieser Untersuchungen eine entscheidende Bedeutung bei.
Die DIN-33430-Kommission hat festgelegt, welche Sachinformationen zu einem Persönlichkeitsfragebogen sowie zu Tests vorliegen müssen. Diese Informations-Anforderungen an Fragebogen und Tests wurde von Kersting (2018) zu einer Checkliste „Anforderungen an Verfahrenshinweise“ zusammengefasst. Die Checkliste gilt offiziell als „Standard zur Information und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens des Testkuratoriums der Föderation Deutscher Psycholog(inn)envereinigungen. Tabelle 1 gibt Beispiele. Die vollständige Checkliste steht zum freien Download bereit (siehe hier).
Die für die Beurteilung eines Tests oder Persönlichkeitsfragebogens notwendigen Informationen liegen für zahlreiche Verfahren, die in der Praxis sehr häufig eingesetzt werden, nicht vor. Der Hinweis, dass ein Verfahren bei xy Millionen Menschen eingesetzt wurde, liefert z.B. keinerlei Informationen darüber, wie viele Personen an der Validierungsstudie oder Normierungsstudie teilgenommen haben. Der Hinweis auf zufriedene Kund(inn)en sagt nichts über die empirisch ermittelte Trefferquote aus. Mit der Definition derjenigen Informationen, die zu jedem Test und Fragebogen vorliegen müssen, räumt die DIN 33430 mit dem größten Problem der Qualitätsbeurteilung auf, dem Informationsmangel. Die Norm fordert einen freien Zugang zu Sachinformationen.
Qualitätsbeurteilung Schritt 2: Beurteilung der Sachinformationen über den Test / den Fragebogen
Mit der oben zitierten Checkliste lässt sich prüfen, ob die notwendigen Informationen zu einem Test vorliegen. Wenn die Informationen vorliegen stellt sich die Frage, wie diese Informationen zu bewerten sind. Für die Beurteilung von Tests und Fragebogen wurde das Testbeurteilungssystem des Testkuratoriums (TBS-TK) konstruiert. Zentrales Element dieses Systems sind Beurteilungsrichtlinien für Tests und Fragebogen. Diese können unter >hier< kostenlos abgerufen werden. Relevante Aspekte der Qualitätsbeurteilung sind demnach – neben der Frage, ob überhaupt genügend Informationen zum Verfahren zur Verfügung stehen – die theoretischen Grundlagen der Verfahrenskonstruktion, die Objektivität, Normierung oder Eichung (und deren Zielgruppenorientierung), die Reliabilität (Messgenauigkeit), die Validität sowie weitere Gütekriterien (wie Störanfälligkeit, Unverfälschbarkeit und Fairness).
Beispiele für Qualitätsbeurteilungen
Das Diagnostik und Testkuratorium (DTK) hat zahlreiche Expert(inn)en gebeten, einige ausgewählte Tests und Fragebogen nach dem hier genannten System zu beurteilen. Dabei wird grundsätzlich jedes Verfahren von zwei Expert(inn)en beurteilt, die zunächst in Unkenntnis und unabhängig voneinander ihre Beurteilungen ausarbeiten und erst zusammenarbeiten, nachdem sie ihre unabhängigen Bewertungen abgegeben haben. Die von den beiden Expert(inn)en gemeinsam erstellte Rezension wird vom DTK in anonymisierter Form an die Autor(inn)en des Verfahrens/Verfahrensanbieter geschickt. Diese erhalten Gelegenheit zu der Rezension Stellung zu beziehen und auf etwaige Missverständnisse aufmerksam zu machen. Anschließend werden die Rezensionen publiziert. Alle nach dem neuen System erarbeiteten Beurteilungen können kostenfrei unter https://psyndex.de/tests/testkuratorium/ eingesehen werden.
Literatur
- Bothe, P. S. & Kersting, M. (2015). Das Ergebnis ist entscheidend. Zum Aufbau von Gutachten zu Persönlichkeitsfragebogen. Personalmagazin, 7/2015, 30-34. (pdf)
- Diagnostik- und Testkuratorium (DTK) (2023). TBS-DTK – Testbeurteilungssystem des Diagnostik- und Testkuratoriums (TBS-DTK). Vierte, revidierte Fassung vom 31. Juli 2023. Report Psychologie, 48, Heft 11/12, S. 18-27 sowie Psycho¬lo¬gische Rundschau, online veröffentlicht am 8. Dezember 2023, https://doi.org/10.1026/0033-3042/a000653, Print: Heft 75, S. 39-49. (unter Mitarbeit von Martin Kersting) (pdf)
- Diagnostik- und Testkuratorium (DTK) (2023). Qualitätssicherung und -optimierung von Tests. Die vierte Fassung des Testbeurteilungs¬systems des Diagnostik- und Testkuratoriums (TBS-DTK). Report Psychologie, 48, Heft 11/12, S. 14-17 sowie Psychologische Rundschau, online veröffentlicht am 8. Dezember 2023, https://doi.org/10.1026/0033-3042/a000657, Print: Heft 75, S. 39-49. (unter Mitarbeit von Martin Kersting) (pdf)
- Hagemeister,C., Kersting, M. & Stemmler, G. (2012). Test Reviewing in Germany. International Journal of Testing, 12, 185-194. (pdf)
- Kersting, M. (2006). Zur Beurteilung der Qualität von Tests: Resümee und Neubeginn. Psychologische Rundschau, 57, 243-253. (pdf)
- Kersting, M. (2010). Tests und Persönlichkeitsfragebogen in der Personalarbeit. Personalführung, 10/2010, 20-31. (pdf)
- Kersting, M. (2014). Erläuterung: Wie man die Qualität von Persönlichkeitsfragebogen beurteilen kann. Online Bereich der Zeitschrift „Wirtschaftspsychologie aktuell“, Juni 2014. (hier klicken)
- Kersting, M. (2014). Zirkustricks entlarven. Qualität von Persönlichkeitsfragebogen. Personalmagazin, 1/14, 28-32. (pdf)
- Kersting, M. (2018). DIN SCREEN Checkliste 1, Version 3 – ausfüllbares PDF. In: Diagnostik- und Testkuratorium (Hrsg.) Personalauswahl kompetent gestalten: Grundlagen und Praxis der Eignungsdiagnostik nach DIN 33430 (S. 235-244). Berlin: Springer.
- Kersting, M. (2018). Zur Information über und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens – Die DIN SCREEN Checkliste 1, Version 3 In: Diagnostik- und Testkuratorium (Hrsg.) Personalauswahl kompetent gestalten: Grundlagen und Praxis der Eignungsdiagnostik nach DIN 33430 (S. 223-244). Berlin: Springer. https://doi.org/10.1007/978-3-662-53772-5 (pdf)
- Kersting, M. (2019). Mit der Lizenz zum Täuschen. Zertifikatslehrgänge zu Persönlichkeitsfragebogen. Personalmagazin, 07/2019, 70-77. (pdf)
- Kersting, M. & Beauducel, A. (2022). Gewollt ist nicht gleich gekonnt. (Persönlichkeitsfragebogen in Trainings und Coachings). Wirtschaft + Weiterbildung,2/2022, 22-27. (pdf)
- Kersting, M., Graulich, V. & Bothe, P. S. (2015). Das beschreibt mich und andere. Zum Barnum-Effekt am Beispiel von Gutachten zu Persönlichkeitsfragebogen. Personalmagazin, 9/2015, 28-33. (pdf)
- Kersting, M. & Marquardt, C. (2021). Tests, Fragebogen & Co – Anforderungen an die Qualität der im OSA eingesetzten diagnostischen Verfahren auf welche Qualitätskriterien es für OSA ankommt. In G. Stoll & S. Weiß (Hrsg.), Online Self-Assessments zur Studienfachwahl (S.107-129). Berlin: Springer
- Schmidt, I. & Kersting, M. (2020). The English-Language Version of the DIN SCREEN Checkliste 1, Version 3 (Kersting, 2018). (pdf).
Hinterlasse einen Kommentar
An der Diskussion beteiligen?Hinterlasse uns deinen Kommentar!