Beurteilung von Tests und Fragebogen

Wie kann man die Qualität eines Tests beurteilen? Experten haben ihr Know-how zur Qualitätsbeurteilung von Tests und Fragebogen zusammengetragen und für die Praxis anwendbar aufbereitet. Zunächst hat die Experten-Kommission, die die DIN 33430, eine DIN-Norm für die interne und externe Personalauswahl, entwickelt hat (siehe hier), Mindestanforderungen an die Information über Tests und Fragebogen formuliert. D.h. es wurde genau aufgelistet, welche Informationen zu einem Test oder Fragebogen vorliegen müssen, damit dieser überhaupt beurteilt werden kann. Daraufhin hat das Diagnostik- und Testkuratorium (DTK) Beurteilungsrichtlinien für Tests und Fragebogen formuliert, d.h. angegeben, wie die Informationen, die nach DIN 33430 zu einem Test vorliegen müssen, beurteilt werden können. Schließlich haben ausgewählte Experten einzelne Tests und Fragebogen beispielhaft nach diesem System beurteilt.

[box]

[/box]

Qualitätsbeurteilung Schritt 1: Sachinformationen über den Test / den Fragebogen

Um einen Test beurteilen zu können, müssen Sachinformationen vorliegen. Und zwar nicht zur Marktdurchdringung oder zu Referenzkunden, sondern Sachinformationen zur Konstruktion, Beschaffenheit und Bewährung des Tests oder Fragebogens. Ein Persönlichkeitsfragebogen lässt sich beispielsweise dann verantwortlich einsetzen, wenn man Zahlen, Daten und Fakten zu dem Fragebogen kennt: Wie zuverlässig misst der Fragebogen? Wie genau lassen sich relevante Ereignisse (z.B. Berufserfolg, berufliche Zufriedenheit) vorhersagen? Wenn die Ergebnisse im Fragebogen in Bezug zu einer Referenzgruppe betrachtet werden (so genannte „Normierung“): Wer genau ist diese Referenzgruppe (Qualifikation, Alter und Geschlecht der Teilnehmer, Datum der Erhebung usw.)? Die Basis für die Entwicklung und Pflege eines Tests oder Persönlichkeitsfragebogens sind empirische Studien. Die Einschätzung der Qualität eines Verfahrens ist also in der Regel nur anhand von Kennwerten möglich, die in empirischen Untersuchungen gewonnen wurden. Daher kommt der Qualität der empirischen Untersuchungen sowie der Qualität der Dokumentation dieser Untersuchungen eine entscheidende Bedeutung bei.
Die DIN-33430-Kommission hat festgelegt, welche Sachinformationen zu einem Persönlichkeitsfragebogen sowie zu Tests vorliegen müssen. Diese Informations-Anforderungen an Fragebogen und Tests wurde von Kersting (2008) zu einer Checkliste „Anforderungen an Verfahrenshinweise“ zusammengefasst. Die Checkliste gilt offiziell als „Standard zur Information und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens des Testkuratoriums der Föderation Deutscher Psychologenvereinigungen. Tabelle 1 gibt Beispiele. Die vollständige Checkliste steht zum freien Download bereit (siehe hier).

Die für die Beurteilung eines Tests oder Persönlichkeitsfragebogens notwendigen Informationen liegen für zahlreiche Verfahren, die in der Praxis sehr häufig eingesetzt werden, nicht vor. Der Hinweis, dass ein Verfahren bei xy Millionen Menschen eingesetzt wurde, liefert z.B. keinerlei Informationen darüber, wie viele Personen an der Validierungsstudie oder Normierungsstudie teilgenommen haben. Der Hinweis auf zufriedene Kunden sagt nichts über die empirisch ermittelte Trefferquote aus. Mit der Definition derjenigen Informationen, die zu jedem Test und Fragebogen vorliegen müssen, räumt die DIN 33430 mit dem größten Problem der Qualitätsbeurteilung auf, dem Informationsmangel. Die Norm fordert einen freien Zugang zu Sachinformationen.

Qualitätsbeurteilung Schritt 2: Beurteilung der Sachinformationen über den Test / den Fragebogen

Mit der oben zitierten Checkliste lässt sich prüfen, ob die notwendigen Informationen zu einem Test vorliegen. Wenn die Informationen vorliegen stellt sich die Frage, wie diese Informationen zu bewerten sind. Für die Beurteilung von Tests und Fragebogen wurde das Testbeurteilungssystem des Testkuratoriums (TBS-TK) konstruiert. Zentrales Element dieses Systems sind Beurteilungsrichtlinien für Tests und Fragebogen. Diese können unter www.zpid.de/testkuratorium kostenlos abgerufen werden. Relevante Aspekte der Qualitätsbeurteilung sind demnach – neben der Frage, ob überhaupt genügend Informationen zum Verfahren zur Verfügung stehen – die theoretischen Grundlagen der Verfahrenskonstruktion, die Objektivität, Normierung oder Eichung (und deren Zielgruppenorientierung), die Reliabilität (Messgenauigkeit), die Validität sowie weitere Gütekriterien (wie Störanfälligkeit, Unverfälschbarkeit und Fairness).

Beispiele für Qualitätsbeurteilungen

Das Diagnostik und Testkuratorium (DTK) hat zahlreiche Experten gebeten, einige ausgewählte Tests und Fragebogen nach dem hier genannten System zu beurteilen. Dabei wird grundsätzlich jedes Verfahren von zwei Experten beurteilt, die zunächst in Unkenntnis und unabhängig voneinander ihre Beurteilungen ausarbeiten und erst zusammenarbeiten, nachdem sie ihre unabhängigen Bewertungen abgegeben haben. Die von den beiden Experten gemeinsam erstellte Rezension wird vom DTK in anonymisierter Form an die Autoren des Verfahrens/Verfahrensanbieter geschickt. Diese erhalten Gelegenheit zu der Rezension Stellung zu beziehen und auf etwaige Missverständnisse aufmerksam zu machen. Anschließend werden die Rezensionen publiziert. Alle nach dem neuen System erarbeiteten Beurteilungen können kostenfrei unter www.zpid.de/Testkuratorium eingesehen werden.


Literatur

  • Kersting, M. (2014). Erläuterung: Wie man die Qualität von Persönlichkeitsfragebogen beurteilen kann. Online Bereich der Zeitschrift „Wirtschaftspsychologie aktuell“, Juni 2014. (hier klicken)
  • Kersting, M. (2014). Zirkustricks entlarven. Qualität von Persönlichkeitsfragebogen. Personalmagazin, 1/14, 28-32. (pdf)
  • Hagemeister,C., Kersting, M. & Stemmler, G. (2012). Test Reviewing in Germany. International Journal of Testing, 12, 185-194. (pdf)
  • Kersting, M. (2010). Tests und Persönlichkeitsfragebogen in der Personalarbeit. Personalführung, 10/2010, 20-31. (pdf)
  • Kersting, M. (2006). Zur Beurteilung der Qualität von Tests: Resümee und Neubeginn. Psychologische Rundschau, 57, 243-253. (pdf)