Leitfaden zur Kontrolle und Optimierung der Qualität von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen

Martin Kersting


 

Checkliste zur DIN 33430: DIN SCREEN

Organisationen und Menschen bemühen sich um qualitativ hochwertige Beurteilungen im Kontext der Personalauswahl und -entwicklung. In die entsprechenden Verfahren und Prozesse wird viel Mühe, Zeit und Geld investiert. Dennoch bleibt es weitgehend unklar, ob die Investition zur Zielerreichung führt.

Aus bald 100 Jahren Forschung und Anwendung sind die Erfolgsfaktoren für Qualität bekannt. Eine hochrangige Expertenkommission hat dieses Wissen in der DIN 33430 zusammengefasst, die „Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen“ formuliert.

Mit den DIN SCREEN Checklisten lassen sich diese Erkenntnisse einfach für die Praxis nutzen. Die thematisch geordneten Checklisten (z. B. Thema Anforderungsanalyse) lassen sich leicht bearbeiten. Die bearbeiteten Checklisten zeigen auf, ob die eingesetzten Verfahren und Personalbeurteilungen dem aktuellen DIN 33430 Qualitätsstandard genügen. Mögliche Qualitätsmängel können identifiziert werden, so dass in der Folge die Ursachen mangelnder Qualität beseitigt werden können.

Eine besondere Bedeutung kommt der Checkliste 1 aus DIN Screen zu: Sie gilt offiziell als Standard zur Information und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens des Testkuratoriums der Föderation Deutscher Psychologenvereinigungen.

Die DIN 33430 und somit auch die DIN SCREEN Checklisten können auch als Grundlage für Fortbildungen, Lizenzierungen und Zertifizierungen dienen.
Im Jahr 2008 wurde die zweite Version der DIN Screen Checklisten publiziert:


Kersting, M. (2008). DIN Screen, Version 2. Leitfaden zur Kontrolle und Optimierung der Qualität von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen. In: M. Kersting. Qualitätssicherung in der Diagnostik und Personalauswahl – der DIN Ansatz (S. 141-210). Göttingen: Hogrefe. ISBN: 978-3-8017-2151-0


Mehr Informationen zu diesem Buch: Hier klicken.

Bestellen bei:

DIN-Buch Cover

 


 

Was leistet „DIN SCREEN“?

Der Leitfaden „DIN SCREEN“ ermöglicht ein Screening, ob ein konkreter Prozess oder Prozessabschnitt den Qualitätsstandards der DIN 33430 genügt. Dazu bietet „DIN SCREEN“ sechs einzelne Checklisten zu verschiedenen Themenbereichen. Somit ermöglicht „DIN SCREEN“ eine erste Prüfung und eine Ãœberwachung der Qualität von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen. Die Anwendung kann auf mögliche Qualitätsmängel aufmerksam machen, so dass in der Folge die Ursachen mangelnder Qualität beseitigt werden können. Damit unterstützt „DIN SCREEN“ gleichermaßen die Qualitätssicherung wie die Qualitätsoptimierung. „DIN SCREEN“ stellt eine Weiterentwicklung der von Hornke und Kersting (2004) publizierten Checkliste dar.

„DIN SCREEN“ ist auf die umfassende Qualitätsprüfung des gesamten Prozesses der berufsbezogenen Eignungsbeurteilung ausgelegt. Aufgrund von Erfahrungen sind mögliche Probleme von Verfahrenshinweisen sowie von berufsbezogenen Eignungsbeurteilungen bekannt. Die in „DIN SCREEN“ formulierten Prüfaussagen funktionieren als Indikatoren solcher möglichen Probleme, denen dann Abhilfe geleistet werden kann. Der generellen Ausrichtung auf den gesamten Prozess der Eignungsbeurteilung ist eine mangelnde Spezifität von „DIN SCREEN“ geschuldet. Die Checkliste erlaubt nur ein erstes grobes Screening, sie macht als einfach handhabbarer Schnelltest auf potentielle Probleme aufmerksam. Zeigen sich bei diesem Schnelltest auffällige Werte, so müssen eventuell noch weitere Analysen mit exakteren Methoden vorgenommen werden.

 


 

Was ist was? Aussagen, Erläuterungen und Referenzen

Grundlage von „DIN SCREEN“ ist die DIN 33430 (DIN, 2002). Diese Norm ist im Beuth-Verlag publiziert (DIN, 2002), aber auch bei Kanning (2004) im vollständigen Wortlaut abgedruckt. „DIN SCREEN“ bildet die Kapitel 4 bis 7 der DIN sowie den Anhang A – und somit alle normativen Aussagen der DIN 33430 (mit Ausnahme der normativen Verweisungen) – vollständig ab. Nicht berücksichtigt wurden Kapitel 1 bis 3 („Anwendungsbereich“, „Normative Verweisungen“ sowie „Begriffe“) und das informative Glossar im Anhang B. Die Qualitätsprüfer können anhand von „DIN SCREEN“ kontrollieren, ob die Anforderungen der DIN für einen konkreten Anwendungsfall erfüllt sind. Alle Aussagen in „DIN SCREEN“ beschreiben den Soll-Wert. Bei einem Prozess der beruflichen Eignungsbeurteilung, der den Anforderungen der DIN 33430 entspricht, ist daher zu erwarten, dass alle Aussagen zutreffend sind (Antwortkategorie „trifft zu“). Aussagen, die auf den zu prüfenden Prozess nicht zutreffen, indizieren zumindest weiteren Analysebedarf, häufig aber auch ein Qualitätsproblem. Die Aussagen von „DIN SCREEN“ spiegeln in der Regel den Text der DIN 33430 wider, in einigen Fällen wurden Ergänzungen oder Modifikationen vorgenommen. Einige Aussagen werden in Form von Fußnoten erläutert. Zur leichteren und eindeutigeren Auffindbarkeit tragen die Erläuterungen die gleiche Index-Nummer wie die Aussage, auf die sie sich beziehen. Die Erläuterungen sind teilweise der DIN 33430 entlehnt, teilweise aber auch als Interpretation der DIN 33430 ergänzt. Die Prüfer sind gehalten, im Zweifelsfall (insbesondere bei Abweichungen von den DIN Anforderungen) die Originalformulierungen in der DIN 33430 (DIN, 2002) nachzulesen, um einen „falschen Alarm“ möglichst auszuschließen. Hinter jeder Aussage ist in Klammern angegeben, auf welche Seite der DIN 33430 (DIN, 2002) sich die Aussage bezieht. (Grundlage der Seitenzahlangaben ist das Dokument „Ref. Nr. DIN 33430:2002-06“.)

 


 

Die sechs Checklisten

Die Anforderungen der DIN 33430 wurden einzelnen Themenkomplexen zugeordnet. „DIN SCREEN“ unterscheidet sechs Bereiche:

  1. Anforderungen an Verfahrenshinweise (Aussagen 1-140)
  2. Planung von berufsbezogenen Eignungsbeurteilungen (Aussagen 141-173)
  3. Auswahl und Zusammenstellung von Verfahren (Aussagen 174-193)
  4. Durchführung, Auswertung und Interpretation der Verfahrensergebnisse sowie Urteilsbildung (Aussagen 194-248)
  5. Dokumentation (Aussagen 249-270)
  6. Anforderungen an die Qualifikation der an der Eignungsbeurteilung beteiligten Personen (Aussagen 271-318)

Zu jedem der sechs Bereiche bietet „DIN SCREEN“ eine separate Checkliste. Je nach Organisation kann es auch sinnvoll sein, dass die einzelnen Checklisten von jeweils anderen Prüfern bearbeitet werden, die über besondere Expertise für den zu prüfenden Bereich verfügen.


 

Die 318 „DIN SCREEN“-Aussagen

Die Aussagen sind über alle sechs Listen hinweg fortlaufend nummeriert und somit eineindeutig.

Sofern einzelne Anforderungen der DIN 33430 mehrere Themenbereiche betreffen, kommen sie in mehreren Listen vor. Dies ist bei sechs Aussagen explizit der Fall. Wenn die DIN 33430 (2002, S. 6f.) beispielsweise regelt, dass die dem Verfahren beigefügten Instruktionen für den Kandidaten so beschaffen sein müssen, „dass die Ergebnisse so wenig wie möglich durch den Kandidaten selbst verfälscht werden können“, so ist diese Aussage sowohl für die Checkliste „1“, Anforderungen an Verfahrenshinweise als auch für die Checkliste „3“, Auswahl und Zusammenstellung von Verfahren, relevant. Entsprechend kommt diese Aussage in beiden Listen der „DIN SCREEN“ vor (Aussage Nr. 67 und Nr. 181). So wird die separate Nutzbarkeit der Listen sichergestellt. Wenn z. B. Testkonstrukteure oder Rezensenten von Tests nur die Checkliste „Anforderungen an Verfahrenshinweise“ nutzen, so werden sie daran erinnert, dass die Verfahrenshinweise entsprechende Instruktionen vorsehen müssen. Umgekehrt werden Entscheider daran erinnert, bei der Auswahl von Verfahren auf diesen Aspekt zu achten.

Die Aussage 142 der Checkliste „2“ fasst die Aussagen 295 und 296 der Checkliste „6“ zusammen.

„DIN SCREEN“ umfasst somit 311 eigenständige Aussagen, von denen sechs Aussagen in zwei Listen abgedruckt sind und vier andere Aussagen (Nr. 56 und 57 sowie Nr. 295 und 296) zusätzlich in zwei weiteren (Nr. 142 sowie Nr. 190) wiederholt werden, so dass sich insgesamt 318 Aussagen ergeben.
In anderen Fällen gibt es implizite Doppelungen einzelner Aussagen der DIN 33430. So werden die von der DIN 33430 geforderten Vorschriften für eine objektive Durchführung, Auswertung und Interpretation (DIN 2002, S. 6) beispielsweise sowohl unter der Perspektive der Informationsanforderungen (Vermeidung von Fehlern in der Durchführung, Auswertung und Interpretation, Aussagen 23-25) als auch unter der Perspektive des Gütekriteriums Objektivität (Aussagen 63-65) aufgegriffen. Auch wenn diese beiden Perspektiven häufig zu der gleichen Bewertung führen werden, muss das Urteil nicht in allen Fällen gleich ausfallen, so dass eine explizite Verknüpfung nicht gegeben ist.

Die impliziten und expliziten „Doppelungen“ von Aussagen wären problematisch, wenn eine Bewertung anhand von Häufigkeitsauszählungen intendiert wäre. Dies ist aber nicht der Fall (siehe weiter unten).

 


 

Können die einzelnen Checklisten separat genutzt werden?

Hinsichtlich der separaten Nutzung einzelner Checklisten ist zu bedenken, dass ein Prozess der Eignungsbeurteilung nur dann den Anforderungen der DIN 33430 entspricht, wenn alle Aspekte den Soll-Werten entsprechend gestaltet werden. Gleichwohl kann es informativ sein, einzelne Themenkomplexe separat auf ihre DIN Kompatibilität hin zu überprüfen. Obwohl die DIN 33430 eine Prozess- und keine Produktnorm ist, kommt dem „Produkt“ „Verfahrenshinweise“ beispielsweise eine zentrale Bedeutung bei. Rund die Hälfte der Aussagen der DIN 33430 bezieht sich auf Anforderungen an Verfahrenshinweise. Zwar gewährleisten Verfahrenshinweise, die den Anforderungen der DIN 33430 genügen, keinesfalls die Qualität des Gesamtprozesses der berufsbezogenen Eignungsbeurteilung. Umgekehrt aber kann ein Prozess der Eignungsbeurteilung in keinem Fall den Anforderungen der DIN 33430 genügen, wenn nicht einmal die in der DIN 33430 formulierten Anforderungen an die Verfahrenshinweise erfüllt sind. Für eine DIN-kompatible Eignungsbeurteilung sind Verfahrenshinweise, die den in Checkliste „1“ dargestellten Anforderungen entsprechen, eine notwendige, wenn auch nicht hinreichende Bedingung. Die Kontrolle der Verfahrenshinweise erlaubt also ein rasches Negativ-Screening eines Verfahrens. Eine berufsbezogene Eignungsbeurteilung, bei der ein Verfahren eingesetzt wird, für das keine DIN-33430-kompatiblen Verfahrenshinweise vorliegen, ist in jedem Fall eine qualitativ unzureichende Eignungsbeurteilung nach DIN 33430.

Während sich zahlreiche Aussagen der DIN 33430 explizit nur auf die Eignungsbeurteilung beziehen, kann die „DIN SCREEN“ Checkliste „1“ zur DIN 33430 im Umfang von 140 ausgewählten, verfahrensbezogenen Aussagen für Tests aus allen Anwendungsbereichen genutzt werden. Ein wesentliches Problem der bisherigen Beurteilung von Tests besteht darin, dass sich etliche Anbieter einer Bewertung ihrer Testverfahren entziehen, indem wesentliche Informationen zum Test vorenthalten werden. Mit diesem Informationsdefizit räumt die DIN 33430 auf, indem sie umfangreiche Informationen zum Verfahren einfordert. Der DIN 33430 liegt somit ein Informationsansatz zugrunde. Auf der Basis der geforderten Informationen kann ein sachverständiger Beurteiler eine Testbeurteilung vornehmen. Explizit formuliert: Die Testbeurteilung erfolgt nicht nach der DIN 33430, sondern die Testbeurteilung erfolgt aufgrund der Informationen, die nach der DIN 33430 zu einem Test vorliegen müssen. Sind zentrale Informationen aber erst gar nicht vorhanden (was häufig der Fall ist), führt dies automatisch zu einer negativen Beurteilung. Somit eignet sich die DIN 33430 für ein rasches Negativ-Screening von Testverfahren und als Vorbereitungsstufe einer Testbeurteilung, ohne selbst ein Testbeurteilungssystem zu sein. Die Checkliste „1“ der vorliegenden Publikation („DIN SCREEN“ Aussagen 1-140) gilt offiziell als „Standard zur Information und Dokumentation von Instrumenten zur Erfassung menschlichen Erlebens und Verhaltens“ des Testkuratoriums der Föderation Deutscher Psychologenvereinigungen.

Die Information über einen Test und die Dokumentation des Tests und seiner Eigenschaften erfolgt also für Tests aus allen Anwendungsbereichen nach DIN 33430 und somit nach der DIN SCREEN Checkliste „1“. Die Bewertung eines Tests, unabhängig von dessen Einsatz, z. B. nach Art eines Testgütesiegels, ist nach DIN 33430 aber nicht möglich, da der jeweilige Auftrag, die Rahmenbedingungen, das Verfahren und die mitwirkenden Personen simultan zu betrachten sind. Die DIN 33430 zielt auf eine Prozesslenkung, nicht auf eine Prüfung am Ende der Produktionskette ab. Nach der DIN 33430 ist nicht ein Test an sich problematisch, sondern der Gebrauch, der von einem Test gemacht wird, kann problematisch sein. In diesem Sinne sind die Verfahrenshinweise auch eine Gebrauchsanweisung, die über das Produkt und seinen Gebrauchswert informiert. Für die und in den Verfahrenshinweisen sollen im Sinne eines „Reporting“ diejenigen Informationen erarbeitet und systematisch sowie empfängerorientiert aufbereitet werden, die für eine Entscheidung über den Testeinsatz sowie für den Testeinsatz selbst notwendig sind.

Die separate Nutzung einzelner „DIN SCREEN“ Checklisten bleibt allerdings auf spezifische Interessenslagen begrenzt (z. B. Prüfung der Verfahrenshinweise von Testverfahren). Die Aufteilung in Themenkomplexe dient vorrangig der leichteren Handhabung und nicht der isolierten Nutzung. Die Unterteilung in Themenkomplexe ermöglicht es, „DIN SCREEN“ nicht nur als Leitfaden zur Qualitätskontrolle und Qualitätsoptimierung, sondern auch als Leitfaden für die Planung von Eignungsbeurteilungen zu nutzen.

 


 

Wie funktioniert „DIN SCREEN“?

Der Antwortmodus besteht aus einer zweistufigen Skala mit den beiden Ausprägungen „trifft zu“ und „trifft nicht zu“. Zusätzlich wurde eine alternative Antwortmöglichkeit („nicht zu bewerten“) aufgenommen. Diese Alternative kann gewählt werden, wenn Prüfer sich aus unterschiedlichen Gründen außerstande sehen, ein Urteil zu der in Frage stehenden Aussage zu fällen. Allerdings sollte von dieser Bewertungskategorie nur in (schriftlich) begründeten Ausnahmefällen Gebrauch gemacht werden. Zu jeder Checkliste können Anmerkungen verfasst werden. Eine schriftliche Erläuterung ist vorgeschrieben, wenn die Kategorie „nicht zu bewerten“ gewählt wurde. Darüber hinaus steht es den Prüfern frei, zu jeder Aussage Anmerkungen zu formulieren, um z. B. ihr Urteil zu erläutern. Damit diese Anmerkungen sicher aufgefunden werden, sollte bei der entsprechenden Aussage das Kästchen „Anmerkungen“ angekreuzt werden. Ein Beispiel für die möglichen Antwortkategorien ist in Kasten 1 dargestellt.

Um die „DIN SCREEN“ Aussagen zu bearbeiten, werden die jeweils notwendigen Informationen in Dokumenten nachgeschlagen. Die der Prüfung zugrunde gelegten Dokumente werden zu Beginn der Programmbearbeitung abgefragt. Es empfiehlt sich eine Eingabe, auf welcher Seitenzahl in dem Prüfdokument die jeweils gesuchte Information gefunden wurde. Ein Beispiel: Aussage 61 lautet: „In den Verfahrenshinweisen werden Angaben zur Objektivität des Verfahrens gemacht.“ Die Prüfer schauen nun in die Verfahrenshinweise zum Verfahren x und finden die Angaben zur Objektivität beispielsweise auf Seite 32 der Verfahrenshinweise. Um eine spätere Nachvollziehbarkeit der Prüfung zu erleichtern, ist es sinnvoll, zusätzlich zu dem Kreuz bei „trifft zu“ an den Rand neben Aussage 61 einzutragen: „S. 32“.

Kasten 1: Beispiel für die Antwortkategorien sowie für eine Bewertungsverknüpfung

Kasten 1: Beispiel für die Antwortkategorien sowie für eine Bewertungsverknüpfung

 

Weitere Beispiele fuer die Checkliste: siehe hier.

Einige Aussagen enthalten Aufzählungen. Durch Unterstreichungen ist kenntlich gemacht, wenn es sich dabei um logische „Und-Verknüpfungen“ handelt. In diesem Fall muss jede Komponente / jeder Aspekt der Aufzählung erfüllt sein, damit die Aussage als zutreffend („trifft zu“) gelten kann (siehe dazu das Beispiel in Kasten 2).

Kasten 2: Beispiel für eine Aussage mit logischer "Und-Verknüpfung"

Kasten 2: Beispiel für eine Aussage mit logischer „Und-Verknüpfung“

 


 

Normative und nicht-normative Aussagen

Die DIN 33430 differenziert zwischen normativen Aussagen und nicht-normativen Aussagen. Alle „Anmerkungen“ der DIN 33430 und die in Kapitel 7 formulierten Leitsätze für die Vorgehensweise bei berufsbezogenen Eignungsbeurteilungen sowie das (für „DIN SCREEN“ ohnehin nicht berücksichtigte) Glossar sind beispielsweise nicht-normativ, sondern lediglich informativ. „DIN SCREEN“ gibt diese Unterscheidung wieder und differenziert 273 normative und 45 nicht-normative Aussagen. Die sechs Checklisten von „DIN SCREEN“ sind so aufgebaut, dass zunächst die normativen Aussagen aufgelistet werden und (so vorhanden) anschließend (durch einen Strich graphisch separiert) die nicht-normativen Aussagen. Aus diesem Grund gibt es beispielsweise zwei Abschnitte zur Anforderungsanalyse, zunächst die normativen Aussagen (Anforderungsanalyse I, Aussagen 151-153) und dann die nicht-normativen Aussagen (Anforderungsanalyse II, Aussagen 166-173) zur Anforderungsanalyse. Wenn eine Aussage mit „trifft nicht zu“ bewertet wird, die keinen normativen Charakter hat, stellt dies die Kompatibilität des Prozesses mit der DIN 33430 formal nicht in Frage. Gleichwohl indizieren auch diese Fälle inhaltliches Optimierungspotential.

 


 

Verzweigungsfragen

In 69 Fällen sind den zu bewertenden Aussagen „Verzweigungsfragen“ vorangestellt, um sicherzustellen, dass nur die für den jeweiligen Anwendungszweck relevanten DIN Anforderungen geprüft werden. In diesem Fall werden einzelne, nachfolgende Aussagen übersprungen. (Es wird also nicht etwa das Kästchen „nicht zu bewerten“ angekreuzt, sondern die Aussage wird ohne Bearbeitung übersprungen). Auch bei den Verzweigungsfragen ist es die Aufgabe der Prüfer, ein Urteil zu fällen und diese Verzweigungsentscheidung bei Bedarf nachvollziehbar werden zu lassen und zu verantworten. Lautet die Verzweigungsfrage beispielsweise: „Gibt es Gruppen, bei denen das Verfahren nicht als Entscheidungsgrundlage genutzt werden darf?“ (Verzweigungsfrage 31 (V31), siehe Checkliste „1“, vor Aussage 103), so ist nicht gefragt, welche Ansicht die Autoren bzw. Herausgeber oder die Vertreiber des Verfahrens in dieser Sache haben, sondern wie bei den Aussagen selbst, entscheidet das Urteil der Prüfer über die Verzweigung.

 


 

Bewertungsverknüpfungen

Darüber hinaus gibt es 37 Hinweise auf sachliche Bewertungsverknüpfungen aufgrund von hierarchischen Beziehungen zwischen Aussagen. So fordert die DIN 33430 (2002, S. 8) z. B. die berufsbezogene Eignungsbeurteilung sorgfältig zu planen, „indem alle Aspekte der Durchführung (…) der Verfahren (…) vorab festgelegt werden“. Hierzu gibt es in „DIN SCREEN“ zwei Aussagen. Eine Aussage konstatiert, dass die Regeln zur Durchführung festgelegt wurden (Aussage 159), eine andere Aussage (Nr. 253) hält fest, dass diese Regeln dokumentiert sind. Existieren aber gar keine Regeln, können diese auch nicht dokumentiert sein. Daher folgt auf ein „trifft nicht zu“ bei Aussage 159 automatisch auch ein „trifft nicht zu“ bei Aussage 253. Solche Bewertungsverknüpfungen werden durch die Verknüpfungshinweise explizit geregelt, wie das Beispiel in Kasten 1 (oben) zeigt. Die Hinweise beziehen sich immer auf die unmittelbar über dem Hinweis stehende Aussage. Die Zeilen mit den entsprechenden Verknüpfungshinweisen sind grau hinterlegt.

Die hinter einer „Verknüpfung“ und „Verzweigung“ angegeben Nummern der Aussagen beziehen sich zumeist auf die Aussagen innerhalb einer Checkliste; Checklistenübergreifende Verknüpfungen werden explizit gekennzeichnet.

Verzweigungsfragen können dazu führen, dass einige Aussagen für den vorliegenden Anwendungsfall nicht beurteilungsrelevant sind und folglich bei der Qualitätskontrolle außer Acht gelassen werden können. Demgegenüber führen die Hinweise auf Verknüpfungen dazu, dass bei der Nicht-Erfüllung einer zentralen Anforderung zwangsläufig weitere Defizite sichtbar werden, die für die Qualitätskontrolle und -optimierung bedeutsam sind.

 


 

Separate Prüfung pro Verfahren

Häufig werden im Rahmen von berufsbezogenen Eignungsbeurteilungen mehrere Verfahren simultan eingesetzt, z. B. ein Test und ein Interview sowie Rollenspiele. In diesem Fall sind die Aussagen von „DIN SCREEN“, die sich auf ein Verfahren beziehen, separat für jedes genutzte Verfahren zu prüfen.


 

„DIN SCREEN“

Die Version 2 der Checklisten ist im Hogrefe Verlag erschienen:

Kersting, M. (2008). DIN Screen, Version 2. Leitfaden zur Kontrolle und Optimierung der Qualität von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen. In: M. Kersting. Qualitätssicherung in der Diagnostik und Personalauswahl – der DIN Ansatz (S. 141-210). Göttingen: Hogrefe. ISBN: 978-3-8017-2151-0

Mehr Informationen zu diesem Buch: Hier klicken.

 


 

Unterschiede zwischen der ersten und zweiten „DIN SCREEN“ Version

Worin besteht der Unterschied zwischen der ersten Version der DIN Screen (Kersting, 2006) und der zweiten Version (Kersting, 2008)? In der ersten Version wurden die Aussagen mit „trifft zu“ bzw. „trifft nicht zu“ beantwortet, für die Antworten der Verzweigungsfragen waren keine Ankreuzmöglichkeiten vorgesehen. Demgegenüber sieht die zweite Version die Antwortkategorien „ja“ oder „nein“ vor und diese Antwort wird auch bei den Verzweigungsfragen verlangt. In der zweiten Version wurde außerdem eine weitere Spalte (rechts außen) eingefügt. Hier kann eingetragen werden, auf welcher Seitenzahl in dem Prüfdokument (Quelle) die jeweils gesuchte Information gefunden wurde. Darüber hinaus waren die „Hinweise“ in der ersten Version der „DIN SCREEN“, anders als in der aktuellen Version, nicht nummeriert. In der ersten Version gab es eine Inkonsistenz bei den Verzweigungsfragen. Während bei 68 der 69 Verzweigungsfragen immer dann Folge-Aussagen übersprungen wurden, wenn die Verzweigungsfrage mit „nein“ beantwortet wurde, war es bei Verzweigungsfrage „V22“ genau umgekehrt: Hier führte eine „Ja“-Antwort zum Ãœberspringen der nachfolgenden Aussage. In der aktuellen Version wurde die Verzweigungsfrage „V22“ so umformuliert, dass jetzt ebenfalls ein „nein“ das Ãœberspringen nach sich zieht. Darüber hinaus wurde eine falsche Verzweigung („V20“) korrigiert und der Text der Verzweigungsfrage „V21“ gegenüber der ersten Version geringfügig modifiziert. Eine Textmodifikation gab es auch bei Aussage Nr. 263.

Trotz dieser Unterschiede sind die der erste und die zweite Version kompatibel, es wurden keine Änderungen der Nummern der Aussagen oder gar der Aussagen selbst vorgenommen.

 


 

„DIN SCREEN“ als Ausgangspunkt einer Initiative zur Qualitätsoptimierung

„DIN SCREEN“ eignet sich für ein grobes Screening (das idealerweise, zumindest aber in besonders schwerwiegenden Beurteilungsfällen, von mindestens zwei unabhängig arbeitenden Prüfern vollzogen wird), nicht aber für eine differenzierte Beurteilung der Qualität von Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen. Jeder Versuch, diese Qualität(en) allein aufgrund von Auszählungen der mit „trifft zu“ und „trifft nicht zu“ beantworteten Aussagen zu bestimmen, stellt einen Missbrauch der Checklisten dar. Dies liegt vor allem daran, dass die Anforderungen sich in ihrer Bedeutsamkeit deutlich unterscheiden. Welche Anforderungen aber als besonders bedeutsam oder weniger bedeutsam gelten, variiert in Abhängigkeit von der Fragestellung und den Umständen des jeweiligen Verfahrenseinsatzes und der jeweiligen Eignungsbeurteilung. Qualitätsanforderungen haben selbst eine Qualität, sie sind angemessen, überzogen oder zu gering – und zwar im Bezug auf den jeweiligen Anwendungszweck. Auch die Tatsache, dass einige Aussagen der DIN 33430 an mehreren Stellen von „DIN SCREEN“ aufgegriffen werden, vereitelt eine Bewertung nach der schlichten Auszählmethode.

„DIN SCREEN“ zielt nicht auf eine statische Beurteilung ab, sondern auf eine dynamische Qualitätsoptimierung. „DIN SCREEN“ versteht sich als Ausgangspunkt eines vertrauensvollen und vertrauensbildenden Dialogs zwischen Prüfern und Verantwortlichen und als Anfang einer Initiative zur Qualitätsoptimierung von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen.


 

 Literatur

  • DIN (2002). DIN 33430: Anforderungen an Verfahren und deren Einsatz bei berufsbezogenen Eignungsbeurteilungen. Berlin: Beuth.
  • Hornke, L.F. & Kersting, M. (2004). „Checkliste“ zur DIN 33430. In L.F. Hornke & U. Winterfeld (Hrsg.), Eignungsbeurteilungen auf dem Prüfstand: DIN 33430 zur Qualitätssicherung (S. 273-324). Heidelberg: Spektrum Akademischer Verlag.
  • Kanning, U. P. (2004). Standards der Personaldiagnostik. Göttingen: Hogrefe.
  • Kersting, M. (2006). „DIN SCREEN“ – Leitfaden zur Kontrolle und Optimierung der Qualität von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen. Lengerich: Pabst Science Publishers. (ISBN 3-89967-306-9)
  • Kersting, M. (2008). DIN Screen, Version 2. Leitfaden zur Kontrolle und Optimierung der Qualität von Verfahren und deren Einsatz bei beruflichen Eignungsbeurteilungen. In: M. Kersting. Qualitätssicherung in der Diagnostik und Personalauswahl – der DIN Ansatz (S. 141-210). Göttingen: Hogrefe. ISBN: 978-3-8017-2151-0

 


 

Downloads

In dem folgendem Artikel wird auf den Seiten 249-250 erläutert, welche Bedeutung die DIN 33430 für die Beurteilung von Tests hat:

Kersting, M. (2006). Zur Beurteilung der Qualität von Tests: Resümee und Neubeginn. Psychologische Rundschau, 57, 243-253. (pdf)

Weitere Downloads finden Sie hier: zu den Downloads

 


 

„DIN SCREEN“: Überblick

Checkliste „1“: Anforderungen an Verfahrenshinweise

1.1 Grundsätze / Informationspolitik (Aussagen 1-14)
1.2 Spezifische Informationsanforderungen (Aussagen 15-33)
1.3 Erforderliche Hinweise zur Verfahrensdurchführung, -auswertung und -interpretation (Aussagen 34-44)
1.4 Anforderungen an die Darstellung empirischer Untersuchungen (Aussagen 45-52)
1.5 Theoretische Grundlagen psychometrischer Verfahren (Aussagen 53-55)
1.6 Normwerte/Referenzkennwerte (Aussagen 56-60)
1.7 Objektivität (Aussagen 61-67)
1.8 Zuverlässigkeit (Reliabilität) (Aussagen 68-76)
1.9 Gültigkeit (Validität) (Aussagen 77-105)
1.10 Konstruktgültigkeit (Konstruktvalidität) (Aussagen 106-116)
1.11 Kriteriumsgültigkeit (Kriteriumsvalidität) (Aussagen 117-124)
1.12 Inhaltsgültigkeit (Inhaltsvalidität) (Aussagen 125-132)
1.13 Studien zur Zuverlässigkeit (Reliabilität) (nicht-normative Aussagen 133-136)
1.14 Studien zur Gültigkeit (Validität) (nicht-normative Aussagen 137-140)
Anmerkungen zu Checkliste 1

Checkliste „2“: Planung von berufsbezogenen Eignungsbeurteilungen

2.1 Auftragsklärung (Aussagen 141-142)
2.2 Verantwortlichkeiten (Aussagen 143-150)
2.3 Anforderungsanalyse I (Aussagen 151-153)
2.4 Berücksichtigung von Besonderheiten der Eignungsbeurteilung (Aussagen 154-158)
2.5 Festlegung der Regeln zur Durchführung, Auswertung und Interpretation der Verfahrensergebnisse sowie Urteilsbildung und Ergebnisrückmeldung (Aussagen 159-165)
2.6 Anforderungsanalyse II (nicht-normative Aussagen 166-172)
2.7 Planungen zur Verfahrensdurchführung (nicht-normative Aussage 173)
Anmerkungen zu Checkliste 2

Checkliste „3“: Auswahl und Zusammenstellung von Verfahren

3.1 Grundsätzliche Gesichtspunkte der Verfahrensauswahl (Aussagen 174-175)
3.2 Auswahlgesichtspunkt Objektivität (Aussagen 176-181)
3.3 Auswahlgesichtspunkt Zuverlässigkeit (Aussagen 182-184)
3.4 Auswahlgesichtspunkt Gültigkeit (Aussagen 185-189)
3.5 Auswahlgesichtspunkt Normwerte/Referenzkennwerte (Aussagen 190-193)
Anmerkungen zu Checkliste 3

Checkliste „4“: Durchführung, Auswertung und Interpretation der Verfahrensergebnisse sowie Urteilsbildung

4.1 Durchführung I (Aussagen 194-205)
4.2 Auswertung, Interpretation und Urteilsbildung (Aussagen 206-212)
4.3 Interpretation / Urteilsbildung (Aussagen 213-224)
4.4 Vorauswahl (nicht-normative Aussagen 225-228)
4.5 Durchführung II (nicht-normative Aussagen 229-248)
Anmerkungen zu Checkliste 4

Checkliste „5“: Dokumentation

5.1 Dokumentation (Aussagen 249-266)
5.2 Dokumentation der Anforderungsanalyse (nicht-normative Aussagen 267-270)
Anmerkungen zu Checkliste 5

Checkliste „6“: Anforderungen an die Qualifikation der an der Eignungsbeurteilung beteiligten Personen

6.1 Qualitätsanforderungen an den Auftragnehmer (Aussagen 271-296)
6.2 Qualitätsanforderungen zur Durchführung und Auswertung von Verhaltensbeobachtungen und -beurteilungen (Aussagen 297-309)
6.3 Qualitätsanforderungen zur Durchführung und Auswertung von Eignungsinterviews (Aussagen 310-318)
Anmerkungen zu Checkliste 6