Objektivität, Reliabilität, Validität: die Gütekriterien klar unterschieden

Objektivität, Reliabilität und Validität sind die drei Hauptgütekriterien eines psychologischen Tests. Objektivität heißt: Das Ergebnis hängt nicht davon ab, wer den Test durchführt, auswertet oder deutet. Reliabilität heißt: Der Test misst konsistent, mit wenig Messfehler. Validität heißt: Die Testwerte tragen die Deutung, die du mit ihnen verbindest.

Die kurze Lehrbuchdefinition der Validität lautet: Ein Test ist valide, wenn er das misst, was er messen soll. Die Standards for Educational and Psychological Testing, das gemeinsame Regelwerk von AERA, APA und NCME, fassen den Begriff genauer. Danach werden nicht Tests bewertet, sondern Deutungen von Testwerten für einen bestimmten Zweck. Und es ist dort falsch, ohne Zusatz von „der Validität des Tests“ zu sprechen. Dieser Artikel zeigt beide Sichtweisen nebeneinander: die Begriffe, wie du sie lernst, und die Begriffe, wie das Regelwerk sie fasst.

• Objektivität heißt Unabhängigkeit vom Untersucher, bei Durchführung, Auswertung und Interpretation.
• Reliabilität ist Konsistenz: über die Zeit, über die Items und über Beurteiler. Die Grenze von 0,80 ist die Faustregel eines Lehrbuchs, kein Gesetz.
• Validität lernst du als Liste von Arten. Die Standards kennen stattdessen eine einzige Validität mit fünf Quellen von Evidenz.
• Ein Test kann reliabel und trotzdem nicht valide sein. Zufallsfehler begrenzen dagegen, was sich aus den Werten schließen lässt.
• Interne und externe Validität betreffen Studien, nicht Tests.

Reliabilität, Validität, Objektivität: der Unterschied in einer Tabelle

Der Unterschied zwischen Reliabilität und Validität in einem Satz: Reliabilität fragt, ob die Werte konsistent sind, Validität fragt, ob sie das Gemeinte bedeuten. Das Dorsch-Lexikon nennt diese drei Kriterien die Hauptgütekriterien. Daneben stehen die Nebengütekriterien, die weiter unten folgen.

Objektivität: das Ergebnis hängt nicht vom Untersucher ab

Nach dem Dorsch-Lexikon ist Objektivität erfüllt, wenn die Ergebnisse vom Untersucher und von der Untersuchungssituation unabhängig sind. Es unterscheidet drei Arten, die zu den drei Schritten eines Tests passen:

• Durchführungsobjektivität: Der Test läuft standardisiert ab. Instruktion und Bearbeitungsdauer sind stets identisch.
• Auswertungsobjektivität: Für jedes Antwortverhalten gibt es eine eindeutige Auswertungsvorschrift, zum Beispiel eine Auswertungsschablone oder eine automatische Auswertung am Computer.
• Interpretationsobjektivität: Verschiedene Auswerter deuten dieselben Testergebnisse gleich. Das erreichen Tests in der Regel durch Normierung und typische Interpretationsbeispiele.

Geprüft wird Objektivität mit Maßen der Beurteilerübereinstimmung. Das englischsprachige Lehrbuch Research Methods in Psychology (2nd Canadian Edition von 2015, im Folgenden das Open Textbook; spätere Auflagen gibt es) führt Objektivität nicht als eigenes Kriterium auf. Es behandelt die Übereinstimmung von Beurteilern als Interrater-Reliabilität. In den Standards steht das Wort „objectivity“ nur einmal, in einem Nebensatz. Im Dorsch-Lexikon gehört Objektivität dagegen zu den Hauptgütekriterien.

Reliabilität: wie konsistent ein Test misst

Reliabilität bedeutet Zuverlässigkeit der Messung. Das Dorsch-Lexikon erklärt sie mit der Klassischen Testtheorie: Ein beobachteter Wert setzt sich aus einem wahren Wert und einem Messfehler zusammen. Die Reliabilität ist das Verhältnis der Varianz der wahren Werte zur Varianz der beobachteten Werte. Sie liegt zwischen 0 und 1. Bei 0 gehen alle beobachtbaren Unterschiede auf Messfehler zurück, bei 1 gibt es keinen Messfehler.

Die Standards unterscheiden zwei Bedeutungen des Wortes: den Koeffizienten der Klassischen Testtheorie, also die Korrelation zwischen den Werten in zwei gleichwertigen Testformen, und allgemeiner die Konsistenz der Werte über Wiederholungen eines Testverfahrens. Für den allgemeinen Begriff verwenden sie „Reliabilität/Präzision“ (S. 33). „Wiederholung“ meint dort die Wiederholung der Messung, nicht die Replikation einer Studie. Ob ein Studienergebnis wiederkehrt, zeigt unser Artikel über kognitive Verzerrungen: was der Replikation standgehalten hat.

Diese Arten der Reliabilität nennen Lehrbücher:

• Retest-Reliabilität: Du gibst denselben Test derselben Gruppe zu zwei Zeitpunkten und korrelierst die Werte. Das Open Textbook zeigt Daten, in denen mehrere Studierende die Rosenberg Self-Esteem Scale im Abstand einer Woche zweimal ausfüllen. Die Korrelation beträgt dort r = 0,95.
• Paralleltest-Reliabilität: Du korrelierst die Werte in zwei gleichwertigen Formen desselben Tests. Das ist die ursprüngliche Bedeutung des Koeffizienten (Standards, S. 33).
• Interne Konsistenz: Die Items eines Tests sollen dasselbe Konstrukt erfassen und deshalb miteinander korrelieren. Bei der Split-Half-Methode teilst du die Items in zwei Hälften, zum Beispiel gerade und ungerade Nummern, und korrelierst die Teilwerte. Cronbachs Alpha ist dem Sinn nach der Mittelwert aller möglichen Split-Half-Korrelationen. Bei 10 Items gibt es 252 Möglichkeiten, sie in zwei Fünfergruppen zu teilen.
• Interrater-Reliabilität: Wie ähnlich urteilen verschiedene Beobachter? Das Open Textbook nennt für quantitative Urteile häufig Cronbachs Alpha und für kategoriale Urteile Cohens Kappa.

Das Open Textbook zählt drei Arten von Konsistenz: über die Zeit, über die Items und über Beurteiler. Das Dorsch-Lexikon führt vier Verfahren auf: Retest, Paralleltest, Split-Half und interne Konsistenz. Wie viele Arten du nennen sollst, hängt also von deinem Lehrbuch ab. Ein Beispiel aus der Praxis steht in unserem Artikel über die Abwehrmechanismen: Dort erreichen Ratingverfahren und der Defense Style Questionnaire brauchbare Reliabilitäten.

Für Retest-Korrelation, Split-Half-Korrelation und Alpha nennt das Open Textbook jeweils r = 0,80 oder mehr als Zeichen guter Reliabilität. Das ist die Faustregel dieses einen Lehrbuchs. Die Standards nennen in dem zitierten Absatz keine Zahl. Sie schreiben: „Die Reliabilität/Präzision einer Messung ist immer wichtig. Der Bedarf an Präzision wächst jedoch mit der Bedeutung der Folgen von Entscheidungen und Interpretationen.“ Alle englischen Zitate in diesem Artikel haben wir selbst übersetzt.

Eine hohe Retest-Reliabilität ist auch nicht immer das Ziel. Eine Stimmung ändert sich von Natur aus. Ein Stimmungsmaß mit niedriger Retest-Korrelation über einen Monat wäre nach dem Open Textbook kein Grund zur Sorge. Bei Intelligenz, Selbstwert und den Big Five, die als zeitlich stabil gelten, ist das anders.

Validität, wie du sie in der Klausur lernst

Im Dorsch-Lexikon hat die Validität drei Schwerpunkte: inhaltliche Validität, Konstruktvalidität und Kriteriumsvalidität. Das Open Textbook nennt zusätzlich die Augenscheinvalidität. Diese Arten begegnen dir:

• Augenscheinvalidität: Das Verfahren wirkt auf den ersten Blick so, als messe es das gemeinte Konstrukt. Das Open Textbook nennt sie „höchstens eine sehr schwache Art von Evidenz“, weil sie auf Intuitionen über menschliches Verhalten beruht, und die liegen oft falsch. Als Beispiel für ein Verfahren ohne Augenscheinvalidität nennt es den MMPI-2, bei dem viele Aussagen keinen erkennbaren Bezug zum gemessenen Merkmal haben.
• Inhaltliche Validität: Deckt der Test das Konstrukt ab? Nach dem Dorsch-Lexikon müssen die Items alle für das Konstrukt wichtigen Aspekte repräsentativ erfragen und dürfen nichts Irrelevantes erfassen. Das Open Textbook nimmt Prüfungsangst als Beispiel, die nervöse Gefühle und negative Gedanken umfasst: Ein gutes Maß braucht Items zu beidem.
• Kriteriumsvalidität: Hängen die Werte mit einem Außenkriterium zusammen, mit dem sie zusammenhängen sollten? Die Werte eines Prüfungsangst-Maßes sollten laut Open Textbook negativ mit der Leistung in einer wichtigen Klausur korrelieren. Liegt das Kriterium zeitgleich vor, heißt es Übereinstimmungsvalidität oder konkurrente Validität. Tritt es später ein, heißt es Vorhersagevalidität oder prädiktive Validität.
• Konstruktvalidität: Das Dorsch-Lexikon nennt sie den theoretisch anspruchsvollsten Maßstab. Das Verfahren muss Daten liefern, die eine bewährte Theorie vorhersagt. Dazu zählen die konvergente Validität (Zusammenhang mit anderen Maßen desselben Konstrukts) und die diskriminante Validität (kein starker Zusammenhang mit Maßen anderer Konstrukte). Das Open Textbook nennt dafür als Beispiel eine Selbstwertskala, die nicht stark mit der Stimmung zusammenhängen sollte. Das Open Textbook führt die konvergente Validität unter der Kriteriumsvalidität auf.

Die Einteilung ist also nicht überall dieselbe. Das Open Textbook schlägt vor, die Arten als verschiedene Arten von Evidenz zu lesen, die neben der Reliabilität zählen, wenn du die Validität eines Maßes beurteilst.

Validität nach den Standards: ein einheitliches Konzept

Die Standards sind das gemeinsame Regelwerk dreier US-Verbände: der American Educational Research Association, der American Psychological Association und des National Council on Measurement in Education. Die Ausgabe von 2014 ist frei zugänglich. Im Juni 2024 haben die Verbände einen gemeinsamen Ausschuss benannt, der die Ausgabe von 2014 überarbeiten soll. Der Wortlaut kann sich also ändern.

Die Definition steht auf S. 11: „Validität bezeichnet das Ausmaß, in dem Evidenz und Theorie die Interpretationen von Testwerten für vorgesehene Verwendungen von Tests stützen.“ Zwei Teile sind wichtig, die Interpretation und der Zweck. Bewertet werden Interpretationen für einen Zweck, nicht der Test selbst. Die Standards schreiben (S. 11): „Es ist falsch, die unqualifizierte Formulierung ‚die Validität des Tests‘ zu verwenden.“ Im Original: „It is incorrect to use the unqualified phrase ‚the validity of the test.‘“ Ihr Beispiel (S. 14): Evidenz dafür, dass ein Mathematiktest Schüler in Folgekurse einstuft, erlaubt keinen Schluss auf andere Zwecke, etwa die Beurteilung von Lehrkräften.

Die zweite Abweichung betrifft die Arten. Die Quellen von Evidenz, schreiben die Standards (S. 13 bis 14), „können verschiedene Aspekte der Validität beleuchten, aber sie stellen keine verschiedenen Arten von Validität dar. Validität ist ein einheitliches Konzept.“ Sie sei das Ausmaß, in dem die gesamte angesammelte Evidenz die beabsichtigte Interpretation der Testwerte für den vorgesehenen Zweck stützt. Die Ausgabe von 2014 spricht deshalb von Arten von Validitätsevidenz und verzichtet auf historische Begriffe wie „content validity“ oder „predictive validity“. Schon die Ausgabe von 1999 hielt es so. Als Quellen nennen die Standards:

• Evidenz aus dem Testinhalt: wie gut Themen, Wortlaut und Format der Items das Konstrukt abbilden.
• Evidenz aus Antwortprozessen: ob die Testpersonen die Denkprozesse einsetzen, die das Konstrukt annimmt.
• Evidenz aus der internen Struktur: ob die Beziehungen zwischen den Items zum Konstrukt passen.
• Evidenz aus Beziehungen zu anderen Variablen: Zusammenhänge mit Kriterien und mit anderen Tests, darunter konvergente und diskriminante Evidenz.
• Evidenz aus den Konsequenzen des Testens: die Folgen der Testverwendung, auch die unbeabsichtigten.

Die Zuordnung ist unsere Lesart, kein Zitat der Standards. Für die Klausur gilt trotzdem: Lerne die Namen der Arten. Lehrbücher und das Dorsch-Lexikon arbeiten weiter mit ihnen, und wenn eine Aufgabe nach der Kriteriumsvalidität fragt, ist die Antwort „Kriteriumsvalidität“. Du kannst sie jetzt als Arten von Evidenz lesen statt als getrennte Eigenschaften.

Einen ähnlichen Gedanken enthält das Dorsch-Lexikon. Es schreibt, die Bewertung der Validität erfordere in der Regel eine „integrative Betrachtung mehrerer empirischer und theoretischer Validitätsaspekte“, und die Wahl der Validitätsprüfung müsse mit der Anwendungs- bzw. Interpretationsintention begründet werden. Die Einheitssicht ist die Position des gemeinsamen Regelwerks, nicht ein Beschluss aller Fachleute. Kritik daran behandelt dieser Artikel nicht.

Reliabel, aber nicht valide: wie Reliabilität und Validität zusammenhängen

Das Open Textbook bringt ein absurdes Beispiel: Jemand hält ein Lineal an den Zeigefinger und will so den Selbstwert messen. Die Messung wäre sehr konsistent, hätte aber keinerlei Validität, denn die Länge eines Zeigefingers sagt nichts über den Selbstwert.

Die Standards nennen als systematischen Fehler einen falschen Lösungsschlüssel. Er macht bei jeder Auswertung denselben Fehler. Solche Fehler gelten nicht als Mangel an Reliabilität/Präzision. Es sind „konstruktirrelevante Faktoren“, die die Validität mindern, nicht aber die Reliabilität/Präzision (S. 36).

Umgekehrt geht es nicht so einfach. Nach den Standards hat die Reliabilität/Präzision der Werte Folgen für die Validität. Soweit Werte über Wiederholungen des Testverfahrens nicht konsistent sind, also zufällige Messfehler enthalten, ist ihr Potenzial für genaue Vorhersagen von Kriterien, für nützliche Diagnosen und für kluge Entscheidungen „begrenzt“ (S. 34 bis 35). Das Wort ist „begrenzt“, nicht „ausgeschlossen“. Beides gilt gleichzeitig: Reliabilität garantiert keine Validität, und Zufallsfehler begrenzen, was sich aus den Werten schließen lässt.

Die Standards beschreiben außerdem einen Zielkonflikt (S. 36). Offenere Verfahren, etwa bewertete ausführliche Antworten, haben tendenziell eine geringere Reliabilität als strukturierte Tests mit Multiple Choice oder Kurzantworten. Sie können aber manchmal den gemeinten Gegenstand direkter erfassen, und dadurch kann die Validität der Deutung steigen. Mehr Reliabilität ist also nicht automatisch mehr Validität.

Das DocCheck Flexikon stellt die drei Kriterien als Kette dar. Es schreibt, Gütekriterien bauten „hierarchisch aufeinander auf“, und jede Stufe sei „nur nach Erfüllung der vorhergehenden zu erreichen“. Das ist strenger als die Standards. Dort schließen Zufallsfehler Validität nicht aus, sie „begrenzen“ nur, was sich aus den Werten schließen lässt. Einig sind sich beide darin, dass ein reliabler Test damit noch nicht valide ist. Die Kette ist eine Lehrform, keine Regel aus den Standards.

Nebengütekriterien und die DIN 33430

Neben den drei Hauptgütekriterien führt das Dorsch-Lexikon die Nebengütekriterien auf: Änderungssensitivität, Normierung, Nützlichkeit, Skalierung, Testökonomie, Testfairness, Unverfälschbarkeit und Zumutbarkeit. Als derzeit rechtsnächste Norm für diese Kriterien nennt der Eintrag die DIN 33430, die Anforderungen an Verfahren und ihren Einsatz bei berufsbezogenen Eignungsbeurteilungen festlegt. Stand des Eintrags ist Juli 2023.

Interne und externe Validität gehören zu einer anderen Frage

Bisher ging es um die Validität von Messungen. Interne und externe Validität betreffen dagegen Studien, nicht Tests: ob ein Test das Gemeinte misst, ist eine andere Frage als die, ob die Schlüsse aus einer Studie gelten. Das Dorsch-Lexikon führt sie als Gütekriterium von Forschungsdesigns.

Interne Validität fragt, ob sich eine Veränderung der abhängigen Variable als Folge der unabhängigen Variable deuten lässt. Das Experiment gilt dort als Königsweg, ein Quasi-Experiment oder eine Korrelationsstudie hat eine geringere interne Validität. Externe Validität fragt, ob sich ein Befund auf andere Personen (Populationsvalidität) oder auf andere Situationen (Situationsvalidität, ökologische Validität) übertragen lässt. Interne Validität ist nach dem Eintrag die Voraussetzung der externen.

Die Begriffe auseinanderhalten

Drei kurze Regeln helfen:

• Frage bei Objektivität nach dem Untersucher, bei Reliabilität nach dem Messfehler und bei Validität nach der Deutung.
• Ergänze bei „der Validität des Tests“ immer „für welchen Zweck?“. Ohne Zweck lässt sich die Frage nach den Standards nicht beantworten.
• Ordne jede Validitätsart einer Quelle von Evidenz zu. Kriteriumsvalidität sowie konvergente und diskriminante Validität teilen sich in den Standards dieselbe Quelle.

Wenn du Begriffe auf Deutsch und Englisch lernst, hilft unsere Liste mit vierzig Fachbegriffen zwischen Deutsch und Englisch.

Wer Begriffe wie diese auseinanderhalten will, kann sie gezielt nebeneinander üben. Psychology World ist ein Psychologie-Wörterbuch, das für diese Art von Übung gemacht ist: Du speicherst Begriffe in einer eigenen Liste und fragst die Liste ab, als Karteikarten, als Multiple Choice ab vier Wörtern in der Liste oder durch Tippen der Antwort. Wie du dabei vorgehst, zeigt der Leitfaden zum Lernen psychologischer Fachbegriffe. Was die einzelnen Lernmodi tun, steht auf der Startseite.