Tests bewerten und beurteilen

Standardisierte Tests gehören an Schulen, Hochschulen und Sprachschulen zum Alltag. Sprachwissenschaftler Nikola Dobric forscht über die Bewertung und Qualitätssicherung dieser nützlichen Instrumente.

 

Traditionell beruht die Bewertung schriftlicher Leistungen auf Fehlerzählungen oder auf oft subjektiven Beurteilungen. Dies war zumindest vor der Einführung des Gemeinsamen europäischen Referenzrahmens für Sprachen (GeRS) der Fall. Heute schwingt das Pendel verstärkt in die andere Richtung: Bei „high-stakes“ standardisierten Tests, bei denen für die Testpersonen oft viel am Spiel steht – etwa Sprachkompetenzüberprüfungen im Rahmen von Bewerbungen auf Studien- oder Arbeitsplätze – liegt der Fokus auf positiven Leistungsmerkmalen. In der Praxis wird jedoch gelegentlich auf das bewährte Fehlerzählen zurückgegriffen, da es einfach und intuitiv ist.

Der GeRS distanziert sich vom Fehlerzählen und wendet sich einer Bewertung der positiven Leistungsmerkmale zu, die die Evaluierung von Sprachkompetenzen einheitlicher und verlässlicher erscheinen lässt. Übersehen wird allerdings, dass Fehler ebenfalls mit hoher Aussagekraft Auskunft über die aktuelle Sprachkompetenz geben können.

„Bei diesen ‚high-stakes‘-Tests kann das Ergebnis entscheidende Konsequenzen für die Testperson haben.“

Die Diskrepanz zwischen Hervorhebung der positiven Aspekte und dem Fehlerzählen wirft nun die Frage auf, ob man objektiv beurteilen kann, wie nützlich ein Test ist. In anderen Worten: ob der Test wirklich testet, was getestet werden soll. In einer österreichisch-slowenischen Studie, gefördert vom OeAD, untersucht Nikola Dobric mit KollegInnen aus Ljubljana, inwiefern negative Merkmale in quantitativer und qualitativer Hinsicht Einfluss auf Bewertungen haben und ob die gemeinsame Betrachtung von positiven und negativen Leistungen komplementäre Effekte verspricht.

Erfahrungsgemäß ist das Phänomen der Minimal-Korrektur versus Hyper- Korrektur zu berücksichtigen. Dobric dazu: „Bei schwachen Leistungen neigen BewerterInnen dazu, aktiv nach Positivem zu suchen, um das Resultat anzuheben. Bei großartigen Leistungen wird tendenziell eher nach Schwächen gesucht.“ Daher plädiert er für eine Kombination von Zählen und Bewerten, in welcher der Fokus auf die positiven Leistungsmermale einen erfreulichen psychologischen Effekt, nämlich die Motivation, erzeugt. Die Berücksichtigung der negativen Leistungsmerkmale sei für eine Identifikation etwaiger Wissenslücken hilfreich. „Tolle Leistungen werden registriert, Mängel werden auf jeden Fall wahrgenommen, aber viele neutrale Eigenschaften bleiben unbemerkt und unkommentiert.

Unser Projekt soll eine umfassende Taxonomie entwickeln, die u. a. auch diese Linie genauer bestimmen lässt“, sagt Dobric. Die Studie bedient sich einer Textsammlung, die sich aus universitären Fachprüfungen (Österreich) und Maturaprüfungen (Slowenien) zusammensetzt. Die Bewertung und schriftliche Kommentierung erfolgt nach vorgegebenen Verfahren mit einer Bewertungsskala und wird von geschulten BewerterInnen ausgeführt. Das zweijährige Projekt wird in drei Arbeitsphasen abgewickelt.

Bis Frühjahr 2020 werden erste Gesamtresultate und Einblicke in die Korrelation der positiven und negativen Bewertungen zueinander und auf die Gesamtbewertung vorliegen. Die Studie verspricht, so Dobric, interessante Erkenntnisse für die Sprachtestforschung und Bildungswissenschaften, für die Unterrichtsgestaltung in Schulen und Sprachschulen und für die Ausbildung von BewerterInnen. Das Feedback zu schriftlichen Leistungen wird verbessert, und standardisierte Testsysteme werden für die Öffentlichkeit transparenter gestaltet.

für ad astra: Karen Meehan