Sprachtests: Was macht Prüfungen leichter und schwieriger?
Im Rahmen des Symposiums „Language Testing in Austria: Towards a Research Agenda“ von 19. – 20. Oktober in Klagenfurt stellt Günther Sigott einen von ihm herausgegebenen umfassenden Band zur Sprachtestentwicklung und –forschung in Österreich vor. Darüber hinaus wollen die Expertinnen und Experten an neuen Forschungsaufgaben zu Sprachtests arbeiten. Wir haben mit Günther Sigott über die Entwicklungen des letzten Jahrzehnts und kommende Herausforderungen gesprochen.
Herr Sigott, wie war es in Österreich um die Sprachtestung vor der Entwicklung der Bildungsstandards bestellt?
Vorher hat man natürlich auch bewertet. Es hat allerdings weder über die Jahre hinweg Kontinuität noch zwischen den Schulen eine Vergleichbarkeit gegeben. Es gab keine Garantie, dass das, was in der einen Schule als „Sehr gut“ galt, in der anderen Schule auch so bewertet wurde. Und dass dies in dem darauffolgenden Jahr auch noch in der gleichen Weise eingeschätzt werden würde. 2007/08 gab es dann einen Paradigmenwechsel von der normreferenzierten Beurteilung zur kriterienreferenzierten Beurteilung.
Welche Ziele verfolgte man damit?
Ich nenne die Stichworte Zentralmatura und Bildungsstandards. Vor allem ging es der Politik darum, dem internationalen Trend folgend, Prüfungsleistungen vergleichbar zu machen. Für die Matura wurden hier in den letzten zehn Jahren entscheidende Schritte unternommen. Zu einem gewissen Grad gibt es auch Bestrebungen, für die Abschlussprüfungen für die Sprachfächer an den Universitäten vergleichbare Prüfungen ein- und durchzuführen. Und anhand der Bildungsstandards will man ein gewisses Maß an Vergleichbarkeit schon auf dem Weg zur Matura hin sicherstellen.
Welche Kriterien zog man heran, um Sprachkompetenzen zu bewerten?
Für die modernen Sprachen gibt es den gemeinsamen europäischen Referenzrahmen (GER), der sechs Niveaustufen vorgibt, an denen man sich auch bei der Entwicklung der Bildungsstandards in Österreich orientieren kann. Dabei geht es vor allem um Kompetenzen; man macht sich also klar, in welchen Feldern man den jungen Menschen unterstützend zur Seite stehen will, wenn es darum geht, Kompetenzen zu entwickeln. Welches Niveau für den positiven Abschluss der Matura in den modernen Sprachen Englisch, Französisch, Italienisch und Spanisch nötig ist, hat dann die Politik festgelegt. Man einigte sich auf die Stufe B2.
Gut, dort ist recht vage beschrieben, wie selbstständige Sprachverwendung (B2) zum Ausdruck kommen soll. Wie kommt man aber von dieser Beschreibung zu konkreten Prüfungsaufgaben?
Ja, darin bestand und besteht die wesentliche Herausforderung. Es mussten Prüfungen in Lese- und Hörverstehen sowie in schriftlicher Produktion geschaffen werden, von denen man sagen kann, dass eine gewisse erreichte Punktezahl Sprachkompetenzen auf dem Niveau von B2, etwa im Fall der Matura, nachweist. Dieses „Standardsetting“ ist eines unserer zentralen Forschungsanliegen. Wir wollen mehr darüber wissen, welche Faktoren Prüfungen schwieriger und leichter machen, um schließlich auch Prüfungen zusammenstellen zu können, die immer dieselben Kriterien realisieren. Man tastet sich heran. Wir brauchen aber noch einiges an Forschung, um effizienter zu werden.
Lese- und Hörverstehen ist ja objektiv bewertbar. Bei der Sprachproduktion scheint dies aber schwieriger. Zählt man Fehler und schätzt man Wortschatz ab? Vor allem aber: Wie bewertet man, ob ein Text originell oder argumentativ überzeugend ist?
Vorweg ist festzuhalten: Heute zählen wir keine Fehler mehr. Auch im GER steht die Fähigkeit der Kandidatinnen und Kandidaten, effizient zu kommunizieren, im Vordergrund. Die Prüfungsteilnehmerinnen und –teilnehmer sollen bestimmte kommunikative Akte erfolgreich ausführen können. Das beurteilt man anhand von Bewertungsskalen, wo bestimmte Lernerperformanzen festgeschrieben werden. Dabei geht es oft um globalere Eigenschaften eines Texts.
Und Rechtsschreib- bzw. Grammatikfehler darf man aufweisen, so viele man will?
Nein, so ist es auch nicht. Die Beurteilungsskalen für die Bildungsstandards oder für die Matura haben mehrere Dimensionen, und dort gibt es auch Vetofunktionen. Gute Leistungen in einem Bereich können zwar die weniger guten Leistungen in einem anderen Bereich kompensieren. Ein Minimum an Kompetenz muss aber in allen Bereichen nachgewiesen werden.
Sie haben kürzlich einen umfassenden Band herausgegeben, der eine Bestandsaufnahme zum Sprachtesten in Österreich bietet. Dort werden die Entwicklungen der letzten zehn Jahre nachverfolgt und Forschungsarbeiten vorgestellt. Wenn Sie auf diese Zeitspanne zurückblicken: Haben Sie den Eindruck, dass die Entwicklungen von den Schulen gut aufgenommen wurden?
Schulen sind empfänglich für neue Entwicklungen, weil sie Kompetenzorientierung betreiben wollen. Diese Ausrichtung an den Fähigkeiten der Schülerinnen und Schüler geht mit der Kriterienreferenzierung bei den Prüfungen einher. Kompetenzorientiert zu unterrichten bedeutet, dass ich explizit mache, welche Fähigkeiten ich fördern möchte. Damit wird gleichzeitig deutlich, welche Kriterien ich als Grundlage für die Beurteilung heranziehe. Durch diese Zusammenwirkung kann man sagen, dass die Entwicklung der Bildungsstandards und der Zentralmatura in den modernen Sprachen eine Erfolgsstory ist.
Mit hoffentlich auch positiven Auswirkungen auf das Lernen der Schülerinnen und Schüler?
Ja, das denke ich schon. Ich bin selbst Vater von drei nun ehemaligen Schülerinnen und Schülern, die den Paradigmenwechsel miterlebt haben. Für mich ist klar: Wenn junge Menschen wissen, was man von ihnen will und was sie lernen sollen – oder wollen, dann ist es für sie leichter, Fortschritte zu machen, als wenn sie im Vakuum stehen. Mit einem Ziel vor Augen lässt sich auch leichter abschätzen, wo man gerade steht. Außerdem haben die zentralen Prüfungen das Verhältnis von Lehrenden und Lernenden verändert: War man früher als Lehrer gleichzeitig Coach und Prüfer in einer Person, arbeitet man heute gemeinsam mit den Kindern und Jugendlichen an der Erreichung von Zielen, die von außen vorgegeben sind. Das verändert viel.
Zur Person
Günther Sigott lehrt an der Alpen-Adria-Universität Klagenfurt Anglistik. Seine Forschungs- und Entwicklungsarbeit liegt vor allem im Bereich Sprachtesten, wo er eng mit Hermann Cesnik als Statistiker und Psychometriker kooperiert. Günther Sigott war als Testtheoretiker wesentlich an der Entwicklung der neuen standardisierten kompetenzorientierten Reifeprüfung in Deutsch und den klassischen Sprachen sowie der nationalen Bildungsstandards für Deutsch und Englisch in Österreich beteiligt.
Zum Buch
Das Buch blickt auf zehn Jahre professioneller Testentwicklung und Sprachtestforschung in Österreich zurück. Teil I beschreibt die Entwicklung von Testsystemen auf allen Ebenen des Bildungssystems. Die Dokumentation umfasst Deutsch, das für die große Mehrheit Unterrichtssprache ist, die sogenannten modernen Fremdsprachen Englisch, Französisch, Italienisch und Spanisch sowie die klassischen Sprachen Latein und Altgriechisch. Teil II umfasst eine beachtliche Anzahl von Untersuchungen, die während und nach der Entwicklung und Implementierung der neuen Prüfungsphilosophie in den letzten zehn Jahren durchgeführt wurden. Die Untersuchungen werden in ein Validierungskonzept eingeordnet, das als Orientierung für zukünftige Sprachtestforschung in Österreich dienen könnte.
Sigott, G. (Hrsg.) (2018). Language Testing in Austria: Taking Stock/Sprachtesten in Österreich: Eine Bestandsaufnahme. Berlin: Peter Lang.