Veröffentlicht die PISA-Daten – sofort
Liebe Leserinnen und Leser,
seit dem Jahr 2000 werden durch die OECD in vielen Mitgliedsländern internationale Vergleichsuntersuchungen zu den Leistungen 15jähriger Schülerinnen und Schüler in Muttersprache, in Mathematik und in Naturwissenschaften durchgeführt. Diese Untersuchungen haben unter dem Akronym PISA (für Programme for International
Student Assessment) allgemeine Bekanntheit erlangt und sorgen immer wieder für Aufregung in Medien und Öffentlichkeit. Nicht zuletzt hat durch diese Untersuchungen auch eine ganze Reihe von Forschern ihr wissenschaftliches Auskommen. Die zugrunde liegenden Befragungen finden in dreijährigem Turnus statt und wurden inzwischen fünfmal (2000, 2003, 2006, 2009, 2012) durchgeführt.
PISA 2015 mit einem Schwerpunkt auf naturwissenschaftlichen Kompetenzen wird bereits durchgeführt sowie PISA 2018 geplant. In Deutschland wurden aufgrund unzureichender Schülerleistungen umfangreiche Neujustierungen an den Bildungsplänen vorgenommen. All dies ist allgemein bekannt. Weit weniger bekannt dagegen ist, dass die Aufgaben, die in den Untersuchungen verwendet wurden und werden, bis heute zum großen Teil nicht veröffentlicht sind und geheim gehalten
werden. Dies kann bis zu einem gewissen Grad damit gerechtfertigt werden, dass man einmal mit hohem Aufwand entwickelte und in die verschiedenen Sprachen übersetzte
Aufgaben möglichst oft verwenden möchte. Ist eine Aufgabe erst einmal der Öffentlichkeit zugänglich gemacht, ist sie sozusagen »verbrannt«, da Schülerinnen und Schüler dann gezielt darauf vorbereitet werden könnten. Eine solche Aufgabe steht
zukünftig also nicht mehr zur Verfügung und muss durch eine neu zu konzipierende ersetzt werden. Immerhin werden in jeder PISA-Runde einige wenige Beispielaufgaben jeweils mit den zugehörigen Lösungen der Öffentlichkeit bekannt gemacht. Alle beteiligten Wissenschaftler werden vertraglich verpflichtet, Stillschweigen über die Tests zu wahren. Dies gilt übrigens nicht nur für PISA, sondern auch für andere Vergleichsuntersuchungen, wie z. B. TIMSS. Veröffentlicht werden jeweils Fragebögen
für Schulen und Eltern und der demographische Teil der Fragebögen für Schüler (Alter, Geschlecht, Beruf des Vaters etc.). Dazu werden jeweils auch sämtliche Datendateien zum Download zur Verfügung gestellt. Bei den Inhaltsfragen dagegen werden weder die Aufgaben noch die Datendateien veröffentlicht. Öffentlich bekannt sind nur die allgemeinen Analyse-Ergebnisse, aber leider nicht die Daten, auf deren Grundlage
die Ergebnisse berechnet wurden. Aus wissenschaftstheoretischer Sicht ist eine solche Geheimhaltung der Erhebungsinstrumente äußerst kritisch zu sehen.
Denn so immunisiert man sich gegen jede inhaltliche Auseinandersetzung und verhindert v. a. eine unabhängige Prüfung der Ergebnisse durch Außenstehende. Wissenschaft lebt aber genau von Transparenz und Kritik sowie anschließender Weiterentwicklung. Wie problembehaftet PISA-Aufgaben sein können, sei am Beispiel
einer der veröffentlichten Aufgaben verdeutlicht (man kann davon ausgehen, dass die Verantwortlichen mit Sicherheit nicht eine als besonders kontrovers angesehene Aufgabe veröffentlicht haben). Die Aufgabe entstammt der Befragung von 2006 und wurde nach archive.org am 3. Dezember 2008 in der deutschen Sprachversion online gestellt(1). Es handelt sich um eine Single Choice Aufgabe: »Welche der folgenden Aussagen trifft am besten auf die Evolutionstheorie zu?«. Folgende Antwortalternativen wurden angeboten: »A Die Theorie ist unglaubwürdig, da Veränderungen der Arten nicht beobachtet werden können. B Die Evolutionstheorie gilt für Tiere, nicht aber für den Menschen. C Die Evolution ist eine wissenschaftliche Theorie, die sich gegenwärtig auf zahlreiche Beobachtungen stützt. D Die Evolution ist
eine Theorie, die durch Forschung bewiesen worden ist«. Antwort C wurde als richtig angesehen. Aus wissenschaft licher Sicht ist aber die Korrektheit aller Antworten anzuzweifeln. Hier wird nämlich behauptet, dass Evolution eine Theorie sei. Evolution
ist keine Theorie, sondern eine empirische Tatsache. Die Tatsache der Evolution wird durch eine Theorie, nämlich der Evolutionstheorie, erklärt. Ein weiteres Problem wird deutlich, wenn man sich die englische Version der Aufgabe ansieht.
Dort heißt Aussage D: »Evolution is a theory that has been proven to be true by scientific experiments«(2). »Scientific Experiment« wird also mit »Forschung« übersetzt. Beide Termini sind aber keineswegs bedeutungsgleich. Ist das Experiment doch nur eine Forschungsmethode unter anderen, wie z. B. Beobachten, Vergleichen oder die historische Rekonstruktion, die gerade im Kontext der Evolution eine große Rolle spielt. Man kann davon ausgehen, dass auch unveröffentlichte PISA-Aufgaben
diskussionswürdig oder gar problematisch sind. Doch bleibt dies eine Vermutung, da wir über die meisten Aufgaben nichts wissen.
PISA und ähnliche Erhebungen haben frischen Wind in die Bildungsdiskussion gebracht. Das ist das bleibende Verdienst dieser Untersuchungen. Wissenschaftstheoretisch haben die Erhebungen, die immerhin schon im sechsten Durchgang sind, einen hochproblematischen Status. Deshalb ist es dringend an der Zeit, dass alle PISA-Aufgaben und die zugehörigen Rohdaten komplett veröffentlicht und damit endlich einer echten wissenschaftlichen Diskussion zugänglich werden!
Ihr
DITTMAR GRAF
(1) http://pisa.ipn.uni-kiel.de/PISA06_Science_Beispielaufgaben.pdf (30.4.2014)
(2) OECD (ed.): Take the Test – Sample Questions from OECD’s PISA Assessments. – OECD Publishing: Paris 2009