Dieser Artikel vertieft einem Teil meiner Recherchen für den Text „Schau mir in die Augen, Kleines“, der sich weitgehender mit der Thematik ABA befasst und in der ersten Ausgabe des Magazins N#mmer erschienen ist.
Eines der hartnäckigsten und schlagkräftigsten Argumente, denen man in der Diskussion um ABA immer wieder begegnet, ist die Behauptung, dass die Applied Behavior Analysis die einzige wissenschaftlich fundierte und bewiesene Therapieform gegen Autismus sei.
Meist bleibt diese Behauptung unbelegt im Raum stehen, manchmal folgt die weitere Behauptung, dass dutzende Studien die Wirksamkeit von ABA belegen, in den seltensten Fällen werden konkrete Studien angeführt.
Wie funktioniert wissenschaftliches Arbeiten?
Die meisten Leute akzeptieren das, denn wenn eine Studie etwas behauptet, dann ist es ja schließlich wissenschaftlich bewiesen. Doch ganz so ist das eben nicht. Eine Studie macht noch keine Fakten, sondern ist zunächst erst mal die Dokumentation einer Untersuchung. Darin wird zunächst dargelegt, welche Fragestellung untersucht wurde, mit welchen Methoden diese Fragestellung untersucht werden sollte, wie die Untersuchung durchgeführt wurde, welche Ergebnisse dabei erzielt wurden und abschließend erfolgt eine Interpretation dieser Ergebnisse. Anschließend wird die Studie in Form eines wissenschaftlichen Papers veröffentlicht. Im Rahmen der Veröffentlichung werden von anderen Wissenschaftlern die Methodik, der Versuchsaufbau und die Ergebnisse der Studie analysiert und auf Fehler geprüft. Dabei wird aber lediglich überprüft, ob die Methoden der Studie geeignet sind, die Fragestellung zu beantworten, oder ob im Rahmen der Studie grobe fachliche Fehler gemacht wurden. Eine Überprüfung des wissenschaftlichen Inhalts findet dabei nicht statt.
Dies bedeutet, dass eine veröffentlichte Studie zunächst einmal keinen wissenschaftlichen Beweis für egal welche Behauptung liefern kann. Der Grund hierfür ist der Fehler 1. Art, der sogenannte Alpha-Fehler. Dieser besagt, dass man sich bei der Übertragung der stichprobenartigen Versuchsergebnisse auf die Allgemeinheit immer irren kann, da es keine Garantien gibt, dass die Stichprobe auch repräsentativ für die Allgemeinheit ist.1 Um diesen Alpha-Fehler ausschließen zu können, benötigt man also naheliegenderweise mehrere voneinander unabhängige(!) Studien, die zum gleichen Schluss kommen, um das Ergebnis als wissenschaftlich belastbar einzustufen. Somit muss jede wissenschaftliche Studie alle Daten zu den Versuchsbedingungen beinhalten, die benötigt werden, um den Versuch zu wiederholen. Diese Replizierbarkeit ist einer der Eckpfeiler wissenschaftlichen Arbeitens.
Damit ein Ergebnis belastbar ist, braucht es jedoch mehr als nur zwei Studien, die zum gleichen Schluss kommen. Denn dem Alpha-Fehler zufolge muss man nur genug Studien durchführen, um an irgendeinem Zeitpunkt zwei Studienergebnisse mit dem gleichen, falschen, Ergebnis zu erreichen. Die Anzahl der Studien mit diesem Ergebnis muss daher auch in den Bezug zu den insgesamt durchgeführten Studien gesetzt werden. Diesen Zweck erfüllen sogenannte Meta-Studien. Sie analysieren die Ergebnisse einer größeren Anzahl von Studien, bewerten die Methoden und Ergebnisse dieser Studien kritisch und treffen auf Grundlage dieser wesentlich größeren Datenbasis Schlussfolgerungen.2
Der wissenschaftliche Beweis für ABA
Um sinnvoll beurteilen zu können, ob ABA nun tatsächlich bewiesen ist, benötigt man also sinnvollerweise eine Meta-Studie, die die immer wieder angeführten Studien kritisch hinterfragt. Im Rahmen meiner Recherchen hatte ich das Glück, eine Meta-Studie zu finden, die sich mit genau dieser Fragestellung beschäftigt, ob eine Art der frühen Verhaltenstherapie für Autismus als wissenschaftlich bewiesen gilt.3
Dabei stellt Gernsbacher zunächst fest, dass die Behauptung von ABA als wissenschaftlich bewiesene Behandlungsmethode weit verbreitet ist. Dies geht soweit, dass 1999 in einer durch die Stadt New York unterstützen Publikation vor anderen Therapieformen gewarnt wurde, die wissenschaftlich bewiesenen Formen Zeit stehlen. Als Beleg für die Wissenschaftlichkeit führen die Autoren ein Rechercheergebnis aus 232 Artikeln an. Von diesen 232 Artikeln waren jedoch nur fünf Artikel in der Lage, die Kriterien der Autoren für einen ausreichenden Beweis zu erfüllen. Diese fünf Artikel basierten dabei auf vier Studien. 4 Diese vier Studien wurden veröffentlicht von:
- Loovas (1987)
- Birnbrauer & Leach (1993)
- Smith et al. (1997)
- Sheinkopf & Siegel (1989)
Im weiteren wird festgestellt, dass nur die Studien von Loovas und Birnbrauer & Leach überhaupt einen Experimentalaufbau mit Kontrollgruppen 5 durchgeführt hatten. Jedoch war auch in diesen beiden Studien die Zuweisung zu den Kontroll- und Testgruppen nicht zufällig6 und somit anfällig für eine (unbewusste) Manipulation der Ergebnisse durch die Mitarbeiter. Diese methodische Schwäche im Versuchsaufbau schwächt die Aussagekraft aller Ergebnisse, die aus diesen Studien gewonnen werden können.7
Die Ergebnisse der ersten wirklich belastbaren Studie mit zufallsbasierten Kontrollgruppen wurden im Jahr 2000 von Smith Groen und Wynn veröffentlicht. Diese Studie basierte auf 28 Kindern, im Alter von 41 Monaten bis 117 Monaten. Davon erhielten 15 Kinder eine ABA-Behandlung nach Loovas mit 25h/Woche und 13 Kinder wurden nach den Wünschen ihrer Eltern behandelt. Die Beurteilung der Kinder erfolgte in den Kategorien Intelligenz, schulische Leistungen, Sprache, sozioemotionale Fähigkeiten sowie angepasste Fähigkeiten.8
Das Ergebnis kann als ernüchternd bezeichnet werden. Nur zwei der intensiv trainierten Kinder erreichten einen Zustand, in dem sie einen IQ über 85 und eine Regelbeschulung ohne weitere Unterstützung erreichten. Dies liegt deutlich unter den 47 % der Kinder, die laut Loovas dieses Ziel erreichen sollten. Von allen Faktoren, die beobachtet wurden, konnten nur im Rahmen der Intelligenztests und der schulischen Leistungen überhaupt signifikante Unterschiede beobachtet werden.9 Die Macher dieser Studie kommen zum Schluss, dass die Bezeichnung von ABA als Heilung „misleading and irresponsible“10 also irreführend und unverantwortlich ist. Gernsbacher selbst kommt zur Schlussfolgerung, dass es an uns allen liegt, die Wege zu dem zu finden, was Eltern als Wunder bezeichnen, dabei sollten wir vorsichtig sein, einen Weg als wissenschaftlich erwiesen zu bezeichnen.11
Nach einer Betrachtung der Ergebnisse der Meta-Studie wird deutlich, warum eine Studie allein noch keinen Beleg für irgendetwas liefern kann. Von fünf Studien erfüllte letzten Endes nur eine einzige überhaupt wissenschaftliche Kriterien und wich dabei deutlich von dem ab, was bis dahin als Fakt benannt wurde. Somit ist ABA, mit einer methodisch korrekten Studie, weit entfernt davon, als unumstößlich wissenschaftlich erwiesen dazustehen. Dafür bräuchte es noch viele weitere, wissenschaftlich korrekte, Studien, welche die Ergebnisse belegen. Die Richtung, in welche die Ergebnisse von Smith et. al. dabei jedoch weisen, lassen zudem erhebliche Zweifel an den Heilungsversprechen von ABA aufkommen.
Und neuere Studien?
Die zuvor zitierte Studie entstammt aus dem Jahr 2003. So hat sich seitdem sicherlich einiges in der wissenschaftlichen Landschaft rund um ABA geändert. So fand ich im Rahmen meiner Recherche eine weitere Meta-Studie von Nienke Peters-Scheffer aus dem Jahr 2007,12 die zu einem wesentlich positiveren Ergebnis in Bezug auf ABA-basiertes Training kommt und sich dabei auf viele neuere Studien beruft.13 Auch die zuvor betrachteten Studien von Smith und Sheinkopf werden in diesem Rahmen erneut betrachtet. Im Rahmen dieser Studie bescheinigt Peters-Scheffer ABA-basierten Trainings moderate bis große Auswirkungen auf IQ und angepasste Fähigkeiten.14 Diese Schlussfolgerungen stellt sie jedoch in den Kontext eines einschränkenden Faktors. So stellt sie fest, dass auch 2007 die Studie von Smith als einzige Studie aus vollkommen zufällig ausgewählten Studiengruppen besteht.15 Darüber hinaus führt sie eine ganze Liste von beispielhaften methodischen Problemen an, die Studien in diesem Bereich zeigen: „small sample sizes, non-randomized assignments to groups, non-uniform assessments protocols, use of quasi-experimental designs, lack of equivalent groups, lack of adequate fidelity measures, unknown characteristics of comparison conditions, and selection bias“16
Mit dieser langen Liste an methodischen Schwachstellen ist es fragwürdig, warum überhaupt irgendeine dieser Studien für eine Meta-Studie in Betracht gezogen wurde, da zum Beispiel
- die kleine Stichprobengröße („small sample size“) eine Verallgemeinerung der Ergebnisse nur schwer möglich macht,
- die fehlende Zufälligkeit in der Verteilung („non-randomized assignments to groups“), sowie die voreingenommene Auswahl („selection bias“) das große Risiko von (unbewussten) Manipulationen birgt, sowie
- Unbekannte Vergleichskriterien („unknown characteristics of comparison conditions“) eine Reproduzierbarkeit der Studie unmöglich machen.
Diese lange Liste von Kritikpunkten wird von der Autorin jedoch nicht weiter kommentiert, sondern sie geht zu der Schlussfolgerung über, dass ABA-basierte Therapien trotzdem funktionieren,17 unter der vollkommenen Ignoranz der Tatsache, dass die Datenbasis, auf der sie das schlussfolgert, als wissenschaftlich höchst zweifelhaft bezeichnet werden muss.
Da auch die neuere Meta-Studie als einzige tatsächlich belastbare Studie Smith et al. von 2000 anführt, bleibt trotz der neueren Datenbasis der bereits gezogene Schluss übrig, dass für ein fundiertes Urteil über die wissenschaftliche Belegbarkeit von ABA weitere wissenschaftlich korrekte Studien benötigt werden und bis dahin viel dafür spricht, dass die Wirksamkeit von ABA deutlich hinter dem zurück bleibt, was in der Vermarktung versprochen wird.
Anmerkung: Die zitierten Meta-Studien können in englischer Sprache unter dem Link in den Quellen im Volltext heruntergeladen werden. Dort finden sich auch weitere Informationen zu den einzelnen Studien sowie die Originalquellen hierfür. Die den Studien entnommenen Informationen wurden mit der entsprechenden Seitenzahl gekennzeichnet.