Multimedial aufbereitete Lernsysteme besitzen u.a. deshalb eine so hohe Attraktivität für Bildungsexperten und Lehrende, weil sie zwei an sich widersprüchliche Charakteristika in sich zu vereinen scheinen: Sie genügen offensichtlich modernen didaktisch-methodischen Anforderungen in bezug auf Komplexität des Lerngegenstandes sowie Handlungsorientierung und bieten auch die Möglichkeit der Kontrollierbarkeit und Replizierbarkeit des Lehr-/Lerngeschehens. Die Effizienz computerunterstützten Lernens kann dagegen nicht ohne weiteres nachgewiesen werden. In dem vorliegenden Artikel werden grundsätzliche Schwierigkeiten der Messung von Lernerfolgen aus meßtheoretischer und lernpsychologischer Sicht dargestellt. Insbesondere die Form des Lernerfolgs als – meßtheoretisch gesprochen – Konstrukt und die daraus entstehenden Konsequenzen für die Entwicklung eines angemessenen Untersuchungsdesigns werden kritisch untersucht. Zugleich werden die Folgen unterschiedlicher Konzeptualisierungen des Lernens für entsprechende Versuchsanordnungen diskutiert.

Der vorliegende Artikel thematisiert ausgehend von Überlegungen zur Notwendigkeit des lebenslangen Lernens die grundsätzlichen Schwierigkeiten der Messung des Lernerfolgs. Dabei werden sowohl messtheoretische wie auch lernpsychologische Sichtweisen eingenommen. Ein besonderes Augenmerk wird auf die Form des Lernerfolgs als Konstrukt und der sich daraus ergebenden Konsequenzen bezüglich der Entwicklung von Untersuchungsdesigns und Versuchsanordnungen gelegt. Zu Beginn gehen die Autoren auf die Wichtigkeit des lebenslangen Lernens ein, wobei sie den lebenslangen Wissenserwerb auch als ökonomische Notwendigkeit bezeichnen, welcher zunehmend einem Kosten-Nutzen-Kalkül unterliegt. Dabei wächst auch der Druck, Bildungsprozesse effizienter und kostengünstiger zu gestalten. "Eine möglichst hohe Zeiteffizienz und Bedarfsorientierung gelten daher als Zielhorizont moderner Aus- und Weiterbildung" (98). Die angesprochenen Bildungsprozesse beziehen sich allerdings nicht nur auf den formalisierten und zertifizierbaren Erwerb von Kenntnissen, sondern auch auf das so genannte tacit knowledge, welches nach Wissensstrukturen verlangt, bei welchen nicht mehr nur Faktenwissen und isolierte Fertigkeiten dargeboten werden. Die Ausweitung der Bildungsziele in Richtung solcher, nicht-kognitiven Kompetenzen, legt den verstärkten Einsatz von konstruktivistisch angelegten Lehr-/Lernarrangements nahe. An diesem Punkt weisen die Autoren auf die Widersprüchlichkeit der Anforderungen an modernes Lehren hin: Der genauen Kontrolle, Messung und Vorhersehbarkeit des Lernerfolges steht das Konzept eines möglichst offenen Lehr-/Lernarrangements, verbunden mit einem hohen Grad an Selbststeuerung der Lernprozesse, gegenüber. Die Autoren werfen die Frage auf, ob ein Ausweg aus diesem Dilemma durch den Einsatz von multimedialen Lehrmaterialien möglich sei: "Ist multimedial gestütztes Lernen effizienter als herkömmliche Methoden" (99)? Zur Beantwortung dieser Frage bedarf es empirischer Belege; doch die erziehungswissenschaftliche und lernpsychologische Forschung stößt hier auf Probleme und Grenzen, welche die Autoren systematisch zu thematisieren versuchen. Die empirische Analyse von Lernprozessen geht von der Annahme aus, dass ein kausaler Zusammenhang zwischen Lehren und Lernen besteht. Die Kriterien für eine wissenschaftstheoretisch abgesicherte Empirie sind nach Ansicht der Autoren in den letzten Jahren brüchiger geworden.
Ein weiteres Problem bildet der Methodenpluralismus, nachdem Versuche methodische Hegemonien zu begründen in der Vergangenheit gescheitert sind. Die Konstruktion eines einheitlichen Bezugspunktes beim Einsatz unterschiedlicher Methoden ist damit schwer zu realisieren. Trotz fehlender metatheoretischer Aussagen über die Gültigkeitsbereiche sozialwissenschaftlicher Methoden gibt es jedoch methodisches Erfahrungswissen, welches es ermöglicht, die Angemessenheit von Methoden empirisch zu belegen. Die Duhem-Quine-These (R1^R2^...^Rn^A-->B) bietet den Aussagen der Autoren folgend, einen Rahmen, um Probleme der Messung gerade in sozialen Systemen zu verdeutlichen. Eine ganzheitliche Sicht einer Kausalität „wenn A dann B“ impliziert eine unbekannte Anzahl von Randbedingungen Rn, die gleichsam den Kontext der Kausalität ausmachen. Es bleibt damit leidlich die Hypothese, dass die relevanten Bedingungen Rn kontrolliert wurden, damit überhaupt eine Aussage überprüft werden kann. Es stellt sich dann allerdings die Frage, welche von diesen theoretisch unendlichen Randbedingungen für ein Forschungsvorhaben relevant sind? Neben den aufgezeigten Schwierigkeiten stellt sich das Problem, dass die Prozesse als interessierende Grösse zum grossen Teil Konstrukte sind, welchen über Operationalisierungen Indikatoren zugeordnet werden müssen, damit diese überhaupt beobachtet und damit empirisch zugänglich gemacht werden können. So ist Lernen als Prozess per se nicht beobachtbar, sondern erst die Anwendung des Gelernten. Diese Verhaltensänderung wird verständlicherweise von vielen Randbedingungen beeinflusst, welche ausserhalb des Lehrens und Lernens anzusiedeln sind. Die Situiertheit des Lernens impliziert ebenfalls zahlreichen Randbedingungen der Lernsituation, welche erhoben und gemessen werden müssten die Autoren äussern zu Recht Zweifel an der Einlösbarkeit der aufgestellten Forderungen.
Auch wenn zur Messung von Lernerfolg Lernen mit Leistung gleichgesetzt wird, ergeben sich erhebliche Probleme bei der Suche nach "sinnvollen" Messkriterien. Lernen und Lernerfolg sind Konstrukte, welchen über Operationalisierungen Indikatoren zugeordnet werden müssen, damit diese messbar werden. Und diese Operationalisierungen sind hypothetisch, können also "nicht wahr" sein, was die Validität und Reliabilität einer Untersuchung in Frage stellen kann. Ob Lernen erfolgreich war, wird an Lehrzielen (Lehrziele sind nicht notwenig Lernziele!) gemessen, welche oft interpretierbar und verhandelbar sind. Dies trifft besonders für Veränderungen im emotionalen, sozialen und physischen Bereich zu, welche durch einen Lernprozess gemessen werden sollten. Nicht zu vergessen ist, dass auch das Untersuchungsdesign das Ergebnis einer Untersuchung wesentlich (mit)beeinflussen kann. Zum Schluss des Artikels rekurrieren die Autoren auf den von R. Schulmeister aufgestellten Defizitkatalog der Evaluation multimedialen Lernens. Dieser weist insbesondere auf die starke Ausrichtung an aktuellen Bedingungen, das mangelnde Kontrolldesign, den kurzen Untersuchungszeitraum, die unzureichende Erfassung der Kontextvariablen etc. hin. Die Autoren betonen, dass Forschungsdefizite nicht an der persönlichen Unfähigkeit eines einzelnen Forschers festzumachen seien, sondern systematischen Charakter haben.
Die Autoren beleuchten die grundlegenden Schwierigkeiten der empirischen Forschung in sozialen Systemen insbesondere in Bezug auf die Messung des Lernerfolgs. Es werden systematisch kritische Fragen aufgeworfen, welche zur Reflexion des eigenen wissenschaftlichen Handelns anregen. [von http://www.elearning-reviews.org/topics/competence-development/competence-measurement/2000-clement-ute-martens-bernd-lernen-multimdia-lernerfolg-probleme/]