Write a PREreview

Zusammenfassung

Die Entwicklung fachlich fundierter, transparenter und lokal betreibbarer KI-Systeme für die frühkindliche Bildung, Betreuung und Erziehung (FBBE; international Early Childhood Education and Care, ECEC) erfordert qualitativ geeignete, strukturell aufbereitete und rechtlich differenziert bewertete wissenschaftliche Textkorpora. Insbesondere beim Einsatz von Retrieval-Augmented Generation (RAG) hängt die Qualität generierter Antworten nicht allein vom zugrunde liegenden Sprachmodell, sondern auch von der Auswahl, Aufbereitung, Auffindbarkeit und korrekten Zuordnung relevanter Forschungsquellen ab.

Dieser Forschungsbericht dokumentiert die ECE Wissens-Pipeline v1.0, eine vierstufige, deterministisch-hybride Python-Architektur zur automatisierten Akquise, Klassifikation, Konvertierung und Qualitätsprüfung frühpädagogischer Forschungsliteratur. Ergänzend untersucht eine explorative Fallserie mit zehn dokumentierten Antwortpaaren Unterschiede und Fehlermuster zwischen einem lokalen RAG-System und dem Cloud-Sprachmodell Gemini 3.1 Pro.

Der Beitrag verbindet damit die technische Entwicklung einer domänenspezifischen Forschungsdateninfrastruktur mit einer qualitativen Untersuchung der quellengebundenen Antwortgenerierung.

1. Forschungsziel und Systemarchitektur

Ziel der ECE Wissens-Pipeline ist die systematische Bereitstellung wissenschaftlicher Wissensbestände für lokale KI-Anwendungen in der Frühpädagogik. Hierzu werden vier aufeinander aufbauende Verarbeitungsschritte beschrieben:

Stufe 0 – Wissenschaftliche Literaturakquise und Vorauswahl: Recherche über OpenAlex anhand deutsch- und englischsprachiger Suchvektoren, Dublettenerkennung, regelbasierte Relevanzbewertung sowie konservative Klassifikation maschinenlesbarer Lizenzinformationen.

Stufe 1 – Dokumentkonvertierung und Metadatenextraktion: Überführung wissenschaftlicher PDF-Dokumente in Markdown mittels lokaler Layout-Konvertierung. Ergänzend erfolgt eine strukturierte Metadatenextraktion unter Einsatz eines lokal ausgeführten Sprachmodells.

Stufe 2 – Deterministische Textbereinigung: Regelbasierte Entfernung störender Layout-Artefakte, redundanter Kopfzeilen, administrativer Vorspänne und weiterer nicht zum wissenschaftlichen Haupttext gehörender Bestandteile. Die wissenschaftlichen Primärtexte werden dabei nicht generativ umformuliert.

Stufe 3 – Qualitätsprüfung und Dokumentenrouting: Kombination aus lokaler modellgestützter Qualitätsbewertung, formaler Validierung und dreistufigem Routing in Freigabe, manuelle Prüfung oder Ausschluss. Die Architektur unterstützt dokumentierte Herkunftsinformationen, persistente Quellenidentifikatoren und die Integration in lokale Wissensarchive und RAG-Anwendungen.

Die resultierenden Forschungsbestände werden im ECE-Research-Corpus für eine strukturierte wissenschaftliche Nachnutzung aufbereitet. Das Datenmodell orientiert sich an den FAIR-Prinzipien und verwendet unter anderem Markdown, YAML-Metadaten, kryptografische Prüfsummen und Apache Parquet.

2. Empirische Evaluation der Dokumentenkuratierung

Zur Untersuchung des Selektions- und Verarbeitungsverhaltens wurde ein begrenzter OpenAlex-Suchlauf für das Publikationsjahr 2014 ausgewertet. Über 13 deutsch- und englischsprachige Suchvektoren wurden 3.005 Treffer betrachtet, aus denen nach Dublettenerkennung 2.262 eindeutige Werke hervorgingen.

Die dokumentierte Selektionskaskade zeigt folgende Ergebnisse:

2.262 eindeutige wissenschaftliche Werke als Ausgangsbestand.

1.056 thematische Ausschlüsse und sieben zusätzliche Dubletten.

1.199 Werke im anschließenden Lizenzklassifikationsverfahren.

278 unter der konservativen Lizenz-Policy zugelassene Werke.

203 technisch valide PDF-Downloads.

151 in den kuratierten Korpus übernommene Dokumente, 28 Fälle zur manuellen Prüfung und 24 weitere Nichtaufnahmen.

Damit wurden 151 von 2.262 betrachteten eindeutigen Werken (6,7 %) in den finalen Korpusbestand dieses Suchlaufs übernommen.

Die Ergebnisse dokumentieren das algorithmische Selektionsverhalten und die Verarbeitungsausbeute. Sie stellen weder eine vollständige Erhebung frühpädagogischer Forschungsliteratur des Jahres 2014 noch eine unabhängige Validierung der inhaltlichen Richtigkeit sämtlicher Klassifikationsentscheidungen dar.

3. Explorative Evaluation lokaler RAG-Antworten

Ergänzend wurden zehn dokumentierte Antwortpaare eines lokalen AnythingLLM-RAG-Systems und des Cloud-Modells Gemini 3.1 Pro mit hohem Denkaufwand qualitativ untersucht.

Die Fragen basieren auf sieben ausgewählten wissenschaftlichen Quelldokumenten, die im lokalen RAG-Bestand enthalten waren. Dieser Prüfbestand ist von der gesondert ausgewerteten 2014er-Dokumentenkohorte zu unterscheiden.

Das lokale System verwendete AnythingLLM 1.18.0 in Verbindung mit Ollama, dem Antwortmodell qwen3.8:27b-q8_0, dem Embedding-Modell qwen3-embedding:8b und LanceDB als Vektordatenbank. Die untersuchte Hardware umfasste ein MacBook Pro mit Apple M3 Max und 128 GB Unified Memory.

Die qualitative Analyse berücksichtigt insbesondere:

Faktische Übereinstimmung mit den bereitgestellten Quelldokumenten.

Präzision und Nachvollziehbarkeit der Quellenzuordnung.

Vollständigkeit und Angemessenheit der Antworten.

Verständnis wissenschaftlicher Studiendesigns und empirischer Ergebnisse.

Frühpädagogische Kontextangemessenheit und Praxisübertragung.

Umgang mit unzureichender Evidenz und falschen Fragevoraussetzungen.

4. Zentrale Ergebnisse des Antwortvergleichs

Die zehn dokumentierten Vergleichsfälle zeigen unterschiedliche Stärken und Fehlerarten der untersuchten Systeme.

Quellenbezug und fachliche Genauigkeit: Das lokale RAG-System gibt bei mehreren studienspezifischen Fragestellungen wissenschaftliche Ergebnisse präziser wieder und bindet Aussagen enger an die vorhandenen Forschungsquellen. Dies zeigt sich insbesondere bei der Rekonstruktion empirischer Zusammenhänge und der Unterscheidung zwischen belegten und nicht belegten Aussagen.

Auslassungen und unvollständige Antworten: Gleichzeitig treten beim lokalen RAG-System Fälle von Under-generation auf. Relevante Informationen werden nicht oder nur teilweise wiedergegeben, obwohl sie im bereitgestellten Dokumentenbestand enthalten sind. Ohne vollständige Retrieval-Protokolle lässt sich nicht abschließend bestimmen, ob diese Auslassungen durch Chunking, Retrieval, Kontextbegrenzungen oder die Antwortgenerierung verursacht wurden.

Quellenverwechslungen und unbelegte Ergänzungen: Gemini 3.1 Pro liefert bei einzelnen offenen Praxisfragen ausführlichere und unmittelbar nutzbare Vorschläge. In mehreren studienspezifischen Fällen treten jedoch fehlerhafte Zuordnungen wissenschaftlicher Untersuchungen, theoretischer Modelle oder empirischer Befunde auf. Auch die lokalen RAG-Ausgaben enthalten vereinzelt unbelegte Ergänzungen und Fehler bei der Identifikation vorhandener Quellen.

Umgang mit falschen Voraussetzungen: Eine gezielt formulierte Kontrollfrage mit einer nicht zutreffenden Interventionsannahme führt bei keinem der beiden Systeme zur Erfindung des erfragten prozentualen Interventionseffekts. Die Antworten weisen jedoch unterschiedliche Schwächen bei der korrekten Abgrenzung der zugrunde liegenden Studie auf.

Die Fallserie verdeutlicht, dass Quellenzugriff allein weder vollständige noch faktisch zuverlässige Antworten garantiert. Sie begründet keine allgemeine Überlegenheit eines der untersuchten Systeme.

5. Qualitative Einordnung anhand des RAGAS-Frameworks

Die beobachteten Antwortmuster werden ausgewählten Dimensionen des RAGAS-Frameworks zugeordnet, insbesondere Context Recall, Context Precision und Faithfulness.

Die Einordnung dient der Entwicklung überprüfbarer Hypothesen zu möglichen Fehlerursachen in der Retrieval- und Antwortpipeline. Eine standardisierte Berechnung von RAGAS-Metriken erfolgte nicht.

Als mögliche Optimierungsansätze werden unter anderem angepasste Chunking-Strategien, verbesserte Retrieval-Konfigurationen, hybride Suchverfahren und mehrstufige Quellenabrufe diskutiert. Ihre tatsächliche Wirksamkeit ist Gegenstand zukünftiger kontrollierter Untersuchungen.

6. Lokaler KI-Betrieb und datenschutzorientierte Architektur

Ein wesentliches Architekturmerkmal ist die Trennung zwischen internetabhängiger Literaturakquise und lokal ausführbarer Verarbeitung bereits vorhandener Dokumente.

Nach vollständiger Bereitstellung aller benötigten Softwarekomponenten, Modelle und Forschungsquellen können Dokumentaufbereitung, Embedding-Erstellung, Vektorsuche und Antwortgenerierung bei entsprechend lokaler Konfiguration ohne laufende Internetverbindung erfolgen.

Die Architektur unterstützt damit eine Verarbeitung wissenschaftlicher Wissensbestände unabhängig von externen Cloud-Inferenzdiensten. Neue Literaturrecherchen, externe Downloads und Aktualisierungen bleiben weiterhin netzabhängig.

Ein kontrollierter Offline-Test mit dokumentierter Netztrennung wurde für die vorliegende Untersuchung nicht protokolliert. Die technische Möglichkeit des lokalen Betriebs ist zudem nicht mit einer pauschal nachgewiesenen Datenschutzkonformität gleichzusetzen.

7. Open Science, Lizenzmanagement und FAIR-Orientierung

Die Pipeline verfolgt einen konservativen Ansatz zur automatisierten Lizenzklassifikation wissenschaftlicher Open-Access-Dokumente. Unterschiedliche Creative-Commons-Lizenzen, unklare Rechteinformationen und proprietäre Nutzungsvorbehalte werden anhand festgelegter Regeln bewertet.

Der Bericht diskutiert die Bedeutung europäischer und deutscher Regelungen zum Text and Data Mining (TDM) sowie die Grenzen einer automatisierten Lizenzbewertung.

Die dokumentierte Lizenzklassifikation stellt keine rechtsverbindliche Prüfung dar. Ebenso bedeutet die Open-Access-Verfügbarkeit einer Publikation nicht automatisch, dass ihre Volltexte uneingeschränkt weiterverbreitet werden dürfen.

Die Forschungsdateninfrastruktur orientiert sich an den FAIR-Prinzipien (Findable, Accessible, Interoperable, Reusable). Eine unabhängige Überprüfung der vollständigen FAIR-Konformität wurde nicht durchgeführt.

8. Wissenschaftliche Einordnung und Limitationen

Der Bericht versteht sich als technischer Forschungs- und Entwicklungsbeitrag mit explorativer Anwendungsevaluation.

Die zehn Vergleichsfälle stellen eine kleine, bewusst quellenbezogene Fallauswahl dar. Die Antworten wurden nicht unter vollständig kontrollierten und identischen Modellbedingungen erhoben. Wiederholungsmessungen, eine verblindete unabhängige Fachbewertung sowie vollständige zeitgleiche Retrieval- und Indexprotokolle liegen nicht vor.

Die Entwicklung und Auswertung erfolgten unter maßgeblicher Beteiligung des Autors und mit generativer KI-Unterstützung. Die Untersuchung ist daher nicht als unabhängiges Peer Review, standardisiertes Benchmarking oder repräsentativer Modellvergleich zu interpretieren.

Der wissenschaftliche Beitrag liegt insbesondere in der nachvollziehbaren Dokumentation einer domänenspezifischen Kuratierungsarchitektur, ihrer Selektions- und Verarbeitungsentscheidungen sowie konkreter Fehlerbilder bei der Anwendung lokaler RAG-Systeme auf frühpädagogische Forschungsquellen.

9. Schlussfolgerung und Forschungsperspektiven

Die ECE Wissens-Pipeline v1.0 beschreibt einen modularen Ansatz zur systematischen Aufbereitung wissenschaftlicher Forschungsliteratur für domänenspezifische, lokal betriebene KI-Anwendungen.

Die empirische Selektionskaskade dokumentiert die praktische Verarbeitung eines begrenzten Literaturbestands. Der explorative Antwortvergleich verdeutlicht sowohl das Potenzial quellengebundener Sprachmodelle als auch fortbestehende Herausforderungen hinsichtlich Vollständigkeit, Quellenidentifikation und faktischer Verlässlichkeit.

Für zukünftige Untersuchungen werden insbesondere unabhängige Qualitätsprüfungen der Korpuskuratierung, kontrollierte Vergleiche mit und ohne Retrieval, reproduzierbare Retrieval-Protokolle, quantitative Evaluationsmetriken sowie systematische Untersuchungen der Chunking- und Suchkonfiguration vorgeschlagen.

Der Bericht versteht sich als Beitrag zum Aufbau nachvollziehbarer und nachnutzbarer Forschungsdateninfrastrukturen für den verantwortungsvollen Einsatz generativer KI in der frühkindlichen Bildung.

Verknüpfte Forschungsartefakte

ECE Wissens-Pipeline v1.0 – Softwarearchitekturhttps://doi.org/10.5281/zenodo.23182511

ECE-Research-Corpus – Forschungsdatensatzhttps://huggingface.co/datasets/Earlychildhoodeducation/ECE-Research-Corpus

EleMo-V3 – Separates, verwandtes Sprachmodellhttps://doi.org/10.57967/hf/10808

EleMo-V3 basiert auf einer separaten pädagogischen Datenbasis und ist nicht mit dem im vorliegenden Antwortvergleich untersuchten lokalen RAG-Modell gleichzusetzen.

Publikationsstatus: Wissenschaftlicher Forschungsbericht, Version 1.5. Nicht peer-reviewte Vorveröffentlichung (Preprint).