AG Neuroinformatik und Rehabilitation
Wir verbinden neurowissenschaftliche Grundlagenforschung, klinische Neurorehabilitation und Informatik. Im Mittelpunkt steht die Frage, wie Menschen und Maschinen lernen – und wie digitale Systeme die Rehabilitation nach neurologischen Erkrankungen unterstützen können.
Ein Schwerpunkt ist die Entwicklung digitaler Sprach- und Kognitionstrainingsysteme. Adaptive Lernsteuerung und Motivationsmechanismen sollen regelmäßiges, selbstständiges und individuell passendes Üben unterstützen.
Forschungsschwerpunkte
- Lernen bei Menschen und Maschinen
- Digitale Sprach- und Kognitionstrainingsysteme
- Motivationsmechanismen
Projekte
DailyWords
DailyWords ist ein kostenfreies, mehrsprachiges und KI-gestütztes Werkzeug zum Lernen und Wiedererlernen alltagsnaher Wörter. Ausgangspunkt ist die Frage, wie Menschen mit Aphasie auch außerhalb klassischer Therapiesitzungen häufig, selbstbestimmt und mit persönlich relevantem Sprachmaterial üben können.
Die Plattform verbindet Wörter, Bilder und gesprochene Sprache. Persönlich relevantes Material und ein niedrigschwelliger Zugang sollen regelmäßiges Üben unterstützen – auch in Sprachen und Regionen, für die bislang nur wenige digitale Angebote existieren.
Die amerikanische National Aphasia Association führt DailyWords in ihrem Ressourcenangebot auf.
Weitere Informationen und Zugang zum Angebot: DailyWords-Projektseite.
RehaLingo
RehaLingo entstand in einem vom Bundesministerium für Bildung und Forschung geförderten Projekt als spielerisches und adaptives Sprachtraining für Menschen mit Aphasie.
RehaLingo verband Spracherkennung, automatische Schwierigkeitsanpassung und spielerische Motivationsmechanismen. Das System sollte häufiges selbstständiges Üben ermöglichen und sich möglichst gut an die individuellen Fähigkeiten der Nutzerinnen und Nutzer anpassen.
Weitere Informationen: RehaLingo-Projektseite.
FishSpotting
FishSpotting ist ein digitales Kognitionstraining mit Aufgaben zur fokussierten, selektiven und geteilten Aufmerksamkeit. Die Übungen sind in eine leicht zugängliche Unterwasserwelt eingebettet und passen sich im Verlauf an die individuelle Leistung an.
FishSpotting erfasst Trainingsaktivität und Leistungsverlauf strukturiert. Das Projekt untersucht außerdem, welche Rückmeldungen, Zielsetzungen und Formen sozialer Begleitung die Motivation und längerfristige Nutzung unterstützen. Nach entsprechender Einwilligung stehen die Informationen Behandelnden oder für wissenschaftliche Auswertungen zur Verfügung.
Die Arbeit an Motivationsmechanismen knüpft an frühere Forschung zu Theorie, Neurobiologie und Anwendungen der Motivation an. Einen Überblick bietet der von Bettina Studer und Stefan Knecht herausgegebene Band Motivation: Theory, Neurobiology and Applications (Progress in Brain Research, Band 229, 2016).
Weitere Informationen: FishSpotting-Projektseite.
Neuroinformatik und künstliche Intelligenz
Künstliche Intelligenz hilft uns, Lernen bei Menschen und Maschinen vergleichend zu untersuchen, Trainingsmaterial zu erzeugen, Sprache und Bilder zu analysieren sowie Lernverläufe und Aufgabenschwierigkeit anzupassen.
Im Blick stehen sowohl die Möglichkeiten als auch die Grenzen generativer Modelle. Deshalb prüfen wir KI-generierte Inhalte nachvollziehbar: Sprachliche Plausibilität allein gewährleistet noch keine therapeutische Eignung.
Ein aktueller Schwerpunkt ist die systematische Erzeugung und Bewertung von Bild- und Sprachmaterial für die Aphasietherapie. Die Arbeiten entstehen in Kooperation mit dem Lehrstuhl für Datenbanken und Informationssysteme der Heinrich-Heine-Universität Düsseldorf, insbesondere mit Prof. Dr. Stefan Conrad und Mihir Mulye.
Unter dem Arbeitstitel „Künstliche Gehirne“ geht die Arbeitsgruppe der Frage nach, ob sich lernende KI-Modelle als kontrollierbare Modelle von Sprachstörungen und ihrer Rehabilitation nutzen lassen. Neuere Arbeiten zeigen, dass gezielte Störungen einzelner Komponenten von Sprachmodellen aphasieähnliche Fehlermuster hervorrufen können. Vision-Language-Modelle ermöglichen es darüber hinaus, solche Veränderungen bei der Bildbenennung mit klinisch anschlussfähigen Aufgaben zu untersuchen.
Dieser Ansatz soll zu einem synthetischen Krankheits- und Therapiemodell weiterentwickelt werden.
Untersucht werden drei Fragen:
- Wie zuverlässig lassen sich aphasieähnliche Fehlermuster in unterschiedlichen Vision-Language-Modellen und bei der Bildbenennung erzeugen?
- Lassen sich diese künstlich erzeugten Funktionsstörungen durch erneutes Training intakter Modellkomponenten teilweise beheben?
- Welche Trainingsverfahren verbessern Effizienz, Spezifität und Stabilität der Wiederherstellung – etwa Curriculum Learning, fehlergesteuerte Auswahl von Übungsbeispielen, Wiederholung oder parameter-effizientes Fine-Tuning?
Solche „KI-Aphasien“ sind keine Erkrankungen im medizinischen Sinn, sondern experimentelle Modellstörungen. An ihnen lassen sich Hypothesen über Funktionsverlust, Plastizität, Wiederlernen und mögliche Nebenwirkungen von Rehabilitation kontrolliert untersuchen.
Ausgewählte aktuelle Kongressbeiträge und Publikationen zu unseren neuroinformatischen Arbeiten
- Mulye M, Conrad S, Knecht S · CVPR Workshop 2026. Does Visual Grounding Produce More Reliable Aphasia Therapy Items Than Caption-Only Generation? Abstract und Volltext im CVPR Open Access Repository
- Mulye M, Conrad S, Knecht S · HC@AIxIA/HYDRA 2025, erschienen 2026. Using Multi-modal Generative Models for Creating Speech Therapy Material. Abstract und bibliografische Angaben bei Springer
- Mulye M, Conrad S, Knecht S · International Conference on Artificial Intelligence in Healthcare 2025. Exploring Applicability of Text-to-Image Models for Generating Aphasia Rehabilitation Material. Abstract und bibliografische Angaben bei Springer
- Mulye M, Conrad S, Knecht S · 35. GI-Workshop Grundlagen von Datenbanken, 2024. Proof of Clinical Feasibility of Natural Language Learning with Machines. Frei zugänglicher Volltext bei CEUR Workshop Proceedings
Weitere Publikationen: Google Scholar Andere Archive: PubMed · ORCID · ResearchGate
Fachlicher Austausch
Zum Arbeitsprofil gehört der interdisziplinäre Austausch zwischen Neurologie, Neuropsychologie, Sprachtherapie, Informatik und Versorgungsforschung. Einen wichtigen fachlichen Bezugsrahmen bildet die Deutsche Gesellschaft für interdisziplinäre Neurorehabilitation.
Kontakt
Prof. Dr. med. Stefan Knecht
Institut für Klinische Neurowissenschaften und Medizinische Psychologie
Universitätsklinikum Düsseldorf
Moorenstraße 5
40225 Düsseldorf