Hybrides Maschinelles Lernen
Hybrides Maschinelles Lernen ist darauf ausgerichtet, empirische Daten, Weltwissen und Anwendungskontexte integriert zu behandeln. Das übergeordnete Ziel ist es, ML-Lösungen zu entwickeln, die effizient, robust, erklärbar und vertrauenswürdig sind. Hybrides Maschinelles Lernen ist daher ein integraler Bestandteil unserer Forschungs- und Entwicklungsaktivitäten am Lamarr-Institut.
Strukturierte Repräsentationen für interpretierbares Maschinelles Lernen
Modelle und Algorithmen des hybriden Maschinellen Lernens lernen strukturierte Repräsentationen aus empirischen Daten. Diese Repräsentationen sind transformierte Darstellungen der Daten, die diese besser interpretierbar oder für die nachgelagerte Modellierung und Vorhersage besser nutzbar machen. Das Schlüsselwort ist hier „strukturiert“. Einerseits wird beim hybriden Maschinellen Lernen die Struktur in die Datendarstellung integriert, indem induktive Vorannahmen aus der Mathematik, den Naturwissenschaften, den Sozial- oder Wirtschaftswissenschaften genutzt werden. Andererseits nutzt das hybride Maschinelle Lernen solche Strukturen, um Probleme in diesen Bereichen besser zu lösen.
Unsere Forschung im Bereich des hybriden Maschinellen Lernens geht in der Tat in drei große Richtungen:
- Mathematische Konzepte und Repräsentationslernen
Studium und Anwendung von Konzepten aus der diskreten Mathematik, der Geometrie, der Gruppentheorie und der Wahrscheinlichkeitstheorie, um Algorithmen für das Repräsentationslernen zu entwickeln und zu analysieren. Dabei konzentrieren wir uns auf Algorithmen, die die zugrundeliegende Struktur von relationalen Daten sowie von Bild- und Videodaten verarbeiten und nutzen. - Überwindung von Black-Box Deep Learning durch Wissen
Entwicklung neuronaler Modelle für empirische Daten, die über das Black-Box Deep Learning hinausgehen, da sie mit mathematischem Wissen oder Theorien aus den Natur- oder Sozialwissenschaften übereinstimmen. Beispiele hierfür sind unsere Modelle für das logische Denken in natürlicher Sprache, die Repräsentationen ableiten, die auf klassischen Theorien der Semantik beruhen, oder unsere neuronalen stochastischen Prozessmodelle, die Repräsentationen von Zeitreihendaten so einschränken, dass sie physikalisch inspirierte Differenz- oder Differentialgleichungen erfüllen. - Automatische wissenschaftliche Entdeckungen
Entwicklung von Methoden für automatische wissenschaftliche Entdeckung durch Inferenz aus neuronalen Darstellungen von (sorgfältig kuratierten) algebraischen Gleichungen. Diese Repräsentationen sind so konzipiert, dass sie von neuronalen Denkern (künstlichen Wissenschaftlern) verarbeitet werden können, die durch Verstärkungslernen trainiert werden, um automatisch neue wissenschaftliche Theorien aus Daten zu konstruieren.
Unsere Forschung fügt sich somit in das Paradigma „triangular AI“ des Lamarr-Instituts ein, da sie Daten (empirische Beobachtungen), strukturiertes Wissen (wissenschaftliche Theorien oder mathematische Modelle) und Kontext (Belohnungssignale von Verstärkungsalgorithmen) kombiniert, um physikalische und soziale Prozesse in praktischen Anwendungen besser zu verstehen und vorherzusagen.
