Über 1.000 Forscher, Entwickler, Data Scientists, Unternehmer, Führungskräfte und über 50 Vorträge - das war die Konferenz AI for Human Language am 05. März 2020 in Tel Aviv.
Mit dem Ziel neuste Trends zu entdecken, Ideen zu sammeln und interessante Diskussionen mit anderen NLP-Enthusiasten zu führen, besuchten unsere Data Scientists Jonathan und Simon die AI for Human Language in Israel.
Ein vielseitiges Vortragsprogramm boten Speaker von bekannten Größen der AI-Forschung wie Intel, Google, IBM sowie von kleineren und spezialisierten “erwachsen gewordenen” Start-Ups oder aus der akademischen Forschung. Sowohl die Hintergründe neuer MS Office Features als auch die Tücken des heiß umkämpften und sich zunehmend auf Machine Learning und NLP-Modelle stützenden Übersetzungsmarktes wurden aufgezeigt. Diese Thematiken wurden in großer technischer Detailtiefe vorgestellt und fügten sich in akademische Vorträge zu den neuesten Einsichten in die “Sesame Street”-Generation von Deep Learning basierten Sprachmodellen (ELMo, BERT) ergänzt.
Fortschritte um Conversational Systems oder Chatbots
Nächste Schritte der NLP-Community mit Deep Learning-Sprachmodellen
Interesse und Potential von NLP-Anwendungen im Gesundheitssektor
Conversational systems interagieren mit Kunden im Kundenservice, beantworten Fragen oder ermöglichen Self-Service über natürliche Sprache als "universelle" Schnittstelle. Diese Systeme stellen NLP-Forscher vor interessante Herausforderungen, eröffnen Unternehmen neue Wege der Kundeninteraktion und werden von Kunden positiv angenommen. Entsprechend groß ist das Interesse an Verbesserungen aller Aspekte von Conversational Systems. In unserem Artikel "LAMBADA AI-Methode: Conversational Systems erschaffen" können Sie mehr über die Gestaltung von Conversational Systems erfahren.
Inzwischen existieren Projekte wie RASA und Dienste wie das MS Bot Framework, die die Entwicklung von Bots mit grundlegenden Fähigkeiten deutlich vereinfachen. Aktiv wird vor allem an der Verbesserung der trainierbaren Machine Learning-Komponenten zum Sprachverständnis gearbeitet. Hier bieten Dienstleister domainspezifisches Vortraining an, um z.B. die Intent-Erkennung zu optimieren. Gleichzeitig wird mit Techniken zur Augmentierung der – immer knappen – Trainingsdaten experimentiert (siehe unten).
Eine große Herausforderung bleibt es aber, Chatbots hinreichend flexibel zu gestalten, sodass sie ihrem menschlichen Gegenüber in selteneren oder vom antizipierten Verlauf abweichenden Situationen helfen können.
Ein weiteres großes Diskussionsthema waren die Erfolge von Deep Learning-Sprachmodellen, speziell den Transformer-basierten wie BERT. Denn in den verschiedensten Bereichen von NLU zu NLG, Textklassifikation, Fragenbeantwortung und insbesondere auch in zahlreichen NLP-Wettbewerben und Benchmarks erzielen sie erstaunliche Resultate.
Neben den Bemühungen um ein besseres Verständnis der Mechanismen hinter den Modellen und ihrer Grenzen arbeitet die NLP-Community auch an der Integration der Transformatorenmodelle mit "klassischen" Wissensdatenbanken, Ontologien und/oder regelbasierten Systemen. Ziel ist es nicht nur, die Ergebnisse der Modelle zu verbessern, sondern auch, diese klassischen Datenquellen um die gelernten Modelle zu erweitern. Die Verschmelzung dieser beiden Ansätze hat sogar das Potenzial, der nächste Entwicklungsmeilenstein bei NL/AI-Systemen zu werden.
An Anwendungsbereichen stand insbesondere der Gesundheitssektor im Fokus. Hier finden sich einerseits große Potentiale, anderseits auch spezifische Hindernisse für die Verbreitung von NLP-gestützten Lösungen. Solche Lösungen bieten z.B. die Chance, Verwaltungsprozesse zu vereinfachen und Kosten zu reduzieren. Informationen aus den vorhandenen, oft un- oder nur teilstrukturierten Akten, Leit- und Richtlinien, Wissensdatenbanken etc. können medizinischem Personal leichter zugänglich gemacht werden und sie bei der Auswahl von Behandlungsstrategien unterstützen. Oft sind aber gerade Klinikbetriebe und Praxen wenig digitalisiert. Die Domäne ist hochkomplex und sensitiv, Daten sind unstrukturiert, streng vertraulich und gespickt mit Fachjargon.
Zusätzlich sind weniger Trainingsdaten vorhanden als in anderen Bereichen. Gleichzeitig neigen mit Patienten arbeitende Mediziner überdurchschnittlich zu Skepsis gegenüber automatisierten Systemen und werden durch Modellfehler leicht abgeschreckt.
Die Lösung kann darin liegen, Ärzte und Experten noch stärker in die Entwicklungsprozesse einzubinden. Das erhöht zum einen das Vertrauen und die Akzeptanz neuer Verfahren, zum anderen kann und muss deren Expertise zusätzlich zu den vorhandenen Trainingsdaten stärker einbezogen werden, z. B. zur Plausibilitätsprüfung oder als "Notbremse".
Data Augmentation für Conversational Systems
LAMBADA befasst sich mit Data Augmentation im Kontext von Conversational Systems und schafft ein kleines Paradox: Das Verbessern von Intentklassifikation durch (eigentlich viel anspruchsvollere) Textgenerierung.
Wenn nur wenige gelabelte Aussagen pro Intent für das Training eines NLU-Modells zur Verfügung stehen - ein häufiges Problem in der Entwicklerrealität - sind Verbesserungen möglich. Dazu müssen neue Aussagen mit einem speziell fein abgestimmten GPT-2-Modell generiert und nach einigen heuristischen Filterschritten der Trainingsmenge für das NLU-Modell hinzugefügt werden.
Benutzerfreundliche Conversational Systems
Um Conversational Systems benutzerfreundlicher zu gestalten, erweitert Domain Exploration die Bot-Fähigkeiten, sodass es Informationen liefern kann, nach denen der Nutzer nicht explizit gefragt hat. Dazu lernt das System, welche Informationen zum bisherigen Gesprächsverlauf passen und für den Nutzer von Interesse sein könnten.
Hybrid-Algorithmen im Gesundheitswesen
Eine Lösung der oben beschriebenen Herausforderungen von NLP im Gesundheitswesen sind Hybrid Algorithmen. Ensemble-Modelle, also Kombinationen von Untermodellen, können z.B. Klassen mit wenig Trainingsdaten durch regel- oder wissensbasierte Methoden abhandeln und für Klassen mit genug Trainingsdaten die (hier meist besser generalisierenden) neueren Deep Learning-Verfahren einsetzen. Dies erlaubt größere Kontrolle über das Gesamtmodell und verwertet das vorhandene Fachwissen zielgerichtet, um die Schwachpunkte der Modelle zu stärken.
Schwachstellen von Deep Learning-Modellen
Zu viel Vertrauen in Deep Learning-Sprachmodelle kann auch irreführend sein: Wenn Testdaten sich durch einfache Heuristiken erklären lassen, werden auch komplexe neuronale Architekturen nur einfache Heuristiken und keine sinnvollen, generalisierenden Inferenzregeln lernen.
Eine einfache Heuristik wäre, dass jeder Satz, der ganz und zusammenhängend in einem wahren Trainingssatz enthalten ist, auch selbst wahr ist. Etwa in folgendem Fall:
Es ist falsch, aus “The doctor near the actor danced.” zu schließen “The actor danced”. Dieses Beispiel ist ein Fehler, den ein Standard-BERT Modell, trainiert auf dem Textinferenz-Datensatz MNLI, macht. Es zeigt, wie wichtig es ist, auch Deep Learning-Modelle nicht als Black Box hinzunehmen, sondern ihre Funktionsweise genauer zu untersuchen und auch zu erklären.
In vielen Bereichen sind NLP-Systeme längst gut genug, um häufige Alltagsherausforderungen zu erleichtern. Beispiele für gut verstandene Use-Cases sind etwa maschinelle Übersetzung oder Textklassifikation. Aber Lösungen sind in aller Regel sehr spezifisch auf einen Use-Case zugeschnitten und zu wirklich verallgemeinernden, lernenden Systemen ist der (Forschungs-) Weg noch weit.
Die Integration von extern aufbereitetem Wissen, in Form von Wissensdatenbanken, Ontologien oder handgeschöpften Regeln, scheint hier die nächste Entwicklungsstufe zu sein. Steadforce freut sich auf die neuen Möglichkeiten und Herausforderungen.
