Natural Language Understanding (NLU) hat in unserem Alltag Einzug gehalten. Kerntreiber der Erfolge sind Sprachmodelle wie BERT oder GPT. Sie lernen durch selbstüberwachtes Vortrainieren Texte zu repräsentieren und werden durch Transferlernen auf beliebige Aufgaben im Bereich NLU spezialisiert. Diese Modelle erzielen nicht nur State-of-the-art-Ergebnisse in der Forschung sondern verändern auch nachhaltig die Art und Weise, wie wir NLU-Projekte durchführen. In diesem Vortrag werden aktuelle NLU-Entwicklungen vorgestellt und im historischen Kontext eingeordnet. Dazu wird die Entwicklung von einfachen Textrepräsentationsverfahren bis hin zu transformerbasierten Sprachmodellen aufgezeigt. Anhand aktueller Projekte am Fraunhofer IAIS wird dargestellt, welche Vorteile die jeweiligen Modelle bieten und warum es sinnvoll ist, auch klassische Verfahren weiter einzusetzen. Schließlich wird ein Ausblick auf die weitere Entwicklung des Themenfeldes und aktuelle Forschungsrichtungen gegeben.

Im Fokus dieses Beitrags steht das EU-Projekt European Language Grid, sowie dessen Schwester-Projekt European Language Equality, in dem wir das Thema “digitale Sprachgerechtigkeit” in Europa vorantreiben. Es werden auch Ergebnisse – und Pläne – aus anderen Projekten vorgestellt, z.B. QURATOR, SPEAKER und NFDI4DataScience. 

Wikidata ist Wikimedias Wissensdatenbank. In dem Schwesterprojekt von Wikipedia sammeln und kuratieren über 12.000 Beitragende Daten über die Welt und machen sie frei verfügbar. Die Daten sind Grundlage für unzählige Applikationen und Services, die tagtäglich genutzt werden - vom Wikipedia-Artikel über den persönlichen digitalen Assistenten bis hin zur Forschung. Für Wikimedia ist die Offenheit des Projektes essentiell und gleichzeitig haben wir eine Verpflichtung, der Welt vertrauenswürdige Daten zu liefern. In diesem Vortrag werden wir beleuchten, wie Wikimedia damit umgeht, welche Werkzeuge und Strategien bei der Datenqualitätsarbeit zum Einsatz kommen und welche Parallelen zur Arbeit an Normdaten gezogen werden können.

Die Gemeinsame Normdatei (GND) steht in besonderem Maße für Verlässlichkeit. Normdaten sollen inhaltlich korrekt, nach einheitlichen Regeln erfasst und dauerhaft referenzierbar sein. Für diesen allgemeinen Anspruch bürgen die Institutionen, die die GND gemeinschaftlich betreiben und pflegen. Bislang verträgt sich dieser Anspruch nur bedingt mit dem Einsatz maschineller Verfahren. Die Inhalte der GND sind bis dato das Ergebnis softwaregestützter Handarbeit. Selbst maschinell importierte Daten sind im Ursprung durch manuelle Eingaben von Kultur- und Wissenschaftseinrichtungen, Community-Projekten oder Verlagen und Autoren entstanden. Der Einsatz von Skripten beschränkt sich auf unterstützende Analysen zur Qualitätssicherung und auf triviale Datenmanipulationen, zum Beispiel um Daten in die benötigte syntaktische Form zu bringen oder um systematische Fehler zu bereinigen.

Der zunehmende Einsatz maschineller Verfahren stellt die GND-Community nun vor neue Fragen und Herausforderungen:  Was ist erforderlich, um die Eignung der GND für die maschinelle Erschließung zu verbessern? Wie finden neue Entitäten und Konzepte künftig Eingang in die GND, wenn die Veröffentlichungen dazu ausschließlich maschinell erschlossen wurden? Lassen sich maschinelle Verfahren für die GND-Pflege nutzen, um dem steigenden Anspruch hinsichtlich Vollständigkeit und Präzision bei gleichzeitig fehlenden Ressourcen in vielen GND-Redaktionen besser gerecht zu werden? Wie können die Anforderungen an die Verlässlichkeit der GND auch dann noch erfüllt werden?

Seit Jahren verläuft die Entwicklung neuer, immer leistungsfähigerer Programmierbibliotheken und Daten im Bereich natürliche Sprachverarbeitung (NLP) immer ungestümer und ermöglicht neue, immer leistungsfähigere Anwendungen. Entwicklungsteams, die hier den Überblick behalten und verfügbare Open Source Bausteine zu passgenauen Lösungen zusammensetzen, können sich hierfür aus einem Schlaraffenland von Komponenten, oft direkt aus der ersten Liga weltweiter Forschungsgruppen, bedienen.
Das französisch-deutsche KI/NLP-Unternehmen Kairntech nimmt aktiv an dieser Community teil und erstellt für seine Anwender:innen Systeme für spezialisierte Anforderungen. Im Vortrag werden mit theaurus-basiertem Indexieren, automatischer Unterstützung bei der Pflege von Thesauri sowie automatischer Dokumentensegmentierung und Metadatenanalyse drei entsprechende Beispiele kurz vorgestellt.

Früher wurden für KI-Modelle große Menge an (manuell) annotierten Trainingsdaten benötigt („supervised learning“). Die Folge: hochspezialisierte Modelle die eine bestimmte Aufgabe erledigen können – in vielen Bereichen besser als Menschen. 

Die nächste Generation von KI-Modellen ist anders und wird mit Hilfe von unfassbaren Mengen an nicht-annotierten Daten einmalig trainiert und anschließend nur noch auf die jeweilige Aufgabe gefinetuned.

Aleph Alpha baut diese Art von Modellen und arbeitet daran, sie multimodal zu trainieren. So erlernen diese Art der Modelle u.a. ein deutlich verbessertes „Verständnis“ der Welt, unterschiedliche Sprachkonzepte, eine neue Form der Verknüpfung von relevantem Wissen bis zu einer moralischen Grundausrichtung.

Doch was bedeutet das für den praktischen Umgang mit Wissen und die Zukunft in der Erschließung von Wissen?