Seitenhistorie

In  einem internen KI-Projekt wurde an der DNB in den letzten vier Jahren untersucht, wie sich aktuelle Entwicklungen aus der natürlichen Sprachverarbeitung für die Weiterentwicklung der automatischen Erschließung eignen. Speziell wurde die Frage behandelt, welche Methoden sich am besten für die Beschlagwortung von deutschen wissenschaftlicher Publikationen mit Deskriptoren aus der Gemeinsamen Normdatei (GND) eignen. Im Ergebnis zeigt sich, dass bereits existierende Verfahren durch den Einsatz neuer Encoder-(Sprach-)Modelle weiterentwickelt werden können. Andererseits bieten generative Sprachmodelle völlig neue Wege das Beschlagwortungsproblem zu adressieren. Wir berichten von Vor- und Nachteilen und zeigen Ergebnisse unserer Evaluation.

Während die meisten großen Sprachmodelle auf Englisch ausgerichtet sind, präsentieren wir mit LLäMmlein und ModernGBERT zwei komplementäre Modellfamilien, die vollständig auf die deutsche Sprache optimiert wurden: LLäMmlein, ein generatives Decoder-Modell (120 M – 7 B Parameter), und ModernGBERT, eine Encoder-Familie (138 M – 1 B Parameter) für Verständnis- und Klassifikationsaufgaben. Beide wurden von Grund auf auf einem ausschließlich öffentlich verfügbaren deutschen Korpus mit einem eigens entwickelten Tokenizer trainiert – transparent, reproduzierbar und skalierbar über verschiedene Modellgrößen und Cluster-Konfigurationen hinweg.

Im Vortrag erläutern wir den Aufbau der Datenbasis, die Trainingspipeline und die technischen Herausforderungen beim Training. Zur Evaluation wurde der eigens entwickelte SuperGLEBer-Benchmark genutzt, der speziell auf deutsche Sprachverarbeitung zugeschnitten ist und die Grundlage für unsere weiteren Anwendungen bildet. ModernGBERT erzielt dabei in mehreren Aufgabenbereichen derzeit führende Ergebnisse. Die Leistungsfähigkeit des LLMs wird zudem durch externe Anwendungen bestätigt, etwa bei der Erkennung schädlicher Inhalte in sozialen Medien im Rahmen der GermEval 2025 oder bei der deutschen Koreferenzauflösung. Die Beispiele verdeutlichen die Bedeutung aktueller deutschsprachiger LLMs, um leistungsfähige und anwendungsnahe KI-Systeme entwickeln zu können.

Die Entwicklung großer Sprachmodelle hat sich 2025 spürbar verschoben: Der Fokus liegt zunehmend auf Modellen, die komplexe Probleme über mehrstufige Inferenz- und Suchprozesse bearbeiten, anstatt direkt zu antworten.
Dieser Vortrag gibt einen Überblick über moderne Reasoning-Modelle und grenzt ihre Funktionsweise von der klassischen, einmaligen Antwortgenerierung ab. Wir analysieren, wie Reasoning-Modelle zur Laufzeit über Such- und iterative Verfeinerungsverfahren zusätzliche Rechenzeit in bessere Lösungen umsetzen. Zudem betrachten wir, wie diese Fähigkeiten durch gezieltes Training sowie durch Verifikations- und Bewertungsmodelle erlernt und gesteuert werden.
Abschließend ordnen wir ein, unter welchen Bedingungen zusätzliche Inferenz sinnvoll ist und welche praktischen Grenzen sich daraus ergeben. Ziel ist eine verständliche Einordnung dieser Modellklasse.