Überblick

In diesem Workshop befassen wir uns mit den theoretischen und praktischen Aspekten sowie dem produktiven Betrieb von Annif zur automatischen Inhaltserschließung in der DNB.

Vor dem Hintergrund der stark wachsenden Zahl zu erschließender Online-Publikationen und der seit 2009 vorangetriebenen Automatisierung der Inhaltserschließung in der DNB zeigen wir Ihnen im Theorieteil, wie in der Erschließungsmaschine (EMa) die zentralen Anwendungsfälle, automatische Klassifikation mit DDC-Sachgruppen und DDC-Kurznotationen sowie die Indexierung mit GND-Schlagwörtern, in einer modularen Architektur umgesetzt sind.

Sie erfahren, wie das Training von Modellen geplant, robuste Daten- und Pipeline-Prozesse im Datenmanagement orchestriert und Modelle für die Annif-Backends, einschließlich Ensemble- und Fusionsstrategien, erstellt, konfiguriert und in den Betrieb überführt werden. Dabei zeigen wir auch den Umgang mit heterogenen Korpora, die in der DNB unter anderem Artikel, Bücher und Inhaltsverzeichnisse in Deutsch oder Englisch mit sehr unterschiedlichen Textlängen und Inhalten umfassen. Wir berichten über die EMa mit ihrem modularen Aufbau, der containerbasierten Bereitstellung sowie getrennten Test-, Freigabe- und Produktionsumgebungen für die tägliche automatische Erschließung. Ein Ausblick gilt der nächsten Generation von Transformer-/LLM-Verfahren und der damit einhergehenden GPU-Notwendigkeit. 

Ein zentraler Bestandteil des Workshops ist eine Hands-on-Session. Darin betrachten wir gemeinsam die Indexierung von Publikationen mit GND-Schlagwörtern und vergleichen die Ergebnisse einzelner Verfahren. Exemplarisch beschäftigen wir uns mit den Stärken und Grenzen lexikalischer und Machine-Learning-basierter Ansätze und fusionieren diese zur Ergebnisverbesserung.

Neben praxisnahen Einblicken bietet der Workshop Raum für den Austausch über den produktiven Einsatz der maschinellen Erschließung. Technische Hardwareaspekte werden im Anschluss auf der Fachtagung in einem Vortrag von Christoph Poley vertieft.
Workshop-Anmeldung

Anmeldung  hier   ANMELDUNG

Platz für bis zu 14 Personen 

Uhrzeit: 13:30 Uhr bis 17:00

Voraussetzungen und Vorbereitung:

• Grundkenntnisse in der klassifikatorischen und verbalen Inhaltserschließung sind hilfreich, aber nicht erforderlich
• ein Basisverständnis von Machine-Learning-Konzepten ist hilfreich, aber nicht erforderlich
• Grundkenntnisse im Arbeiten auf der Kommandozeile unter Unix/Linux sowie im Umgang mit Jupyter Notebook sind hilfreich, aber nicht erforderlich
• Interesse an technischen Betriebsaspekten (Container, Pipelines, Umgebungen)

Rechner für die praxisorientierten Hands-on-Übungen werden von der DNB während des Workshops bereitgestellt

Erwartete Ergebnisse:

Am Ende des Workshops werden die Teilnehmenden:

• den Aufbau und die Funktionsweise eines Systems zur automatischen Inhaltserschließung (Daten, Dienste, Datenflüsse, Bereitstellung) kennengelernt haben,
• einige Stärken/Schwächen lexikalischer vs. ML-basierter Verfahren eingeordnet,
• einfache Fusionsstrategien angewendet und Hands-on-Erfahrungen mit der GND-Indexierung gesammelt haben,

References

[1]  Suominen, O., Inkinen, J., Virolainen, T., Fürneisen, M., Kinoshita, B. P., Veldhoen, S., Sjöberg, M., Zumstein, P., Neatherway, R., & Lehtinen, M. (2025). Annif (Version 1.4.0) [Computer software]. https://github.com/NatLibFi/Annif 

[2] Christoph Poley, Sandro Uhlmann, Frank Busse, Jan-Helge Jacobs, Maximilian Kähler, Matthias Nagelschmidt & Markus Schumacher (2025). Automatic Subject Cataloguing at the German National Library. LIBER Quarterly: The Journal of the Association of European Research Libraries, 35(1), 1-29. https://doi.org/10.53377/lq.19422

Überblick

In diesem Workshop werden theoretische und praktische Aspekte der Evaluation automatischer Verfahren zur Inhaltserschließung behandelt. Dies geschiet unabhängig vom konkreten Algorithmus oder Erschließungs-Tool. In diesem Workshop wird also nicht direkt mit Annif gearbeitet, wie im parallelen Workshop.  Da Künstliche Intelligenz und Maschinelles Lernen in der Informationssuche und Inhaltserschließung immer wichtiger werden, ist es entscheidend, zu verstehen, wie diese Verfahren wirksam bewertet werden können. Damit lassen sich Systeme fundiert planen, Qualität nachhaltig sichern und gezielte Verbesserungen ableiten.

Zentrale Fragen sind dabei: Wie kann ich Schlagwortvorschläge verschiedener Verfahren genau untersuchen? Woran erkenne ich Stärken und Schwächen dieser Verfahren? Welche Vorteile bieten LLM-basierte Ansätze gegenüber klassischen Methoden?

Ziel des Workshops ist es, ein klares Verständnis der wichtigsten Evaluationsmetriken, ihrer Aggregation und der relevanten Evaluationsdimensionen zu vermitteln. Darüber hinaus gibt es praktische Übungen mit dem neu an der Deutschen Nationalbibliothek entwickelten R-Evaluationstoolkit CASIMiR.

Wir betrachten die Stärken und Grenzen verschiedener Ansätze zur automatischen Inhaltserschließung, z. B.:

• Lexical Matching ([1], [8])

• Partitioned Label Trees ([2], [3], [4])

• X-Transformer ([5], [6])

• durch LLMs generierte Schlagwörter ([7])

Als Beispiel wenden wir diese Verfahren auf einem Testset mit deutschsprachigen Titeln an. Dabei sollen Schlagwörter aus der Gemeinsamen Normdatei (GND) [9] vorhergesagt werden. Aufgrund ihrer Größe stellt die GND ein besonders herausforderndes Zielvokabular dar. Das bietet vielfältige Möglichkeiten, Vor- und Nachteile der einzelnen Verfahren eingehend zu untersuchen.

Zum Abschluss gibt es eine offene Diskussion. Hier können Teilnehmende weitere Aspekte einbringen, die über die reine Qualität der Schlagwortvorschläge hinausgehen, z. B. Ressourcenbedarf, Machbarkeit oder Open-Source-Verfügbarkeit etc.
Workshop-Anmeldung

Anmeldung  hier  ANMELDUNG

Platz für bis zu 16 Personen

Uhrzeit: 14:00 Uhr bis 16:30

Voraussetzungen und Vorbereitung

• Grundkenntnisse in Information Retrieval und Inhaltserschließung, insbesondere zu den grundlegenden Metriken Precision, Recall und F-Score
• Vertrautheit mit R und grundlegenden Programmierkonzepten ist hilfreich, aber nicht erforderlich
• Es wird vorausgesetzt, dass Teilnehmende eigene Laptops mit installierter R-Umgebung (idealerweise RStudio oder VS Code) mitbringen, um die bereitgestellten interaktiven Beispiel-Notebooks durchzuarbeiten. Folgen Sie dafür den Schritten in unserer Workshop-Anleitung: https://github.com/deutsche-nationalbibliothek/casimir-workshop . Ohne R-Installation besteht die Möglichkeit die Beispiel-Notebooks als Markdown-Dateien ohne Interaktion auf Github direkt zu lesen (am eigenen Laptop). 
• Der Workshop wird auf Deutsch gehalten, die Workshop-Materialien sind aber ausschließlich englisch. 

Die Teilnehmenden erhalten:

• Beispieldatensätze mit Schlagwortvorschlägen aus verschiedenen Verfahren
• Zugriff auf das CASIMiR-Paket (GitHub-Link: GitHub - deutsche-nationalbibliothek/casimir: Comparing Automated Subject Indexing Methods in R)
• Beispiel-Notebooks (quarto) mit den ersten Schritten einer Analyse mit CASIMiR

Erwartete Ergebnisse

Am Ende des Workshops werden die Teilnehmenden:

• die theoretischen Grundlagen für Evaluationsprojekte verstanden haben,
• einige Vor- und Nachteile aktueller Verfahren zur automatischen Inhaltserschließung kennen,
• praktische Erfahrungen mit einer Drill-Down-Analyse in R unter Einsatz von CASIMiR gesammelt haben,
• in der Lage sein, das erworbene Wissen in eigenen Evaluationsprojekten anzuwenden.

References

[1]      O. Suominen, “Maui Like Lexical Matching,” https://github.com/NatLibFi/Annif/wiki/Backend%3A-MLLM.

[2]      O. Suominen, “Omikuji Backend,” https://github.com/NatLibFi/Annif/wiki/Backend%3A-Omikuji.

[3]      Y. Prabhu, A. Kag, S. Harsola, R. Agrawal, and M. Varma, “Parabel: Partitioned label trees for extreme classification with application to dynamic search advertising,” The Web Conference 2018 - Proceedings of the World Wide Web Conference, WWW 2018, pp. 993–1002, Apr. 2018, doi: 10.1145/3178876.3185998.

[4]      S. Khandagale, H. Xiao, and R. Babbar, “Bonsai: diverse and shallow trees for extreme multi-label classification,” Mach Learn, vol. 109, no. 11, pp. 2099–2119, Nov. 2020, doi: 10.1007/s10994-020-05888-2.

[5]      W.-C. Chang, H.-F. Yu, K. Zhong, Y. Yang, and I. S. Dhillon, “Taming Pretrained Transformers for Extreme Multi-label Text Classification,” in Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, New York, NY, USA: ACM, Aug. 2020, pp. 3163–3171. doi: 10.1145/3394486.3403368.

[6]      J. Zhang, W. Chang, H. Yu, and I. S. Dhillon, “Fast Multi-Resolution Transformer Fine-tuning for Extreme Multi-label Text Classification,” Oct. 2021, Accessed: Nov. 08, 2021. [Online]. Available: https://arxiv.org/abs/2110.00685v2

[7]      L. Kluge and M. Kähler, “DNB-AI-Project at SemEval-2025 Task 5: An LLM-Ensemble Approach for Automated Subject Indexing,” Apr. 2025, Accessed: May 07, 2025. [Online]. Available: https://arxiv.org/abs/2504.21589v1

[8]      O. Medelyan, E. Frank, and I. H. Witten, “Human-competitive tagging using automatic keyphrase extraction,” ACL and AFNLP, pp. 6–7, 2009, doi: 10.5555/3454287.3454810.

[9]      Geschäftsstelle der GND-Zentrale an der Deutschen Nationalbibliothek, “Gemeinsame Normdatei,” https://gnd.network/. Accessed: Oct. 11, 2024. [Online]. Available: https://gnd.network/

In  einem internen KI-Projekt wurde an der DNB in den letzten vier Jahren untersucht, wie sich aktuelle Entwicklungen aus der natürlichen Sprachverarbeitung für die Weiterentwicklung der automatischen Erschließung eignen. Speziell wurde die Frage behandelt, welche Methoden sich am besten für die Beschlagwortung von deutschen wissenschaftlicher Publikationen mit Deskriptoren aus der Gemeinsamen Normdatei (GND) eignen. Im Ergebnis zeigt sich, dass bereits existierende Verfahren durch den Einsatz neuer Encoder-(Sprach-)Modelle weiterentwickelt werden können. Andererseits bieten generative Sprachmodelle völlig neue Wege das Beschlagwortungsproblem zu adressieren. Wir berichten von Vor- und Nachteilen und zeigen Ergebnisse unserer Evaluation.

Während die meisten großen Sprachmodelle auf Englisch ausgerichtet sind, präsentieren wir mit LLäMmlein und ModernGBERT zwei komplementäre Modellfamilien, die vollständig auf die deutsche Sprache optimiert wurden: LLäMmlein, ein generatives Decoder-Modell (120 M – 7 B Parameter), und ModernGBERT, eine Encoder-Familie (138 M – 1 B Parameter) für Verständnis- und Klassifikationsaufgaben. Beide wurden von Grund auf auf einem ausschließlich öffentlich verfügbaren deutschen Korpus mit einem eigens entwickelten Tokenizer trainiert – transparent, reproduzierbar und skalierbar über verschiedene Modellgrößen und Cluster-Konfigurationen hinweg.

Im Vortrag erläutern wir den Aufbau der Datenbasis, die Trainingspipeline und die technischen Herausforderungen beim Training. Zur Evaluation wurde der eigens entwickelte SuperGLEBer-Benchmark genutzt, der speziell auf deutsche Sprachverarbeitung zugeschnitten ist und die Grundlage für unsere weiteren Anwendungen bildet. ModernGBERT erzielt dabei in mehreren Aufgabenbereichen derzeit führende Ergebnisse. Die Leistungsfähigkeit des LLMs wird zudem durch externe Anwendungen bestätigt, etwa bei der Erkennung schädlicher Inhalte in sozialen Medien im Rahmen der GermEval 2025 oder bei der deutschen Koreferenzauflösung. Die Beispiele verdeutlichen die Bedeutung aktueller deutschsprachiger LLMs, um leistungsfähige und anwendungsnahe KI-Systeme entwickeln zu können.

Die Entwicklung großer Sprachmodelle hat sich 2025 spürbar verschoben: Der Fokus liegt zunehmend auf Modellen, die komplexe Probleme über mehrstufige Inferenz- und Suchprozesse bearbeiten, anstatt direkt zu antworten.
Dieser Vortrag gibt einen Überblick über moderne Reasoning-Modelle und grenzt ihre Funktionsweise von der klassischen, einmaligen Antwortgenerierung ab. Wir analysieren, wie Reasoning-Modelle zur Laufzeit über Such- und iterative Verfeinerungsverfahren zusätzliche Rechenzeit in bessere Lösungen umsetzen. Zudem betrachten wir, wie diese Fähigkeiten durch gezieltes Training sowie durch Verifikations- und Bewertungsmodelle erlernt und gesteuert werden.
Abschließend ordnen wir ein, unter welchen Bedingungen zusätzliche Inferenz sinnvoll ist und welche praktischen Grenzen sich daraus ergeben. Ziel ist eine verständliche Einordnung dieser Modellklasse.

Künstliche Intelligenz soll Arbeit schneller, leichter und effizienter machen. Wenn man dem Transhumanismus glaubt, verhilft die Nutzung populärer LLM-Modelle der Menschheit auf die nächste Entwicklungsstufe. Die Grundlage für diese positiven Effekte sind unzählige Datenpunkte des Internets, unter anderem auch Digitalisate im Open Access. Die Fragmente dieser Digitalisate streuen weit. Teilweise bis in eine KI-generierte Wikipedia von Elon Musk, genannt Grokipedia, in der die Fragmente teils in ihr Gegenteil verkehrt und verzerrt werden. Verliert der ursprüngliche Datenpunkt, das Digitalisat, dadurch an Wert? Diese Frage lässt sich dabei auf verschiedene Weise beantworten: Wert als Konzept ist sowohl ökonomischer Nutzen, als auch gesellschaftlich-ethische Aufladung, aber auch rechtliches Schutzgut. Der Vortrag verbindet diese Perspektiven für ein interdisziplinäres Verständnis von "Wert". Wie sich der Wert durch den Einsatz von LLM-Modellen verändert, wird anhand verschiedener Beispiele illustriert.

Die Automatisierung von Arbeit ist kein neues Phänomen – seit den 1950er-Jahren prägt die Rationalisierung durch Technik und Organisation die Arbeitswelt. Doch mit dem Aufstieg Künstlicher Intelligenz (KI) erreicht dieser Prozess eine neue Qualität: Algorithmen übernehmen nicht nur repetitive, sondern zunehmend auch komplexe und wissensintensive Tätigkeiten. Dieser Vortrag untersucht aus arbeitssoziologischer Perspektive, wie KI-gestützte Automatisierung Arbeitsinhalte, Qualifikationsanforderungen und Machtverhältnisse in Organisationen verändert.

Im Rückgriff auf die lang währenden Rationalisierungsdebatten – von der Taylorisierung über die Computerisierung bis hin zur Digitalisierung – wird gefragt: Welche Kontinuitäten und Brüche zeigen sich durch KI? Wie verändern sich Arbeitsprozesse, wenn Entscheidungen zunehmend von Algorithmen getroffen oder vorbereitet werden? Und welche sozialen Folgen hat es, wenn menschliche Arbeit durch maschinelle Lernverfahren ersetzt, ergänzt oder neu strukturiert wird? Abschließend wird der Blick auf die Gestaltung von Arbeit gerichtet

In 2025, Jennifer led the organization of the LLMs4Subjects community challenge, which was featured
 at two major computational linguistics conferences. In her talk today, she will share key insights
 from this effort and reflect on practical implications for libraries and future AI-supported subject indexing.

This talk provides a reality check on the role of large language models (LLMs) in automatic subject indexing. Drawing on the perspective of an academic library and the indexing of a specialized bibliography, we explore how LLMs can complement and scale cataloguing workflows, while highlighting their limitations in producing reliable, updated and meaningful metadata. The session emphasizes the value of human–machine collaboration to ensure both efficiency and semantic integrity.

Für die Formalerschließung der digitalen Pflichtabgabe hat die Nationalbibliothek Luxemburg eine Automatisierung anhand von einem Vision Language Model entwickelt. Die Präsentation erklärt die Beweggründe, die Entwicklung der Idee, die Funktionsweise der aktuellen Lösung und geht auf den aktuellen Status des Projektes ein.

Flexibilität ist einer der bezeichnenden Vorteile eines RAG-Systems

zur maschinellen Sacherschließung.  Erschlossene Daten können an
mehreren Stellen des System dazu verwendet werden, die Leistung des
Systems zu verbessern:

1. als Trainingsdaten des Embeddingmodell
2. als Datenbasis für das Retrieval
3. als Trainingsdaten des Rerankers

Bestehende Daten weisen jedoch Fehler und Eigenheiten auf, die sich
unterschiedlich stark auf diese drei Ebenen auswirken.  Dieser Vortrag
soll mit Blick auf tatsächliche GND-Daten und deren Eigenschaften
beleuchten, wie sie möglichst ressourcenschonend möglichst große
Verbesserungen eines RAG-Systems zur maschinellen Sacherschließung
herbeiführen können.  Die grundlegende Frage hierbei lautet: An
welcher Stelle sollen welche Daten auf welche Art eingesetzt werden?

Neue und sich schnell entwickelnde KI-Methoden und Hardware-Ressourcen helfen dabei, geeignete und Nutzen bringende automatische Verfahren für Bibliotheken zu entwickeln und einzusetzen. Bereits seit 2009 beschäftigt sich die Deutschen Nationalbibliothek (DNB) mit Verfahren für die automatische Inhaltserschließung, die sich seit 2012 im produktiven Einsatz befinden und seitdem systematisch weiterentwickelt werden. Derzeit finden maschinelle Verfahren für die automatische Klassifizierung mit Sachgruppen und Kurznotationen sowie die Indexierung mit GND-Deskriptoren ihre Anwendung.

Der Vortrag gibt zunächst einen Überblick über die aktuellen fachlichen Use Cases und den zugrundeliegenden Verfahren für die automatische Erschließung. Die Use Cases für die Hardware bauen darauf auf, sie unterschieden sich aber grundlegend davon. Sie bilden deshalb den Schwerpunkt der Präsentation und beinhalten die Gegenüberstellung der unterschiedlichen Hardwareanforderungen für die tägliche Produktion, dem Training der Modelle und der Forschung. Weiterhin wird ein Einblick gegeben, wie sich exemplarisch die Verarbeitungszeit von Daten und damit der Verbrauch wertvoller Ressourcen reduzieren lässt. Ebenfalls werden ersten Erfahrungen mit Large Language Models an der der DNB aufgegriffen, wobei der Focus auf den Hardwareanforderungen liegt.

Abschließend werden einige Ideen für die Modellierung eines durchgängigen Hardwarekonzeptes sowie die in der DNB gegangenen Schritte dafür thematisiert.