Seitenhistorie

Die ZBW – Leibniz-Informationszentrum Wirtschaft befasst sich schon etliche Jahre im Rahmen von angewandter Forschung mit der Entwicklung von Machine-Learning-Methoden für die Automatisierung der Inhaltserschließung. Die so entstandenen prototypischen Lösungen mussten jedoch noch in produktive Dienste überführt werden, die sich für den durchgängigen Betrieb eignen und mit den anderen Erschließungs- und Metadatenverarbeitungsprozessen der ZBW sinnvoll verzahnt werden können. 

Hierfür wurde die Automatisierung der Inhaltserschließung (AutoSE) 2019 zu einer Daueraufgabe erklärt und für den Aufbau einer geeigneten Software-Architektur eine Pilotphase gestartet, die bis 2024 laufen soll. Ergebnisse aus der parallel dazu fortgeführten wissenschaftlichen Methodenentwicklung fließen kontinuierlich über Experimentier- und Testphasen in das produktive System ein. 

Wir berichten über die bereits erreichten Meilensteine, schildern exemplarisch technische und konzeptionelle Herausforderungen, die auf dem Weg dahin überwunden werden mussten, und skizzieren die weiteren Schritte bis zum Ende der Pilotphase.

Die Deutsche Nationalbibliothek (DNB) baut derzeit ein neues System zur automatischen Inhaltserschließung auf. Es ist modular gestaltet, damit Funktionen und Verfahren flexibel kombiniert, ausgetauscht oder ergänzt werden können. Nach erfolgreicher Evaluierung soll Annif als Verfahren für einen produktiven Einsatz eingesetzt werden. Dabei handelt es sich um einen Open-Source-Werkzeugkasten zur automatischen Klassifizierung und Indexierung, entwickelt an der Finnischen Nationalbibliothek.

Im Vortrag werden Ergebnisse der automatischen Vergabe von DDC-Sachgruppen, DDC-Kurznotationen sowie GND-Schlagworten vorgestellt. Desweiteren Des Weiteren wird die technische Integration von Annif in den produktiven Workflow veranschaulicht: Von der Textbereitstellung und der Identifizierung der Sprache des Textes über die Auswahl des geeigneten Annif-Verfahrens bis hin zur Aktualisierung des bibliographischen bibliografischen Datensatzes inkl. der Kennzeichnung der Metadatenherkunft in der Datenauslieferung.

The National Library of Finland has developed Annif, an open source toolkit for automated subject indexing, since 2017. In May 2020, we launched Finto AI, a production service for automated subject indexing, based on Annif and a set of machine learning models trained using the General Finnish Ontology YSO and existing metadata and fulltext collections. In this presentation, lead developer Osma Suominen will present the current state of Annif development, the evaluation of automated subject indexing processes, and reflect on the future roadmap for Annif and Finto AI.