Die technische Infrastruktur von GND4C

Kurze Übersicht der Themen und Fragestellungen in einem einführenden Vortrag von Axel Vitzthum,

Leiter IT in der digiCULT Verbund e.G..

Bitte auf das PDF klicken, um die Vortragsfolien zu öffnen.

Das Plakat besteht aus zwei Teilen:

1. Im oberen Bereich wird die grobe technische Architektur von GND4C dargestellt. Die externen Datenbestände der 4 Fallbeispiele (Personen, Geografika, Sachbegriffe, Bauwerke) werden zunächst in den normalisierten Datenspeicher (NDS) importiert. Aus dem NDS werden die Metadaten über ein JSON-API in die Lucene-basierte Solr Suchplattform übernommen. Von hier aus stehen die normalisierten Quelldaten der Werkzeugkiste zur Verfügung.
   Die Werkzeugkiste von GND4C besteht aus mehreren Teilmodulen. Der Matching-Service durchsucht unterschiedliche Quell- und Zieldaten auf übereinstimmende oder ähnliche Zeichenketten. Die im Matching-Service erstellten Matches sind Kandidaten für den Mapping-Prozess. Dabei werden im Mapping-Service semantisch übereinstimmende Begriffe/Entitäten unter Verwendung der Mapping-Properties von SKOS festgelegt.
   Ab Projektphase 2 ist geplant, dass neue GND-relevante Datensätze in die GND eingespielt werden. Bei Übereinstimmungen werden GND-Datensätze mit zusätzlichen Informationen aus den Quelldaten angereichert oder korrigiert.
    
2. Auf dem unteren Teilplakat wird aus dem Matching-Service über das Solr-API auf die Quelldaten zugegriffen.
   Als Zielvokabular wird während des automatischen Abgleichverfahrens zunächst die GND verwendet. Der Zugriff auf die GND erfolgt über das GND4C RDF-API und das Lobid-API. Beide Dienste beruhen auf den Linked Data-Dumps (GNDO RDF) der GND. Da die RDF-Darstellung der GND nicht die vollständige GND wiedergibt, wird das GND4C RDF-API unter dem Arbeitstitel "GND4C RDF-API+" um weitere Attributsdaten aus dem Marc21-Dienst der GND erweitert.
   Für unterschiedliche Anwendungsfälle werden weitere Normdatendienste benötigt. Z.B. wird nachgelagert auf Wikidata gematcht, wenn es bei den Personen keinen Match in der GND gibt.

Moderation GND4C-Forum Dokumentation: Thema "Technische Infrastruktur" / Dokumentation Büchner, Michael

Das Plakat besteht aus zwei Teilen:

1. Im oberen Bereich wird die grobe technische Architektur von GND4C dargestellt. Die externen Datenbestände der 4 Fallbeispiele (Personen, Geografika, Sachbegriffe, Bauwerke) werden zunächst in den normalisierten Datenspeicher (NDS) importiert. Aus dem NDS werden die Metadaten über ein JSON-API in die Lucene-basierte Solr Suchplattform übernommen. Von hier aus stehen die normalisierten Quelldaten der Werkzeugkiste zur Verfügung.
   Die Werkzeugkiste von GND4C besteht aus mehreren Teilmodulen. Der Matching-Service durchsucht unterschiedliche Quell- und Zieldaten auf übereinstimmende oder ähnliche Zeichenketten. Die im Matching-Service erstellten Matches sind Kandidaten für den Mapping-Prozess. Dabei werden im Mapping-Service semantisch übereinstimmende Begriffe/Entitäten unter Verwendung der Mapping-Properties von SKOS festgelegt.
   Ab Projektphase 2 ist geplant, dass neue GND-relevante Datensätze in die GND eingespielt werden. Bei Übereinstimmungen werden GND-Datensätze mit zusätzlichen Informationen aus den Quelldaten angereichert oder korrigiert.
    
2. Auf dem unteren Teilplakat wird aus dem Matching-Service über das Solr-API auf die Quelldaten zugegriffen.
   Als Zielvokabular wird während des automatischen Abgleichverfahrens zunächst die GND verwendet. Der Zugriff auf die GND erfolgt über das GND4C RDF-API und das Lobid-API. Beide Dienste beruhen auf den Linked Data-Dumps (GNDO RDF) der GND. Da die RDF-Darstellung der GND nicht die vollständige GND wiedergibt, wird das GND4C RDF-API unter dem Arbeitstitel "GND4C RDF-API+" um weitere Attributsdaten aus dem Marc21-Dienst der GND erweitert.
   Für unterschiedliche Anwendungsfälle werden weitere Normdatendienste benötigt. Z.B. wird nachgelagert auf Wikidata gematcht, wenn es bei den Personen keinen Match in der GND gibt.

Moderation Vitzthum, Axel / Dokumentation Büchner, Michael

Auf dem Plakat wird auf der linken Seite der Datenworkflow zwischen Quelldatenlieferung, normalisiertem Datenspeicher (NDS), Matching-Service, Mapping-Service und der Weitergabe von geeigneten Datensätzen an die GND aufskizziert. Rechts davon befinden sich auf dem Plakat einfache Graphendarstellungen am Beispiel von Manoel da Costa Ataíde:
Personendatensatz

• in den Quelldaten
• beim konzeptionellen Schemamapping während des Imports in den NDS
• vereinfachter als vereinfachte Darstellung im NDS
• in der GND
• in Wikidata

Der Workflow etwas genauer:
Die Quelldatenlieferungen der jeweiligen Fallbeispiele (Personen/Akteure, Sachgruppe, Geografika, Bauwerke) werden in unterschiedlichen Formaten geliefert. Siehe in der Tabelle links unten auf dem Plakat.
Für den Import in den normalisierten Datenspeicher werden die Quelldaten über ein XSL-Transformationsscript auf das Internformat von dem normalisierten Datenspeicher abgebildet und als Version 0 in den NDS importiert. Über einfache Regeln erfolgen teilweise automatische Korrekturen an den Datenlieferungen und die korrigierten Datensätze werden jeweils unter einer eigenen Version abgespeichert. Bevor die Datensätze im Matching-Service gegen Normdaten abgeglichen werden, erfolgt zukünftig ein Konsistenztest. Personendatensätze die z.B. neben dem Namen keine weiteren Merkmale in den Lieferdaten enthalten, werden nicht zum Matching zugelassen oder Zeit-Angaben werden gemäß EDTF (ISO 8601-2) normalisiert. Auf das Matching folgt das Mapping.
Ab Projektphase 2 ist geplant, dass neue GND-relevante Datensätze in die GND eingespielt werden. Bei Übereinstimmungen werden GND-Datensätze mit zusätzlichen Informationen aus den Quelldaten angereichert oder korrigiert.

Moderation / Dokumentation Richard Müller