Seitenhistorie

Leitung: Felix Lohmeier (Open Culture Consulting)

Die Software OpenRefine ist bekannt für ihre grafische Oberfläche, die einem Tabellenverarbeitungsprogramm ähnelt. Sie wird oft als Desktop-Software installiert und zur Analyse und Bereinigung von heterogenen Daten eingesetzt (siehe auch Präsentation von Maike Kittelmann auf KIM WS 2016). Weniger bekannt sind die Automatisierungsmöglichkeiten von OpenRefine. Durch die Client-Server-Architektur lässt sich OpenRefine auch auf einem Webserver installieren und über die Kommandozeile steuern. Das hat den Charme, dass Transformationsregeln in der Oberfläche spielerisch erprobt werden können und dann beispielsweise täglich automatisiert auf neue Datenlieferungen angewendet werden können.

Im ersten Teil des Hands-On-Tutorials steuern wir OpenRefine über die Kommandozeile. Dazu verwenden wir einen Client, der als Programm für Windows, MacOS und Linux bereitsteht und ohne weitere Installation ausgeführt werden kann.

Im zweiten Teil des Hands-On-Tutorials schreiben wir auf dem bereitgestellten Webserver beispielhaft kleine Shell-Skripte, um eine vollautomatische Datenverarbeitung zu erproben. Dabei orientieren wir uns an Erfahrungswerten aus dem Projekt Hamburg Open Science Schaufenster.

Zielgruppe: Personen, die gelegentlich mit OpenRefine arbeiten und Automatisierungsmöglichkeiten kennenlernen möchten.

Vorkenntnisse: Vorerfahrungen mit OpenRefine sind hilfreich, aber nicht erforderlich.

Voraussetzungen: Ein Notebook mit Windows, MacOS oder Linux. Es muss keine Software vorab installiert werden, da ein Webserver mit OpenRefine für alle TeilnehmerInnen bereitgestellt wird. Es sind keine Programmierkenntnisse erforderlich, die nötigen Schritte werden einzeln demonstriert.

Leitung: Jaime Penagos (UB LMU), Ralf Claussnitzer (SLUB Dresden), Rainer Gnan (UB LMU)

Im Rahmen dieses Hands-On-Tutorials wird zunächst ein allgemeiner konzeptioneller Überblick bezüglich der im Titel genannten Anwendungen geboten. Im speziellen soll anschließend deren Zusammenspiel vor dem Hintergrund eines einfachen aber dennoch praxisorientierten Anwendungsfalls sowohl theoretisch erläutert, als auch praktisch auf technischer Ebene demonstriert werden. Dieser Workshop möchte Interessierten damit primär die Gelegenheit bieten, sich einen ersten Eindruck über die hier vorgestellten Technologien zu verschaffen und zudem den Einstieg in die Arbeit mit diesem Setup zu erleichtern.

Folgende Agenda erwartet siedie Teilnehmer*innen:

• Einführung in Fedora (

  UB LMU:

  Jaime Penagos)

  • Fedora GUI
  • Fedora HTTP REST API
  • Fedora Events und Messaging

• Indexierung mit Apache Solr (

  UB LMU:

  Rainer Gnan)

  • Indexieren
  • Index-Schema und Solr-Konfiguration
  • Sucheinstieg

• Integration von Fedora und Solr mit Apache Camel (

  SLUB Dresden:

  Ralf Claussnitzer)

  • Konsumieren von Fedora Events

  • Ansteuern der Camel Routen für Ingest, Update, Delete

  • Extrahierung von Informationen aus Dublin Core XML Dokumenten

  • Beschicken von Solr

Zielgruppe: Personen, die mit digitalen Objekten und Archiven in Repositorien arbeiten.

Vorkenntnisse: Unix/Linux, Java

Voraussetzungen:

• Ein eigenes Notebook mit vorinstalliertem Vagrant oder Oracle VirtualBox

  .

• SSH Client

  .

• Heruntergeladenes fcrepo4-vagrant oder geklontes Git-Repository

  .

  (optional)

• Editor mit Syntax Unterstützung für XML und Java

  .

• Java 8 Entwicklungsumgebung, Maven oder idealerweise IDE

  .