OmNom Anleitung 1. Einleitung Im Rahmen des Projekts Digitised Manuscripts to Europeana (DM2E)1  wurde eine interoperable Infrastruktur entwickelt, mit welcher die Lieferung von Metadaten aus Bibliotheken, Museen, Archiven, Universitäten und Galerien an Europeana2 , der Europäischen digitalen Bibliothek, vereinfacht werden soll. Das zentrale Element dieser Infrastruktur ist die Nutzeroberfläche von OmNom (in Github unter DM2E­GUI3  zu finden). Unterhalb dieser Oberfläche befinden sich unterschiedliche Programme oder Programmkomponenten: OmNom Webservices, das MINT4  Mapping Tool, Silk für die Kontextualisierung der Daten und das OmNom User Management. In dieser Dokumentation wird OmNom anhand seiner Bestandteile und seiner Benutzeroberfläche weiter beschrieben. Die Dokumentation enthält die folgenden Abschnitte: ●

●

Einführung in OmNom ○ Überblick über die OmNom Komponenten ○ Workflows in OmNom Nutzungsleitfaden: ○ Verwenden von allgemeinen Funktionen ○ Laden und verwalten von Dateien ○ Erzeugen und bearbeiten von Workflows ○ Konfigurieren von Workflows ○ Konfigurieren und durchführen von Jobs

Wir wünschen Ihnen viel Freude bei der Nutzung von OmNom. Falls Sie etwas in dieser Dokumentation vermissen oder einen Fehler in OmNom entdecken, freuen wir uns, wenn Sie uns dies mitteilen.

2. Einführung in OmNom Zweck der DM2E Infrastruktur Vorrangiger Zweck des DM2E­Projektes ist es, wie der Name bereits impliziert, Daten über digitalisierte Manuskripte nach Europeana zu liefern. Europeana bietet Zugang zu mehr als 30 1

 DM2E Webauftritt: http://dm2e.eu/ (24.01.2014).  Europeana Suche: http://www.europeana.eu/ (24.01.2014). 3  DM2E GUI auf Github: http://github.com/DM2E/dm2e­gui/ (24.01.2014). 4  Weitere Informationen zum MINT Mapping Tool: http://mint.image.ece.ntua.gr/redmine/projects/mint/wiki (24.01.2014). 2

Millionen Objekten aus 36 europäischen Ländern (Stand November 2013, siehe http://pro.europeana.eu/web/guest/content für die neuesten Zahlen). Diese Objekte repräsentieren einen großen Teil des europäischen kulturellen Erbes. Europeana sammelt und veröffentlicht Metadaten von den zu repräsentierenden Objekten, vornehmlich von nationalen oder regionalen Aggregatoren und domänenspezifischen Projekten wie DM2E. Um Datenlieferanten bei der Lieferung ihrer Daten an Europeana zu unterstützen, wurde im Rahmen von DM2E das Werkzeug OmNom entwickelt.

Was ist OmNom und wozu wird es genutzt? OmNom wird genutzt, um Daten unterschiedlicher Formate unter Verwendung des DM2E­Modells5  nach Europeana zu liefern. Das Werkzeug kann online im Rahmen des DM2E Projektes genutzt oder unter Github6  heruntergeladen und somit beispielsweise lokal verwendet werden. OmNom kombiniert unterschiedliche Anwendungen und Funktionaliäten, welche benötigt werden, um Mappings von einem Datenformat in ein anderes duchzuführen und das Ergebnis als Linked Open Data (LOD)7  zu veröffentlichen. Die erzeugten LOD­Daten werden in einem Triple Store abgelegt und sind über einen offenen SPARQL endpoint zugänglich.

Mappings und Modelle Bei dem Datenmodell, welches zur Repräsentation der Inhalte genutzt wird, handelt es sich um eine Spezialisierung des Europeana Data Models (EDM) für Manuskripte. Das EDM ist ein RDF­basiertes Modell, das genutzt wird, um Kulturerbeobjekte in Europeana zu repräsentieren. 8 Diese Objekte stammen aus Bibliotheken, Museen, Archiven, Universitäten oder Galerien aus ganz Europa und werden in unterschiedlichen Formaten, wie TEI, METS/MODS, MARC oder in relationalen Datenbanken, vorgehalten. Da das Modell auf unterschiedlichste Inhalten, die wiederum in unterschiedlichen Formaten beschrieben sind, passen muss, wurde das EDM als ein sehr umfassendes und allgemeines Modell konzipiert, welches einserseits zwar sehr interoperabel ist, jedoch andererseits nicht sämtliche Aspekte beschreiben kann, die Teil des originalen Metadatensatzes des Objektes sind. Daher wurde eine Spezialisierung für Manuskripte entwickelt, mit der das möglich ist. Das DM2E­Modell spezialisiert Eigenschaften und Klassen des EDM, insbesondere (aber nicht beschränkt auf) spezifische Aspekte von Manuskripten.

Der Aufbau von OmNom Die grundlegenden Komponenten des OmNom­Backends werden genutzt, um Daten zu laden (lokale Dateien, Webdateien oder MINT mappings), um Daten nach RDF zu transformieren und 5

 Die Spezifikation des Modells ist abrufbar unter: http://onto.dm2e.eu/ (24.01.2014).  Github Repository von DM2E: https://github.com/DM2E/ (24.01.2014). 7  Einen Linked Open Data­Überblick gibt http://linkeddata.org/ (28.01.2014). 8  Weiterführende Informationen zum EDM erhalten Sie unter: http://pro.europeana.eu/web/guest/edm­documentation (24.01.2014). 6

die Daten als LOD zu veröffentlichen. Nicht nur die zur Verfügung gestellten Metadaten, sondern auch die Provenienzdaten, die aus dem Workflow selbst generiert werden, werden als LOD veröffentlicht: jede Aktivität in OmNom generiert RDF­Triple, die gespeichert und wie die von Providern bereitgestellten Metadaten von anderen weitergenutzt werden können.

2.1 Überblick über die OmNom­Komponenten Im Zentrum von OmNom steht der Arbeitsablauf der Datenlieferung (Workflow), welcher im Tool zusammengestellt und konfiguriert wird.

Andere Komponenten sind der Filemanager, (Mapping) Jobs, die mit dem Tool durchfgeführt werden, und die Konfiguration, vor allem von Workflows und Jobs. Dieser Leitfaden beschreibt ihre Funktionalitäten und wie sie in OmNom genutzt werden.

2.2  Workflows in OmNom Ein Workflow besteht aus einzelnen Verarbeitungsschritten. In OmNom sind Workflows die Schlüsselkomponente und werden genutzt, um Input­Dokumente, z.B. TEI­XML­Dateien, über ein Mapping in RDF­XML zu transformieren, welches weiterverarbeitet und in einem Triple Store gespeichert wird. Beispiel für einen Workflow:

In diesem beispielhaften Workflow stellt das Wittgenstein Archiv der Universität Bergen Metadaten und Transkriptionen der digitalisierten Manuskripte Ludwig Wittgeinsteins zur Verfügung (MS 114: X. Philosophische Grammatik). Desweiteren wurde ein XSLT­Mapping erzeugt, welches die TEI­Daten in das DM2E­Modell, also TEI­XML in RDF­XML, übersetzt. Die erste Stufe im Workflow ist der XSLT­Prozessor, der das Mapping und die originalen Daten nutzt, um eine vorläufige RDF­Repräsentation zu erstellen (Ms­114­RDF­001, eine stabile, versionierte Resource). Diese vorläufige Repräsentation wird in der nächsten Stufe vom “Ingestion Service” genutzt, in welcher den vorhergehenden Versionen zusätzliche Metadaten und Verweise auf andere Vokabulare hinzugefügt werden. Das Ergebnis wird in einem zentralen Triple Store gespeichert und mit einer stabilen URI versehen, die diesen speziellen Transformationsdurchlauf (Ingestion) kennzeichnet (Ms­114­2013­10­03).

3. Nutzungsleitfaden 3.1 Verwenden von allgemeinen Funktionen Wenn Sie OmNom das erste Mal nutzen, sollten Sie einige allgemeine Einstellungen und Funktionalitäten kennenlernen, die in der weiteren Verwendung hilfreich sind.

Themes OmNom verfügt über zwei unterschiedliche Layouts (themes), mit hellem und dunklem Untergrund. Wenn Sie sich einloggen wird Ihnen die Standardeinstellung “dark” angezeigt. Sie können das Layout wechseln, indem Sie oben rechts auf der Seite von “dark” auf “light” wechseln.

"My Stuff"­Filter Die Verwaltung von Dateien, Workflows und Konfigurationen kann zu Verwirrungen führen, sofern mehr als ein Nutzer dieselbe Instanz von OmNom verwendet. Der “My Stuff”­Filter (oben rechts) hilft in diesem Fall: ist dieser aktiviert, kann der Nutzer lediglich die Dateien, Workflows

und Konfigurationen sehen, die er/sie angelegt hat.

Nutzerprofile Wenn Sie auf Ihren Benutzernamen in der rechten oberen Ecke klicken, werden Sie zu Ihrem Benutzerprofil weitergeleitet. In Ihrem Benutzerprofil können Sie die unterschiedlichen “File Services” finden, wie den Datei­Upload, den MINT­Service, die “Transformation/Publishing Services”, den Service für Zip­ und XSLT­Dateien sowie die API für die Veröffentlichung der Daten.

Hilfe

Der Abschnitt “Hilfe” bietet Ihnen Links ● zum Benutzerhandbuch (dem Englischen OmNom­Wiki), ● zu einem schrittweisem Tutorial, ● zur Fehlerdatenbank auf GitHub, ● zum Quellcode von OmNom auf GitHub, einschließlich der Entwicklerdokumentation und anderen Werkzeugen, die Teil der interoperablen Infrastruktur von DM2E sind (wie z.B. Pubby und Silk).

3.2 Laden und Verwalten von Dateien Dateien hochladen (“Upload a File”) Um eine Datei hochzuladen, nutzen Sie die Schlaltfläche “Files” in der oberen Navigation und wählen Sie “Upload a File” …

… woraufhin die Datei hochgeladen wird. Sie können eine lokale Datei für den Upload auswählen.

In diesem Beispiel wird eine XML­Datei aus “Grimm Meistergesang" ausgewählt.

Spezifizieren Sie den Dateityp vor dem Hochladen (hier: XSLT)…

...und versehen Sie die Daten mit einer Dateibezeichnung (“File label”). Diese Funktion ist optional, aber sehr hilfreich bei langen oder gleichen Dateinamen oder solchen Namen, die nicht für sich sprechen.

Dateimanager (“File Manager”) Um auf Ihre Daten zuzugreifen, nutzen Sie die Schaltfläche “Files” im oberen Menü und wählen Sie “File Manager” aus …

…woraufhin Sie zum Dateimanager gelangen. Hier können Sie Dateien bearbeiten, löschen oder herunterladen. Sie haben Zugang zu den Dateien aller OmNom­Nutzer und jeder, der dieselbe Installation von OmNom nutzt wie Sie, hat ebenfalls Zugang zu allem was Sie hochladen.

Über den grünen “edit”­Button  können Sie einen anderen Dateitypen für eine Datei auswählen oder die Labels von Dateien ändern.

3.3 Erzeugen und bearbeiten von Workflows Erzeugen eines Workflows (“Create a Workflow”) Um einen Workflow zu erzeugen, klicken Sie auf die Schalffläche “Workflow” und wählen Sie “Create a Workflow".

Hier sehen Sie einen neuen leeren Workflow.

Auswahl eines Workflows (“Workflow List”) Alternativ können Sie einen existierenden Workflow auswählen. Um dies zu tun, klicken Sie auf

“Workflows” und wählen Sie “Workflow List”.

Wählen Sie einen Workflow aus der Workflow­Liste. Denken Sie daran, dass Sie Workflows von anderen Benutzern ausblenden können, indem Sie den “My Stuff”­Filter aktivieren.

Workflows können gefiltert und sortiert werden, zum Beispiel nach Nutzer oder Änderungsdatum. Klicken Sie auf “edit” oder auf den Workflow­Link um einen Workflow zu bearbeiten.

3.4 Konfigurieren von Workflows Erzeugen oder öffnen eines Workflows Erzeugen Sie einen neuen oder öffnen Sie einen leeren Workflow.

3.4.1 Workflow konfigurieren: XSLT ­> Veröffentlichen Im ersten Beispiel wird ein XSLT­Workflow erzeugt.

XSLT­Webservice Dafür brauchen Sie den XSLT­Webservice. Ziehen Sie den “XSLT Webservice” von der rechten Seite herüber und legen Sie ihn in die Spalte “Positions”.

Wenn der Hintergrund der Spalte “Positions” sich grün färbt, haben Sie es richtig gemacht...

… und OmNom gibt ihnen eine detaillierte Rückmeldung über die genauen Vorgänge.

Eingabeparameter des XSLT Webservice Ziehen Sie die Eingabeparameter, die Sie konfigurieren möchten, in die Spalte “Input Params”. In unserem Beispiel haben wir den erforderlichen “xmlInput”­Parameter zuerst hinzugefügt.

Sie können das Label oder die Voreinstellung des Parameters im anschließenden Fenster ändern.

Die neue Eingabe in der Spalte “Connectors” zeigt an, welche Einträge nun verbunden sind.

Verbinden Sie die anderen Parameter des XSLT­Webservice ebenfalls.

“Publish”­Webservice Als benötigen Sie den “Publish”­Webservice, damit Ergebnisse aus Ihrem Workflow später veröffentlicht werden. Ziehen Sie die Schaltfläche “Publish” und legen Sie sie in die Spalte “Positions”. Verbinden Sie den “xmlOutput” mit dem Input­Parameter des “Publish”­Webservices.

Sie können Ihren Workflow validieren, indem Sie oben links auf die lilafarbene Schaltfläche “Validate” klicken. Wenn der Workflow valide ist, gibt einem OmNom unten rechts Auskunft darüber.

Wenn ihr Workflow ungültig ist, wie im nächsten Beispiel, gibt OmNom eine Benachrichtigung

mit einem detaillierten Validierungsbericht zurück. Hier wurde ein ungültiger Workflow erzeugt und validiert. Genauer gesagt handelt es sich um einen leeren Workflow, in dem somit sämtliche Webservices und Parameter fehlen. Leere Workflows sind stets ungültig.

Herzlichen Glückwünsch! Sie haben Ihren ersten Workflow erzeugt und konfiguriert! Klicken Sie auf den “Visualize”­Button, um die Komponenten und Verbindungen des soeben erzeugten Workflows zu sehen.

3.4.2 Workflow konfigurieren: Zip­Iterator ­> XSLT ­> Veröffentlichen Wenn Sie mehr als eine XML Datei mappen möchten, können Sie ein ZIP­Paket von XML­Dateien erzeugen und diese ebenfalls in OmNom bearbeiten. In diesem Fall müssen Sie einen weiteren Workflow erzeugen. Hierzu benötigen Sie einen “Zip­Iterator Webservice”. Ziehen und legen Sie diesen in die Spalte “Positions". Fürgen Sie den notwendigen Parameter “Archive” zu “Input Params” hinzu.

Fügen Sie den XSLT­Webservice hinzu und ergänzen die Input­Parameter.

Fügen Sie zuletzt den “Publish”­Webservice hinzu.

Klicken Sie auf die Schaltfläche “Visualize", um Komponenten und Verbindungen Ihres Workflows zu sehen.

3.5 Konfiguration und Ablauf von Jobs

3.5.1 Jobs konfigurieren (“Jobs/Config”) Gehen Sie zum Abschnitt “Jobs/Config” um eine Konfiguration Ihres Workflows durchzuführen. Im Abschnitt “Resources”, in der Mitte der Ansicht, können Sie die hochgeladenen Dateien sehen und zur Konfiguration ihres Workflows verwenden. Der Workflow enthält Anweisungen, wie die Transformation der Daten durchgeführt werden sollte. Jetzt müssen Sie diese Anweisungen mit den konkreten Daten verbinden. Sie können die Ressourcen nach Art und Eigentümer oder nach anderen Kriterien, wie dem Zeitpunkt Ihrer Erstellung, filtern oder sortieren.

Verbinden Sie die Ressourcen mit den Parametern mittels drag­and­drop. “xmllnput” benötigt, wie der Name schon sagt, eine XML­Eingabedatei.

Die zuvor hochgeladene XSLT­Datei wird mit “xslInput” verbunden.

Benennen Sie Ihren Workflow im Feld “Label”.

Fügen Sie eine Abkürzung für den Datenlieferanten (die Institution, welche die Daten bereit stellt) und einen Kurznamen für die Kollektion hinzu.

Validieren und speichern Sie den Workflow.

Wenn Ihr Workflow valide ist, können Sie diesen ausführen. Klicken Sie dazu auf die Schaltfläche “Execute”.

3.5.2 Jobs ausführen

Sobald der Durchlauf ihres Jobs beginnt, werden Sie auf eine Statusseite weitergeleitet, auf der Ihnen der aktuelle Fortschritt mitgeteilt wird.

Klicken sie auf "Refresh", um detaillierte Informationen über den derzeit laufenden Job zu erhalten.

Würde der Prozess scheitern, würde OmNom Ihnen dies wie folgt anzeigen:

Auch hier erhalten Sie wieder detaillierte Informationen darüber, warum der Job nicht ausgeführt wurde.

Im folgenden Beispiel war der Job erfolgreich. Klicken Sie auf "Show in Pubby", um das Ergebnis Ihrer Datentransformation zu sehen.

Sicht in Pubby:

Herzlichen Glückwunsch, Sie haben es geschafft! Ihre Daten sind nun im DM2E­Format, können nach Europeana übertragen werden und sind als Linked Open Data frei zugänglich.