Die Pipeline ist das (leere) Flussbett, die Steps schwimmen darin nacheinander herunter. Es gibt eine Vielzahl von verschiedenen Steps, diese können direkt etwas tun, oder ein anderes Programm mit Parametern aufrufen.
Pipelines sind Container um Steps aufzunehmen und umfassen 1...N Steps. Sie können nach einem Zeitplan automatisch ausgeführt werden


1. Pipeline-Menüleiste

Im Pipeline-Menü können allgemeine Handlungen bezüglich der Pipelines durchgeführt werden.

Pipeline hinzufügen

  • Fügt eine leere Pipeline, ohne jede Stepps, mit dem Namen “Neue Pipeline” hinzu.

  • Es wird die nächste verfügbare Pipeline-ID automatisch ausgewählt.


Pipeline importieren

Öffnet einen neuen Dialog, welcher den Import von Objekten ermöglicht.

Dialog: “Objekt importieren”

Datei öffnen

Öffnet einen neuen Dialog, welcher Zugriff auf lokale Pfade und Verzeichnisse ermöglicht. Hier können Dateien mit dem richtig Dateityp ausgewählt werden.

Quellinformationen der importierten Objekte

Quellinformation

Beispiel

Dateiname

  • Datei des Dateityps “.sql”, z.B. “Pipeline1.sql”

Quellen-API-Version

  • OCT-Applikationsversion der Quellumgebung - Ursprungsort der importierten Datei

Quellcluster

  • Name der Quelldatenbank, aus welcher die Datei exportiert wurde.

Objekttyp

  • Typ der importierten Datei, z.B. “productline”, “Pipeline”, etc…

Quellpipeline

  • Pipeline-ID der importierten Datei.

Zielpipeline

  • (Zwingend einzigartige) Pipeline-ID für den Zielort. Wird für die ID statt einer Zahl ein “*” eingegeben, so entspricht die Ziel-ID der nächsten verfügbaren ID.


Pipeline exportieren

  • Öffnet einen neuen Dialog, welcher den Export einer Pipeline, als Datei des Dateityp “.sql”, ermöglicht.

  • Hierfür benötigt es nur einen Dateiname für die exportierte Datei.

Sortierung speichern

  • Speichert die Reihenfolge der Pipelines nachdem man deren Reihenfolge geändert hat

Pipeline starten

  • Startet die ausgewählte Pipeline mit all ihren Steps sofort.

  • Die ausgewählte Pipeline ist durch einen blauen Punkt am linken Zeilenrand markiert.

Pipeline abbrechen

  • Bricht die Pipeline zum nächstmöglichen Zeitpunkt ab.

  • Der Zeitpunkt des tatsächlichen Abbruchs hängt vom Ausführungsprozess und den definierten “Check Points” ab - nicht alle Aktionen lassen sich sofort abbrechen.


2. Pipelineübersicht

Die Übersicht zeigt alle vorhanden Pipelines und erlaubt diese zu verwalten.

Pipeline auswählen

  • Über einen Linksklick kann eine Pipeline ausgewählt werden.

  • Ein blauer Punkt am linken Zeilenrand markiert die Auswahl.

Pipelines-Details anzeigen

Öffnet ein Fenster mit einer Detail-Ansicht aller hinterlegten Steps und deren Inhalte:

Zeigt die Pipeline-Details einer Pipeline mit einem Step des Typs “Powerload”

Pipeline kopieren

  • Kopiert die Pipeline mit all ihrer Steps und fügt diese am unteren Ende an.

Pipeline löschen

Öffnet einen Dialog “Prozess löschen?” zur Bestätigung eines Löschvorgangs:

  • Löscht bei Bestätigung (“Ok”) die ausgewählte Pipeline mit all ihren Inhalten.

Pipeline verschieben - Drag & Drop

  • Am rechten Zeilenrand einer jeder Pipeline ist ein Icon mit zwei vertikalen Punktreihen platziert.

  • Über Drag & Drop dieses Icons kann die Reihenfolge der Pipeline geändert werden.


3. Globale Parameter

3.1. Globale Parameter

Für Werte in Steps (insbesondere in der Prozedurausführung) können globale Parameter definiert werden. Diese Parameter…

  • …können mit $Name verwendet werden.

  • …können nur einen einzelnen Wert haben, falls sie nummerisch sind.

  • …können eine einzelnen Wert oder eine Liste haben, falls sie vom Typ Text sind.

  • …verwenden bei Variablen vom Typ Text nur den ersten aktivierten Wert, welcher dann wiederum eine Liste umfassen kann.

Speichern und Anwenden

  • Speichert alle Änderung ab.

Vorschau

Zeigt den JSON-String für alle Parameter, inklusive der jeweilig hinterlegten Werte, an.

  • Werden Werte neu angelegt oder gelöscht, so werden die Änderungen in der Vorschau erst nach der Aktion “Speichern und Anwenden” im Menü “Globale Parameter verwalten” aktiv.

Neuen Parameter hinzufügen

  • Fügt einen neuen Wert mit der ID = “Param” und dem Typ = “Integer” hinzu.

Jeder neu erstellte Parameter bekommt automatisch die ID “Param” zugewiesen. Die IDs müssen vor dem endgültigen “Speichern und Anwenden” einzigartig sein.

Parameter entfernen

  • Entfernt alle Paramater aus der darunterliegenden Tabelle.

  • Die Löschung einzelner Paramater ist über das “X”, am linken Zeilenrand eines jeden Parameters, möglich.



3.1.1. Parametertabelle

Die Parametertabelle zeigt alle existierenden Parameter mit ihren jeweiligen Attributen an:

Spaltenname

Inhalt/Funktion der Spalte

Beispiel

ID

  • Zeigt die definierte ID für den Parameter an.

  • Bei der Erstellung eines neuen Parameters wird immer die Parameter-ID “Param” automatisch ausgewählt.

  • z.B. “Parameter1”

  • Die ID muss innerhalb dieser Pipeline einzigartig sein!

Typ

  • Legt den Datentyp des Parameters fest. Es sind die folgenden Datentypen verfügbar

  • Integer - für ganze Zahlen

  • String - für einen Textwert

Beschreibung

  • Ermöglicht eine individualisierte Beschreibung dieses Parameters.

  • z.B. “Parameter für den Zweck xyz”

VALUES

  • Öffnet die Wertetabelle des jeweiligen Parameters.

  • Inhalt der Tabelle ist abhängig vom ausgewählten Datentyp.


3.1.2. Werte des Parameter: “….”

Öffnet auf der rechten Seite der Parametertabelle eine neue Wertetabelle mit dem Namen “Werte der Parameter: (Parameter-ID)”, in welchem man für jeden Parameter verschiedene Werte hinterlegen kann:

Spaltenname

Inhalt/Funktion der Spalte

Beispiel

Wert

  • Hinterlegt einen Wert für den ausgewählten Parameter.

  • Hängt vom ausgewählten Datentyp ab.

  • z.B. “München” (Dateityp = String)

  • z.B. “2022” (Dateityp = Integer)

Aktiv

  • (De-)Aktiviert einzelne Werte manuell über eine Checkbox. Dadurch stehen diese für spätere Verwendungen (nicht) zur Auswahl.

Wert löschen

  • “X” am linken Zeilenrand innerhalb der Tabelle, löscht den Wert der jeweiligen Zeile.

Allgemeine Optionen oberhalb der Tabelle:

Fenster schließen (“X”)

  • Am oberen rechten Fensterrand kann dieses Untermenü wieder geschlossen werden.

Neuen Wert hinzufügen

Fügt, basierend auf dem eingestellten Datentyp, der Tabelle einen Wert hinzu.

  • Ist der ausgewählte Datentyp = Integer, dann wird der Standardwert “0” hinzugefügt & aktiviert.

  • Ist der ausgewählte Datentyp = String, dann wird der Standardwert “value” hinzugefügt & aktiviert.


3.2. Loop-Tabellen

Tabelle die man mit Daten im Rahmen von SAP Step verwenden könnte. Aktuell nicht verwendbar.


4. Step-Menüleiste

In der Step-Menüleiste können allgemeine Aktionen für Steps und Pipelines durchgeführt werden.

Pipeline speichern

Speichert folgende Änderungen der Pipeline ab:

  • Änderung des Pipeline-Namens.

  • Änderung der Step-Anordnung

  • Änderungen der Step-Inhalte

  • Änderung einer geplanten Ausführung.

“Name der Pipeline”-Eingabefeld

  • Zeigt den Namen der aktuell ausgewählten Pipeline an und ermöglicht dessen Änderung.


4.1. Ausführung planen

Öffnet einen neuen Dialog “Ausführung des Jobs planen”:

Dialog: “Ausführung des Jobs planen”

Die Ausführung von Pipelines kann, neben der manuellen Ausführung, nach einem Zeitplan durch einen Job erfolgen. Dieser Job wird von einer ausgewählten OCT-Instanz ausgeführt.

Scheduler Eigentümer

  • Da eine Datenbank an mehreren OCT-Instanzen registriert sein kann, muss festgelegt werden welche OCT-Instanz diesen Job ausführen soll.

  • Der “Scheduler Eigentümer” legt also fest, welche OCT-Instanz (z.B. für on premises: “http://w10:5850”, “http://w10:80”,….) die Jobs in der “Datenbank1” ausführt

  • Diese Einstellung gilt für alle Pipelines mit Jobs in dieser Datenbank.

Eigentümerschaft übernehmen

  • Ändert den bisher eingerichteten “Scheduler Eigentümer” (z.B. “http://w10:5851”) auf die Instanz, mit welcher man über die GUI gerade auf die Datenbank zugreift (z.B. “http://w10:80”).

  • Es sind mindestens Cluster-Adminrechte für diesen Schritt nötig.

Der alte Eigentümer (die vorher definierte Instanz) führt damit keinen dieser Scheduler mehr aus.

Bearbeiten

  • Öffnet das Eigenschaftenmenü des Schedulers, so dass dieser bearbeitet werden kann.

Löschen

  • Öffnet einen Abfragedialog mit welchem die Löschung eines Schedulers bestätigt werden soll.

  • Nach der Bestätigung wird dieser Scheduler gelöscht.

Add execution schedule

Öffnet im Dialog “Ausführung des Jobs planen” einen neuen Dialog “Add execution schedule” zur Erstellung individualisierter Jobs:

Dialog: “Add execution schedule”

“Bitte wählen sie den Ausführungsrhythmus”-Dropdownfeld

  • Wählt einen Rhythmus zur Durchführung der Pipeline aus.

  • Die Pipeline kann einmalig ausgeführt oder zyklisch wiederholt werden.

“am”

  • Legt bei einmaliger Ausführung das Ausführungsdatum fest.

“um”

  • Legt bei einmaliger Ausführung die Ausführungsuhrzeit fest.


4.2. Step hinzufügen

Öffnet ein Dropdownmenü mit allen verfügbaren Steptypen:

Dropdown aller verfügbaren Steptypen

Die verschiedenen Steptypen und deren Funktionen sind auf separaten Seiten erklärt:


5. Step-Menü

Das Step-Menü einer Pipeline öffnet sich nur bei dessen Auswahl und ist in der Standardansicht, beim betreten des Bereiches “Datenflüsse” - “Prozesspipelines”, nicht sichtbar.

Details des Steps aus-/einklappen

  • Durch einen Linksklick auf den schwarzen Pfeil, am linken Rand der jeweiligen Zeile, können weitere Informationen zum Step ein-/ausgeklappt werden.

“Name des Steps”-Eingabefeld

  • Zeigt den Namen des aktuell ausgewählten Steps an und ermöglicht dessen Änderung.

Ist eine generische Beschreibung über die Funktionsweise des Steps. Der Name sollte möglichst sprechend sein, da dieser auch in den Logs auftaucht.

Ausführung (de-)aktiviert

  • (De-)aktiviert den Step innerhalb der Pipeline.

  • Ist ein Step deaktiviert, so kann die Pipeline mit den restlichen aktivierten Steps normal gestartet werden.

Kopieren

  • Kopiert den ausgewählten Step mit all seinen Inhalten und ändern den Namen in “Kopie von…”


Optionen

Öffnet einen neuen Dialog, in welchem Step-Einstellungen änderbar sind.

Zeitausführungsgrenze

  • Begrenzt die maximal Ausführungsdauer des ausgewählten Steps auf eine definierte Minutenzahl.

Immer ausführen

  • Diesen Prozessstep immer ausführen, auch wenn ein vorheriger Step in der Pipeline fehlschlägt.

  • Dies Funktion ist über eine Checkbox aktivierbar.


Löschen

Öffnet einen Dialog zur Bestätigung eines Löschvorgangs:

  • Löscht bei Bestätigung den ausgewählten Step mit allen Inhalten.

Step verschieben - Drag & Drop

  • Am rechten Zeilenrand eines jeden Steps ist ein Icon mit zwei vertikalen Punktreihen platziert.

  • Über Drag & Drop dieses Icons kann die Position des Steps in dieser Tabelle verändert werden.