In der Stepübersicht werden für eine ausgewählte Pipeline alle Steps sowie deren Bearbeitungsoptionen angezeigt.

Ein Step stellt eine Aufgabe dar. In einer Pipeline können Steps verschiedener Typen gemischt werden. Da Häckchen am Step setzt diesen auf aktiv oder inaktiv - inaktive Steps werden im Ausführungslauf übersprungen.


1. Prozesse der Datenextraktionen

1.1. SQL- und Pentaho-Datenextraktion

Der Extraktionsprozess liest Daten für ein Modul aus einer Datenquelle und schreibt sie in das Integrationsschema in OCT.

SQL = Basieren ausschließlich auf den Datenquelltypen MSSQL & Oracle.
Pentaho = Es sind alle Datenquelltypen anbindbar.

Die Auswahlmöglichkeiten für SQL- und Pentaho-Datenextraktion sind in der jeweiligen Maske gleich. Eine Pentaho-Installation ist eine nötige Voraussetzung für eine Pentaho-Datenextraktion.

Datenquelle

  • Auswahl einer der angelegten Datenquellen.

Integrationspaket für Modul

  • Auswahl eines der aktivierten Module.

  • Die verfügbare Auswahl hängt von der ausgewählten Datenquelle ab.

Mandantenauswahl

Der grüne Button “Mandantenauswahl” öffnet den Dialog der “Mandantenauswahl”:

Suche

  • Durchsucht die Tabelle nach dem eingegebenen Inhalt.

  • Über ein kleines schwarzes Kreuz, am rechten Ende des Eingabefeldes, kann die Eingabe wieder gelöscht werden.

Aktivierung eines Mandanten

Mandanten-ID

  • Zeigt die definierten Mandanten-ID des Mandanten.

Mandanten-Name

  • Zeigt den definierten Mandantennamen des Mandanten.

Im Dialog “Mandantenauswahl” aktivierte Mandanten, werden in dem Feld - rechts neben dem Button “Mandantenauswahl” - in der Form “Mandanten-ID - Mandantenname,….” angezeigt.

Startjahr und Periode

  • Auswahl des Startjahrs und der Startperiode ab der die Daten extrahiert werden sollen.

  • Es wird im Grundzustand das Startjahr = “(Vorjahr zum aktuellen Jahr” und die Periode = “1” ausgewählt.

Ende Jahr und Periode

  • Auswahl des Jahres und der Periode bis zu der die Daten extrahiert werden sollen.

  • Es wird im Grundzustand das Ende Jahr = “Unbegrenzt” und die Periode = “12” ausgewählt.

Mit der Auswahl “Unbegrenzt” werden ab dem gewählten Startjahr alle zukünftigen Jahre ausgelesen.

Nur Stammdaten

  • Schieberegler um nur Stammdaten auszulesen.

Das Beschränken des Auslesens auf Stammdaten ist nur bei Pentaho-Paketen möglich.

Deltaload aktivieren

  • Schieberegler um den Deltaload zu aktivieren.

Das Aktivieren ist nur bei Pentaho-Paketen möglich.

Generisches Löschen verwenden

  • Die Aktivierung ruft die Prozedur agent.pDeleteIntegrationValues bzw. innerhalb der Prozedur die agent.pDeleteIntegrationValuesFIN auf.

  • Diese löscht im Integrations-Schema alle Stammdaten der ausgewählten Mandanten und von den Bewegungsdaten die ausgewählten Perioden der Mandanten.

  • Falls es für das ausgewählte Modul keine explizite pDeleteIntegrationValues....-Prozedur gibt wird die pDeleteIntegrationValuesGeneric Prozedur aufgerufen.

  • Diese versucht alle Integration-Tabellen des Moduls zu finden und darin Daten zu löschen.

Diese Option erfordert fortgeschrittenes Expertenwissen und sollte grundsätzlich erstmal aktiviert sein.

Post Bulkload ausführen

  • In diesem Schritt werden unter anderem auch die Stammdaten (Konten, Kostenobjekte) aus dem Integration-Schema in das Global-Schema synchronisiert.

  • Die Stammdaten im Global-Schema sind die führenden Stammdaten, welche auch bei der Bereitstellung der Daten im Result-Schema verwendet werden.

  • Neben den Stammdaten aus der Integration kann somit der Benutzer auch eigene Stammdaten einpflegen oder die Stammdaten aus dem Vorsystem editieren bzw. ergänzen.


1.2. SAP-Datenextraktion

Der Extraktionsprozess liest Daten für SAP-Module aus einer Datenquelle und schreibt sie in das Integrationsschema in OCT.

Datenquelle

  • Auswahl einer der angelegten Datenquellen.

Integrationspaket für Modul

  • Auswahl eines der aktivierten Module.

  • Die verfügbare Auswahl hängt von der ausgewählten Datenquelle ab.

Mandantenauswahl

Der grüne Button “Mandantenauswahl” öffnet den Dialog der “Mandantenauswahl”:

Suche

  • Durchsucht die Tabelle nach dem eingegebenen Inhalt.

  • Über ein kleines schwarzes Kreuz, am rechten Ende des Eingabefeldes, kann die Eingabe wieder gelöscht werden.

Aktivierung eines Mandanten

Mandanten-ID

  • Zeigt die definierten Mandanten-ID des Mandanten.

Mandanten-Name

  • Zeigt den definierten Mandantennamen des Mandanten.

Im Dialog “Mandantenauswahl” aktivierte Mandanten, werden in dem Feld - rechts neben dem Button “Mandantenauswahl” - in der Form “Mandanten-ID - Mandantenname,….” angezeigt.

Startjahr und Periode

  • Auswahl des Startjahrs und der Startperiode ab der die Daten extrahiert werden sollen.

  • Es wird im Grundzustand das Startjahr = “(Vorjahr zum aktuellen Jahr)” und die Periode = “1” ausgewählt.

Ende Jahr und Periode

  • Auswahl des Jahres und der Periode bis zu der die Daten extrahiert werden sollen.

  • Es wird im Grundzustand das Ende Jahr = “Unbegrenzt” und die Periode = “12” ausgewählt.

Mit der Auswahl “Unbegrenzt” werden ab dem gewählten Startjahr alle zukünftigen Jahre ausgelesen.

Nur Stammdaten

  • Schieberegler um nur Stammdaten auszulesen.

Das Beschränken des Auslesens auf Stammdaten ist nur bei Pentaho-Paketen möglich.

Deltaload aktivieren

  • Schieberegler um den Deltaload zu aktivieren.

Das Aktivieren ist nur bei Pentaho-Paketen möglich.

Nur Summentabellen laden

  • SAP liefert typischerweise große Mengen von Einzelbuchungen.

  • SAP bietet daher die Möglichkeit an, Summentabellen z.B. pro Monat oder pro Konto mit reduziertem Inhalt herauszuziehen.

Generisches Löschen verwenden

  • Die Aktivierung ruft die Prozedur agent.pDeleteIntegrationValues bzw. innerhalb der Prozedur die agent.pDeleteIntegrationValuesFIN auf.

  • Diese löscht im Integrations-Schema alle Stammdaten der ausgewählten Mandanten und von den Bewegungsdaten die ausgewählten Perioden der Mandanten.

  • Falls es für das ausgewählte Modul keine explizite pDeleteIntegrationValues....-Prozedur gibt wird die pDeleteIntegrationValuesGeneric Prozedur aufgerufen.

  • Diese versucht alle Integration-Tabellen des Moduls zu finden und darin Daten zu löschen.

Diese Option erfordert fortgeschrittenes Expertenwissen und sollte grundsätzlich erstmal aktiviert sein.

Post Bulkload ausführen

  • In diesem Schritt werden unter anderem auch die Stammdaten (Konten, Kostenobjekte) aus dem Integration-Schema in das Global-Schema synchronisiert.

  • Die Stammdaten im Global-Schema sind die führenden Stammdaten, welche auch bei der Bereitstellung der Daten im Result-Schema verwendet werden.

  • Neben den Stammdaten aus der Integration kann somit der Benutzer auch eigene Stammdaten einpflegen oder die Stammdaten aus dem Vorsystem editieren bzw. ergänzen.

Extrahiere ……

Extrahiert bestimmte SAP-Module, welche standardmäßig wie folgt abgekürzt werden:

  • Finanzbuchhaltung (FI)

  • Kostenstellenrechnung (CO)

  • Profitcenter (PCA)

  • Haushaltsmanagement (FI-FM)


1.3. DATEV-Datenextraktion

Der Extraktionsprozess liest Daten für DATEV-Module aus einer Datenquelle und schreibt sie in das Integrationsschema in OCT.

Datenquelle

  • Auswahl einer der angelegten Datenquellen.

Integrationspaket für Modul

  • Auswahl eines der aktivierten Module.

  • Die verfügbare Auswahl hängt von der ausgewählten Datenquelle ab.

Mandantenauswahl

Der grüne Button “Mandantenauswahl” öffnet den Dialog der “Mandantenauswahl”:

Suche

  • Durchsucht die Tabelle nach dem eingegebenen Inhalt.

  • Über ein kleines schwarzes Kreuz, am rechten Ende des Eingabefeldes, kann die Eingabe wieder gelöscht werden.

Aktivierung eines Mandanten

Mandanten-ID

  • Zeigt die definierten Mandanten-ID des Mandanten.

Mandanten-Name

  • Zeigt den definierten Mandantennamen des Mandanten.

Im Dialog “Mandantenauswahl” aktivierte Mandanten, werden in dem Feld - rechts neben dem Button “Mandantenauswahl” - in der Form “Mandanten-ID - Mandantenname,….” angezeigt.

Startdatum

  • Auswahl des Startdatums ab dem die Daten extrahiert werden sollen.

  • Es wird im Grundzustand das Datum = “1/1/(Vorjahr zum aktuellen Jahr” ausgewählt.

Enddatum

  • Auswahl des Datums bis zu der die Daten extrahiert werden sollen.

KOST.mdb kopieren

  • Die Daten der Kostenrechnung werden in DATEV technisch in Access-Datenbanken gespeichert.

  • Diese kann als .mdb-Datei mit kopiert und transferiert werden.

Direkte Ausführung überspringen

  • Diese Option erlaubt die automatische Ausführung des Extraktionsbefehles zu überspringen.

  • Das wird vor allem dann sinnvoll, wenn DATEV auf einem anderen Server liegt und über OCT nur der Extraktionsbefehl gebaut und exportiert wird.

  • Man kann sich den gebauten Extraktionsbefehl dann in der nächsten Option anzeigen vollständig anzeigen lassen.

Vollständigen Extraktionsbefehl anzeigen

  • Zeigt den vollständig aufgeschlüsselten Befehl an, mit dem die DATEV-Extraktionen angestoßen werden.


2. SAP

Der SAP-Step ist eine direkte SAP-Extraktion ohne Pentaho, bei welcher der Benutzer die Quell- und Zieltabellen individuell ansprechen kann.

Datenquelle

  • Anbindung einer eingerichteten SAP-Datenquelle/Datenbank.

Chunk-Größe

  • Ein lesender Benutzer erhält von SAP eine begrenzte Menge an Speicher zugewiesen.

  • Die Chunk-Größe wird definiert, um Daten blockweise zu lesen. Dabei hängt die Chunk-Größe von der Anzahl der ausgewählten Spalten ab.

  • Der Step legt als Default-Wert automatisch eine Chunk-Größe = “100000” fest.

Quellentabelle

  • Wählt eine Quellentabelle aus der SAP-Datenbank per manueller Eingabe aus.

  • Der Button mit dem Icon “Lupe” zeigt die ersten 100zeilen der Quelltabelle an.

  • Die angezeigten Felder basieren auf den ausgewählten Extraktionsfeldern. Ist kein Extraktionsfeld definiert, so werden alle Felder aus der Quelltabelle abgerufen.

Zieltabelle

  • Erlaubt die manuelle Eingabe eines Zieltabellennamens.

  • Der Button mit dem Icon “Lupe” zeigt die ersten 100Zeilen der Zieltabelle an.

Zieltabelle erstellen

  • Erstellt die angegebene Zieltabelle auf Basis der, in der Quelltabelle ausgewählten, Extraktionsfelder.

  • Der Button mit dem Icon “Blätterstapel” kopiert das Skript für “Zieltabelle erstellen” in die Zwischenablage.

Filter Expression

  • Entspricht einem Eingabefeld, in welches die WHERE-Klausel der SAP-Abfrage manuell in den Schritt eingetragen wird.

  • Dieser Filter ist in seiner Funktion sehr statisch.

Control Query

  • Eine "Kontrollabfrage" wird z.B. verwendet, um die Anzahl der Ausführungen zu steuern und dem Filter einige Variablen hinzuzufügen.

  • Der Button mit dem Icon “Lupe” zeigt temporär das Resultat der Control Query an.

PreSQL

  • Ist ein Statement was vor dem Datentransfer auf der OCT-Datenbank ausgeführt werden soll.

  • Ein PreSQL-Statement kann auch Variablen verwenden.

PostSQL

  • Ist ein Statement was nach dem Datentransfer auf der OCT-Datenbank ausgeführt werden soll.

  • Ein PostSQL-Statement kann auch Variablen verwenden.


3. DATEV-Dateiverarbeitung

Datenquelle

  • Auswahl einer der angelegten Datenquellen.

Integrationspaket für Modul

  • Auswahl eines der aktivierten Module.

  • Die verfügbare Auswahl hängt von der ausgewählten Datenquelle ab.

Mandantenauswahl

Der grüne Button “Mandantenauswahl” öffnet den Dialog der “Mandantenauswahl”:

Suche

  • Durchsucht die Tabelle nach dem eingegebenen Inhalt.

  • Über ein kleines schwarzes Kreuz, am rechten Ende des Eingabefeldes, kann die Eingabe wieder gelöscht werden.

Aktivierung eines Mandanten

Mandanten-ID

  • Zeigt die definierten Mandanten-ID des Mandanten.

Mandanten-Name

  • Zeigt den definierten Mandantennamen des Mandanten.

Im Dialog “Mandantenauswahl” aktivierte Mandanten, werden in dem Feld - rechts neben dem Button “Mandantenauswahl” - in der Form “Mandanten-ID - Mandantenname,….” angezeigt.

Startdatum

  • Auswahl des Startdatums ab dem die Daten extrahiert werden sollen.

  • Es wird im Grundzustand das Datum = “1/1/(Vorjahr zum aktuellen Jahr” ausgewählt.

Enddatum

  • Auswahl des Datums bis zu der die Daten extrahiert werden sollen.

KOST.mdb abfragen

  • Die Daten der Kostenrechnung werden in DATEV technisch in Access-Datenbanken gespeichert.

  • Fragt Inhalte aus der .mdb-Datei ab.

Kopfzeile überspringen

  • Überspringt die Verwendung der Kopfzeilen und lässt diese inhaltlich beim Transfer aus.


4. Prozedurausführung

Der Step führt eine gespeicherte Prozedur in der aktiven OCT Datenbank aus.

Name der Prozedur

  • Definiert den Namen der Prozedur, die ausgeführt werden soll.

Die Prozedur…

  • …ist in einer aktuellen OCT Datenbank gespeichert - Prozeduren in anderen Datenbanken können nicht aufgerufen werden.

  • …muss einen Returncode nach OCT Definition zurückgeben (200, 404...).

  • benötigt einen berechtigten ServiceUser von OCT für dessen Ausführung.

Parameter hinzufügen

  • Einer Prozedur können beliebig viele Parameter übergeben werden.

  • Es können globale Parameter referenziert werden mit $[Variablenname].

  • Ein grüner Button mit einem grünen “+” fügt einen neuen Parameter hinzu.

Name

  • Weißt dem Parameter einen Namen zu.

Parameter werden ohne “@” übergeben.

Typ

  • Definiert den Datentyp des Parameters.

  • Parameter können vom Typ “text” oder vom Typ “numeric” sein.

Wert

  • Übergibt den Parameter mit einem dazugehörigem Wert.

  • Mögliche Werte hängen von der Art des ausgewählten Typs ab.

Resultierender Befehl

  • Zeigt den resultierenden SQL-Befehl, welcher bei den aktuell ausgewählten Parametern & ihren Eigenschaften entstehen würde.

Ausführung testen

  • Testet den aktuell resultierenden SQL-Befehl auf dessen Funktionalität aus.

  • Ist der Befehl ungültig, so öffnet sich ein Fehler-Dialog.


5. Datenbereitstellung

Die Datenbereitstellung überführt die im Ausleseprozess ausgelesenen Daten aus dem Integration-Schema und stellt diese im Global- & im Result-Schema bereit. Logisch gesehen werden dadurch die extrahierten Daten an den Endanwender ausgeliefert.

Daten, die noch nicht durch den https://saxess-software.atlassian.net/wiki/spaces/OH/pages/445645281/4.2.1+Steptypen#1.-Ausleseprozess geladen wurden, können auch nicht bereitgestellt werden.

Datenquelle

  • Auswahl einer der angelegten Datenquellen.

Modul

  • Auswahl eines des aktivierten Moduls.

  • Die verfügbare Auswahl hängt von der ausgewählten Datenquelle ab.

Mandantenauswahl

Der grüne Button “Mandantenauswahl” öffnet den Dialog der “Mandantenauswahl”:

Suche

  • Durchsucht die Tabelle nach dem eingegebenen Inhalt.

  • Über ein kleines schwarzes Kreuz, am rechten Ende des Eingabefeldes, kann die Eingabe wieder gelöscht werden.

Aktivierung eines Mandanten

Mandanten-ID

  • Zeigt die definierten Mandanten-ID des Mandanten.

Mandanten-Name

  • Zeigt den definierten Mandantennamen des Mandanten.

Im Dialog “Mandantenauswahl” aktivierte Mandanten, werden in dem Feld - rechts neben dem Button “Mandantenauswahl” - in der Form “Mandanten-ID - Mandantenname,….” angezeigt.


6. Batcherzeugung

Diese Funktion wird in dieser OCT-Version nicht mehr unterstützt.


7. SQL-Datentransfer

Der Step SQL-Datentransfer liest Daten aus einer Datenquelle per SQL-Abfrage und speichert diese in einer Tabelle der OCT Datenbank.

Datenquelle

  • Auswahl einer der angelegten Datenquellen.

PreSQL

  • SQL-Statement. welches vor dem Datentransfer in der OCT-Datenbank ausgeführt werden soll.

  • Ein PreSQL-Statement ist optional.

Zieltabelle

  • Zieltabelle in der OCT-Datenbank, in welche die Daten übertragen werden.

SQL

  • SQL-Statement um die Daten aus der Datenquelle abzurufen.

  • Das SQL-Statement muss genau ein Recordset zurückgeben, welches exakt den Spalten der Zieltabelle entspricht.

PostSQL

  • SQL-Statement. welches nach dem Datentransfer in der OCT-Datenbank ausgeführt werden soll.

  • Ein PostSQL-Satement ist optional.

SQL-Abfrage-Test

  • Überprüft die Kombination aller verpflichtenden & optionalen SQL-Statements auf ihre Funktionalität.

  • Der Test öffnet dem Dialog “SQL-Abfrage-Test”. In diesem werden im Grundzustand die ersten 100Zeilen des z.B. SELECT-Statements angezeigt.


8. Pentaho Job

Über den Step “Pentaho Job” ist es möglich, einen beliebigen Pentaho-Job auszuführen ohne Bezug auf das Repository und dessen Konnektoren.

Pentaho Job-Pfad

  • Der Pfad zu einem Pentaho Job auf dem lokalen Dateisystem.

Datenquelle

  • Hier kann eine Quellverbindung gewählt werden.

  • Entweder kann eine bestehende Verbindung aus der Datenquellenverwaltung oder die eigene OCT-Datenbank ausgewählt werden.

  • Mit der Auswahl einer Datenquellen werden Variablen an Pentaho übergeben.

Datenziel

  • Hier kann eine Zielverbindung gewählt werden.

  • Entweder kann eine bestehende Verbindung aus der Datenquellenverwaltung oder die eigene OCT-Datenbank ausgewählt werden.

Parameter hinzufügen

  • Einer Prozedur können beliebig viele Parameter übergeben werden - dazu zählen z.B. auch globale Parameter für Pipelines.

  • Damit Parameter auch in Pentaho aufgelöst werden, muss die Transformation “JSONConfigToVars“ aus dem Ordner “FRAMEWORK\CUSTOMJOB_TEMPLATE” in den Pentaho Job eingebaut werden.

  • Es können globale Parameter referenziert werden mit $[Variablenname].

  • Ein grüner Button mit einem grünen “+” fügt einen neuen Parameter hinzu.

Name

  • Weißt dem Parameter einen Namen zu.

Parameter werden ohne “@” übergeben.

Typ

  • Definiert den Datentyp des Parameters.

  • Parameter können vom Typ “text” oder vom Typ “numeric” sein.

Wert

  • Übergibt den Parameter mit einem dazugehörigem Wert.

  • Mögliche Werte hängen von der Art des ausgewählten Typs ab.


9. Powerload

Der Powerload öffnet und speichert jedes Produkt in der ausgewählten Struktur (Fabrik, Produktlinie). Er wird genutzt um formelbasierte Werte in Products neu zu berechnen, nachdem Werte importiert wurden.

Powerloading-Ziel

Das Feld öffnet mit einem Linksklick einen Dropdown, welcher die Struktur der 5.1. Navigationsleiste der Datenerfassung bis runter zu Produktlinie enthält:

Ziel-Dropdown

  • Zeigt den Knoten an, für welchen der Powerload ausgeführt werden soll - dieses Feld ist im Grundzustand leer.

  • Ein Linksklick auf dieses Feld öffnet einen Dropdown mit einer Baumstruktur. Das Feld ist durch einen schwarzen Pfeil am rechten Rand gekennzeichnet.

  • Eine getätigte Auswahl kann durch ein “x” am rechten Feldrand gelöscht werden.

Such-Eingabefeld

  • Oberhalb der Baumstruktur ist ein Eingabefeld - gekennzeichnet durch die Lupe am rechten Rand.

  • In diesem Feld können (Teil-)Begriffe, zur Suche in der Baumstruktur, eingegeben werden.

Ein-/Ausklappen der Baumstruktur

  • Die oberste angezeigte Ebene ist die Cluster-Ebene.

  • Für diese Ebene kann man, durch kleine schwarze Pfeile links des Ebenennamens, die Struktur der dazugehörigen Unterebenen ein-/ausgeklappen.

  • Ein Linksklick auf den Namen der Ebene wählt diesen Knoten aus.

ACHTUNG: Nicht alle Formeln werden auch vom Powerloading unterstützt, dabei funktionieren nur…

Es scheint Excel Formeln zu geben, die nicht dokumentiert sind oder per Alias verwendet werden - z.B. Runden() = Round() ist verwendbar aber nicht dokumentiert.


10. CSV- und XLS-Datei-Import

Der XLS-/CSV-Datei-Import-Step ist ein Step, um XLS-/CSV-Dateien aus einem lokalen Verzeichnis oder vom Azure Storage in die OCT-Datenbank zu importieren. Dies dient beispielsweise dazu, wenn Exporte aus Vorsystemen in OCT verarbeitet werden sollen. Beide Steptypen für XLS und CSV verwenden die gleiche Maske.
Dafür müssen passende Zieltabellen (pro CSV Dateiname) in der OCT Datenbank vorhanden sein. Diese müssen folgende Voraussetzungen erfüllen:

  • sie sind benannt integration.t[CSVFilename].

  • sie besitzen optional eine erste Spalte “RowKey”, welche nicht in den CSV Dateien als Spaltenname vorkommt.

  • sie besitzen optional eine zweite (erste falls RowKey nicht vorhanden) Spalte für den Tabellensuffix.

  • sie besitzen optional eine dritte (zweite falls kein RowKey, erste falls kein Suffix) für eine statische Spalte.

  • sie besitzen alle Spalten der CSV Datei mit passendem Datentyp.

10.1. Lokales Dateisystem

Diese Einstellung funktioniert nur bei einer Installation on Premise. Wenn als Quelle ein lokales Verzeichnis ausgewählt werden soll, muss die Option “Lokales Dateisystem” ausgewählt und der Pfad in das Eingabefeld “Ordnerpfad” eingetragen werden.
Zu beachten ist dabei:

  • Der Pfad muss existieren.

  • Alle Dateien aus dem Pfad werden importiert, wenn nur ein Teil importiert werden soll, muss ein Unterordner ausgewählt werden.

  • Der Nutzer “OCTService” muss Leserechte auf dem Ordner und den enthaltenen Dateien haben.

Ordnerpfad

  • Pfad der zu importierenden Datei.

Feldtrenner

  • Der Feldtrenner beschreibt das Zeichen, welches in der Datei die einzelnen Spalten trennt. Bei CSV-Dateien ist das standardmäßig ein Semikolon.

Textbegrenzer

  • Der Textbegrenzer ist ein Zeichen, welches Textspalten umgibt, um Anfang und Ende der Spalte zu markieren.

  • Außerdem kann das Feld hierdurch auch das Feldtrennerzeichen enthalten.

  • Standardmäßig sind hier Anführungszeichen vorausgewählt.

  • Wenn die CSV-Dateien keine Textbegrenzer enthalten, hat dies keine negativen Folgen solange sich das entsprechende Zeichen nicht am Anfang oder Ende einer Spalte befindet.

  • Wenn kein Textbegrenzer angegeben ist, diese sich aber in der CSV-Datei befinden, werden sie beim Import in die Datenbank nicht entfernt.

Dateien haben Kopfzeile

  • Diese Option gibt an, ob die Dateien eine Kopfzeile haben, welche nicht in die Tabelle importiert werden soll.

Expertenoptionen

Dateien ohne Suffix importieren

  • Oftmals enthalten CSV-Dateien ein Suffix am Dateinamen, der das Datum o.ä. markiert.

  • Wenn mehrere ähnliche Dateien in eine Tabelle importiert werden sollen, kann dieses Suffix (Teil des Dateinamens nach dem letzten Unterstrich) beim Tabellennamen ignoriert werden.

  • So werden z.B. die Dateien “Testdaten_2018.csv” und “Testdaten_2019.csv” in die Tabelle “integration.tTestdaten” importiert.

Suffix als Spalte einfügen

  • Diese Option fügt das Suffix (Teil des Dateinamens nach dem letzten Unterstrich) in die erste Spalte der Tabelle ein -die zweite Spalte, wenn eine RowKey-Spalte vorhanden ist.

  • Dadurch kann die Herkunft der Daten nach Datei rekonstruiert werden.

Statische Spalte hinzufügen

Spaltenname

  • Entspricht dem Namen der statischen Spalte.

Wert

  • Ist der Wert für Datensätze in der statischen Spalte.

Tabellenpräfix

  • Um Dateien mit gleichem Dateinamen je nach Herkunft in unterschiedliche Tabellen schreiben zu können, kann hier ein Präfix für den Tabellennamen angegeben werden.

  • Dadurch ergibt sich z.B. aus der Datei “Testdaten.csv” und dem Präfix “Präfix_” folgender Tabellenname: “integration.tPräfix_Testdaten”.

Schema

Tabellen-Schema

  • Die Auswahl der Checkbox “Schema” ändert das Schema der Zieltabelle.

  • Standardmäßig ist das Schema “integration” ausgewählt.


10.2. Dateien im Azure Storage

Um Dateien aus dem Azure Storage zu importieren, muss die Option “Dateien im Azure Storage” ausgewählt werden. Anschließend hat der Nutzer die Wahl zwischen dem Azure Blob Storage und dem Azure File Storage.
Wenn der Azure Blob Storage ausgewählt wurde, gibt es außerdem die Authentifizierungsarten per Zugriffsschlüssel und per Benutzerseitig zugewiesener verwalteter Identität.

  • Die Einbindung von Leerzeichen im Pfad erfolgt über Anführungsstriche.

  • Ferner muss immer der komplette Pfad angegeben werden.

  • Der Service-Benutzer benötigt Zugriff auf den ausgewählten Ordner/Pfad.

Authentifizierungsmethode

(a) Benutzerseitig zugewiesene verwaltete Identität

  • Die Authentifizierung per “Benutzerseitig zugewiesener verwalteter Identität” funktioniert nur, wenn auf den Azure Storage über eine Azure-Instanz von OCT zugegriffen wird - sie erfordert einige Einstellungen in der Azure Subscription.

  • Zunächst muss eine User-assigned managed identity für die Ressourcengruppe, in welcher OCT liegt, angelegt werden.

  • Anschließend muss diese Managed Identity unter dem Menüpunkt “Identity” zur Webapp hinzugefügt werden sowie zu den einzelnen Deployment Slots:

  • Jetzt muss die Managed Identity auf dem Azure Storage berechtigt werden.

  • Dafür muss unter dem Menüpunkt “Access Control (IAM)” die Managed Identity eine Rolle zugewiesen bekommen.

  • Drücken Sie den Button “Add” und wählen Sie “Add role assignment”. Anschließend erfolgt die Auswahl der Managed Identity und eine der Rollen “Storage Blob Data Contributor”, “Storage Blob Data Owner” und “Storage Blob Data Reader”:

  • Im nächsten Schritt muss noch eine Umgebungsvariable für den Deployment Slot des Azure App Services von OCT erstellt werden. Diese heißt “AZURE_CLIENT_ID” und enthält die ClientID der Managed Identity:

  • In OCT muss zuletzt die URL “https://<Name des Azure Storage>.blob.core.windows.net” im Feld “URL des Azure Storage” eingetragen werden.


(b) Zugriffsschlüssel

Die Authentifizierung per Zugriffsschlüssel wird direkt vom Azure Storage zur Verfügung gestellt. Diesen findet man im Bereich des Azure Storage-Kontos unter dem Menüpunkt “Zugriffsschlüssel” bzw. “Access Keys”:

  • Die Schlüssel müssen über die Funktionalität “Show Keys” angezeigt werden.

  • Anschließend kopieren Sie den Connection-String des ersten Schlüssels in das Feld “Azure Storage-Zugangsschlüssel”.


Azure Storage-Typ

(a) Blob Storage

Containername

  • Ein Container organisiert einen Satz von Blobs, ähnlich wie ein Verzeichnis in einem Dateisystem.

  • Ein Speicherkonto kann eine unbegrenzte Anzahl von Containern enthalten, weshalb der Name des gewünschten Containers angegeben werden muss.

Unterordner

  • Blobs können in Ordner oder Unterordner strukturiert sein.

  • Der gewünschte Unterordner muss angegeben werden.

Verbindung testen

  • Testet die erfolgreiche Verbindung zum Blob Storage.


(b) File Storage

Sharename

  • Für File Storages muss stattdessen der Sharename angegeben werden.

Unterordner

  • Auch hier muss der spezifische Unterordner angegeben sein.

Verbindung testen

  • Testet die erfolgreiche Verbindung zum File Storage.


Feldtrenner

  • Der Feldtrenner beschreibt das Zeichen, welches in der Datei die einzelnen Spalten trennt. Bei CSV-Dateien ist das standardmäßig ein Semikolon.

Textbegrenzer

  • Der Textbegrenzer ist ein Zeichen, welches Textspalten umgibt, um Anfang und Ende der Spalte zu markieren.

  • Außerdem kann das Feld hierdurch auch das Feldtrennerzeichen enthalten.

  • Standardmäßig sind hier Anführungszeichen vorausgewählt.

  • Wenn die CSV-Dateien keine Textbegrenzer enthalten, hat dies keine negativen Folgen solange sich das entsprechende Zeichen nicht am Anfang oder Ende einer Spalte befindet.

  • Wenn kein Textbegrenzer angegeben ist, diese sich aber in der CSV-Datei befinden, werden sie beim Import in die Datenbank nicht entfernt.

Dateien haben Kopfzeile

  • Diese Option gibt an, ob die Dateien eine Kopfzeile haben, welche nicht in die Tabelle importiert werden soll.


Expertenoptionen

Dateien ohne Suffix importieren

  • Oftmals enthalten CSV-Dateien ein Suffix am Dateinamen, der das Datum o.ä. markiert.

  • Wenn mehrere ähnliche Dateien in eine Tabelle importiert werden sollen, kann dieses Suffix (Teil des Dateinamens nach dem letzten Unterstrich) beim Tabellennamen ignoriert werden.

  • So werden z.B. die Dateien “Testdaten_2018.csv” und “Testdaten_2019.csv” in die Tabelle “integration.tTestdaten” importiert.

Suffix als Spalte einfügen

  • Diese Option fügt das Suffix (Teil des Dateinamens nach dem letzten Unterstrich) in die erste Spalte der Tabelle ein -die zweite Spalte, wenn eine RowKey-Spalte vorhanden ist.

  • Dadurch kann die Herkunft der Daten nach Datei rekonstruiert werden.

Statische Spalte hinzufügen

Spaltenname

  • Entspricht dem Namen der statischen Spalte.

Wert

  • Ist der Wert für Datensätze in der statischen Spalte.

Tabellenpräfix

  • Um Dateien mit gleichem Dateinamen je nach Herkunft in unterschiedliche Tabellen schreiben zu können, kann hier ein Präfix für den Tabellennamen angegeben werden.

  • Dadurch ergibt sich z.B. aus der Datei “Testdaten.csv” und dem Präfix “Präfix_” folgender Tabellenname: “integration.tPräfix_Testdaten”.

Schema

Tabellen-Schema

  • Die Auswahl der Checkbox “Schema” ändert das Schema der Zieltabelle.

  • Standardmäßig ist das Schema “integration” ausgewählt.


11. Power-Shell-Skriptausführung

Dieser Step ruft Powershell auf und führt Befehle/ ein Skript in Powershell aus.

  • Er ist nur in on-premises Installationen verfügbar.

  • Powershell in Version 5 muss auf dem Server installiert sein.

  • Das Skript muss im Syntax für Powershell 5 geschrieben sein.

11.1. Powershell-Skript-Editor

Editorfenster

  • Eingabefenster für ein PowerShell-Skript.

Parameter hinzufügen

  • Einer Prozedur können beliebig viele Parameter übergeben werden.

  • Es können globale Parameter referenziert werden mit $[Variablenname].

  • Ein grüner Button mit einem grünen “+” fügt einen neuen Parameter hinzu.

Name

  • Weißt dem Parameter einen Namen zu.

Parameter werden ohne “@” übergeben.

Typ

  • Definiert den Datentyp des Parameters.

  • Parameter können vom Typ “text” oder vom Typ “numeric” sein.

Wert

  • Übergibt den Parameter mit einem dazugehörigem Wert.

  • Mögliche Werte hängen von der Art des ausgewählten Typs ab.


11.2. Lokales Dateisystem

Datei-Pfad

  • Angabe des lokalen Verzeichnisses, in dem das PowerShell Skript liegt.

Parameter hinzufügen

  • Einer Prozedur können beliebig viele Parameter übergeben werden.

  • Es können globale Parameter referenziert werden mit $[Variablenname].

  • Ein grüner Button mit einem grünen “+” fügt einen neuen Parameter hinzu.

Name

  • Weißt dem Parameter einen Namen zu.

Parameter werden ohne “@” übergeben.

Typ

  • Definiert den Datentyp des Parameters.

  • Parameter können vom Typ “text” oder vom Typ “numeric” sein.

Wert

  • Übergibt den Parameter mit einem dazugehörigem Wert.

  • Mögliche Werte hängen von der Art des ausgewählten Typs ab.

Leerzeichen müssen über Anführungstriche gelöst werden - kompletter Pfad.

Service-Benutzer muss Zugriff Ordner/Pfad


12. Planungsobjekt-Import

Ermöglicht den Import eines, an anderer Stelle, exportierten Planungsobjektes, um dieses dann im geöffneten Cluster über diesen Steptyp zu importieren.

Dateipfad

  • Gibt den Pfad der Datei an, welche die zu importierende Planungsstruktur enthält.

Importierter Objekttyp

  • Wählt die höchste Ebene der importierten Struktur aus.

  • Es werden auch alle Unterebenen mit importiert.

Zielcluster

  • Der Zielcluster wird automatisch ausgewählt und ist immer der, zu diesem Zeitpunkt, ausführende Cluster.

Zielfabrik

  • Definiert die Fabrik, in welche das Objekt importiert wird.

Zielproduktlinie

  • Definiert die Produktlinie, in welche das Objekt importiert wird.

Zielprodukt

  • Definiert das Produkt, in welches das Objekt importiert wird.