Skip to main content
Skip table of contents

3.2.3.4. Datei-Import

Der Datei-Import Step importiert Excel, CSV oder Text-Dateien aus einem lokalen Verzeichnis des Servers oder vom Azure Storage in die OCT-Datenbank.

Dieser Step wird somit benötigt, wenn Daten nicht direkt in einer Datenbank verfügbar sind, sondern als Excel, CSV oder Text-Datei zur Verfügung gestellt werden.

Des Weiteren können damit mehrere Dateien gleichzeitig mit Platzhaltern importiert und archiviert sowie Spalten automatisch ausgelesen, konfiguriert und hinzugefügt werden.

3.2.3.4.1. Datei-Import-Step hinzufügen

  • Wählen Sie den gewünschten Step aus:

image-20240613-123839.png

Ansicht 1 “Step hinzufügen ”

  • Wenn der Step ausgewählt wird, öffnet sich eine Übersicht. Je nach Dateiquelle (a oder b) müssen verschiedene Informationen eingetragen werden. Die Eingaben für “Importoptionen”, “Zieltabelle” und “Zusätzliche SQL-Befehle” erfolgt gleich, weshalb diese Bereiche nur einmal beschrieben werden.

image-20240613-124308.png

Ansicht 2 “Step hinzufügen ”


3.2.3.4.2. Dateiquelle - Server-Dateisystem (a)

Hier werden Dateien aus einer lokalen Quelle ausgewählt. Diese Einstellung funktioniert nur bei einer Installation “on premises”.

image-20240617-081821.png

Ordnerpfad

  • Hier wird der Ordner angegeben, in welchem die zu verarbeiteten Excel-/CSV-Dateien enthalten sind. Der Pfad muss ein gültiger Pfad sein, der vom Server mit den Rechten des OCT Dienstes erreicht werden kann (Serverlaufwerk oder Netzlaufwerk).

Der OCT-Dienst muss lesenden Zugriff auf die angegebenen Excel-/CSV-Dateien besitzen. Es wird empfohlen die Datei im Datenpfad von OCT zu hinterlegen (Standard: "C:\ProgramData\Saxess Sofware\<Dienstname>").

Dateiname

  • Hier muss ein Dateiname eingegeben werden. Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Unterordner einschließen

  • Bei Aktivierung der Checkbox werden auch Dateien aus Unterordnern erkannt und importiert.

Dateiauswahl anzeigen

  • Über den Button “Dateiauswahl anzeigen” wird eine Liste für den Import ausgewählten Dateien angezeigt.

Bei Auswahl des Buttons "Dateiauswahl anzeigen" öffnet sich ein Dialog.
image-20240617-085312.png

Dialog “Vorschau”

Es wird in einem Anzeigefeld eine Vorschau der Liste der Dateien angezeigt, die beim Ausführen des Steps importiert werden z.B. D:\Test-StepDatei-Import\01_Personalliste.xlsx.


3.2.3.4.3. Dateiquelle - Dateien im Azure-Storage (b)

Azure Storage ist ihr “Netzlaufwerk” auf Azure - dieses stellen wir Ihnen bereit oder sie nutzen ein eigenes so es ihnen zur Verfügung steht.

Um Dateien aus dem Azure Storage zu importieren, muss die Option “Dateien im Azure Storage” ausgewählt werden. Anschließend hat der Nutzer die Wahl zwischen dem Azure Blob Storage und dem Azure File Storage.

Authentifizierungsmethode

  • Es gibt zwei Möglichkeiten eine Authentifizierung vorzunehmen.

Über “Benutzerseitig zugewiesene verwaltete Identität”

image-20240617-082348.png
  • Diese Authentifizierung funktioniert nur, wenn auf den Azure Storage über eine Azure-Instanz von OCT zugegriffen wird - sie erfordert einige Einstellungen in der Azure Subscription.

  • URL des Azure-Storage: Es erscheint ein Vorschlag, der das Format für die URL anzeigt. Hier muss die komplette URL des Azure-Storage eingegeben werden.

Über “Zugriffsschlüssel”

image-20240617-082418.png
  • Diese wird üblicherweise gewählt.

  • Storage-Kontoname: Name des Storage-Kontos

  • Azure-Storage-Zugangsschlüssel: Hier muss ein Zugangsschlüssel für das Storage-Konto mit ausreichender Berechtigung eingegeben werden.


Azure-Storage-Typ

  • Blob-Storage: Üblicherweise wird der Typ Blob-Storage ausgewählt - ein Speicherdienst in der Cloud, der von Microsoft Azure bereitgestellt wird.

image-20240617-100404.png

Ansicht “Blob-Storage”

Containername

  • Ein Container organisiert einen Satz von Blobs, ähnlich wie ein Verzeichnis in einem Dateisystem.

  • Ein Storage-Konto kann eine unbegrenzte Anzahl von Containern enthalten, weshalb der Name des gewünschten Containers angegeben werden muss.

Unterordner

  • Blobs können in Ordner oder Unterordner strukturiert sein.

  • Der gewünschte Unterordner muss angegeben werden.

Dateiname

  • Hier wird der Name der Excel-Datei eingegeben, aus welcher die Dateien importiert werden sollen.

  • Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Verbindung testen

  • Testet die erfolgreiche Verbindung zum Blob Storage.

Dateiauswahl anzeigen

  • Über den Button “Dateiauswahl anzeigen” wird eine Liste für den Import ausgewählten Dateien angezeigt.


  • File-Storage:

image-20240617-101446.png

Ansicht “File-Storage

Sharename

  • Für File Storages muss stattdessen der Sharename angegeben werden.

Unterordner

  • Auch hier muss der spezifische Unterordner angegeben sein.

Dateiname

  • Hier wird der Name der Excel-Datei eingegeben, aus welcher die Dateien importiert werden sollen.

  • Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Verbindung testen

  • Testet die erfolgreiche Verbindung zum File-Storage

Dateiauswahl anzeigen

  • Über den Button “Dateiauswahl anzeigen” wird eine Liste für den Import ausgewählten Dateien angezeigt.


3.2.3.4.4. Importoptionen

Hier wird definiert, welche Daten bzw. Felder importiert werden.

image-20240617-093514.png

Ansicht “Importoptionen”

Dateien haben Kopfzeile

  • Falls dies über die Checkbox aktiviert ist, werden die Feldnamen aus der Kopfzeile automatisch ausgelesen.

Excel-Tabellenblatt

  • Hier können explizit bestimme Tabellenblätter importieren werden.

  • Es ist wichtig, dass Tabellenblätter die gleiche Spaltenstruktur haben.

  • Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Die folgenden Felder können nur bei einer CSV Datei bearbeitet werden:

Feldtrenner

  • Der Feldtrenner beschreibt das Zeichen, welches in der Datei die einzelnen Spalten trennt. Bei CSV-Dateien ist das standardmäßig ein Semikolon.

Textbegrenzer

  • Der Textbegrenzer ist ein Zeichen, welches Textspalten umgibt, um Anfang und Ende der Spalte zu markieren.

  • Außerdem kann das Feld hierdurch auch das Feldtrennerzeichen enthalten.

  • Standardmäßig sind hier Anführungszeichen vorausgewählt.

  • Wenn die CSV-Dateien keine Textbegrenzer enthalten, hat dies keine negativen Folgen solange sich das entsprechende Zeichen nicht am Anfang oder Ende einer Spalte befindet.

  • Wenn kein Textbegrenzer angegeben ist, diese sich aber in der CSV-Datei befinden, werden sie beim Import in die Datenbank nicht entfernt.

Tausendertrennzeichen

  • Manche CSV Dateien nutzen zur besseren Lesbarkeit ein Tausendertrennzeichen für Zahlen größer als Tausend (z.B. den Punkt bei 1.000).

  • Damit große Zahlen korrekt importiert werden, muss das Tausendertrennzeichen korrekt angegeben werden.

Dezimaltrennzeichen

  • Dezimaltrennzeichen sind genauso wie Tausendertrennzeichen nur quasi die Kommastelle: 1.000,99 → Tausendkommaneunundneunzig. In dem Fall ist das Komma das Dezimaltrennzeichen. Das ist die deutsche Schreibweise.

  • In englischen Dateien ist es häufig andersrum, also 1,000.99 anstatt 1.000,99. Je nachdem, wie der Inhalt der Datei aussieht, muss man die Einstellungen korrekt setzen.

Encoding

  • Kodierung der Datei, um Umlaute und Sonderzeichen korrekt zu importieren.

  • Die Kodierung von CSV Dateien kann mit speziellen Text-Editoren wie z.B. Notepad++ angezeigt werden.

  • In einem Drop-Down-Menü werden verschiedene Encoding angeboten, das am häufigsten verwendete Encoding ist UTF-8 (Unicode Transformation Format - 8-bit) und ist die Grundeinstellung in diesem Step.

Zeilen überspringen

  • Es kann ausgewählt werden, ob manche Zeilen nicht importiert werden sollen, wenn z.B. mehrere Kopfzeilen in einer Tabelle sind, aber nicht alle importiert werden sollen.

Importierte Felder

  • Die Anzahl der Felder werden automatisch im Button image-20240617-092754.png angezeigt.

  • Über die Buttons können die importierten Felder bearbeitet werden.

Feldliste bearbeiten

  • Die vorhandenen Spalten der Tabelle werden automatisch ausgelesen. Die Spalten können hier umbenannt, der Zieldatentyp festgelegt oder einzelne Felder über die Checkboxen ausgeklammert werden.

Bei Auswahl des Buttons "Feldliste bearbeiten" öffnet sich ein Dialog.
image-20240617-090108.png

Dialog “Feldliste bearbeiten”

Checkboxen

Über die Checkboxen image-20240617-091241.png in der Menüleiste können alle oder einzelne Spalten image-20240617-091310.png aus- oder abgewählt werden.

Aktualisieren

Über das Icon image-20240617-091400.png werden sämtliche manuellen Änderungen entfernt und die Feldnamen und Datentypen erneut aus der Quelldatei ausgelesen.

Spaltenname Zieltabelle

Dieser kann hier verändert werden und muss eindeutig sein. Diese Feld muss ausgefüllt werden.

Datentyp

Über ein Drop-down kann der Datentyp “Text, Zahl oder Datum” ausgewählt werden, je nachdem welche Daten in der Tabelle verfügbar sind.

Zusatzfelder bearbeiten

  • Hier können zusätzliche Felder aufgenommen werden.

Bei Auswahl des Buttons "Zusatzfelder bearbeiten" öffnet sich ein Dialog.
image-20240617-092310.png

Dialog “Zusatzfelder bearbeiten”

Zeile hinzufügen

Über das Icon image-20240617-094220.png kann eine neue Zeile hinzugefügt werden.

Spaltennamen Zieltabelle

Über das Eingabefeld kann ein Spaltennamen eingegeben werden.

Spaltentyp

Der gewünschte Spaltentyp (Dateipfad der Importdatei, Dateiname der Importdatei, Änderungsdatum der Importdatei, Fester Wert) kann über ein Drop-down-Menü ausgewählt werden.

Löschen

Über das Icon image-20240617-094253.png kann die Zeile gelöscht werden.


3.2.3.4.5. Zieltabelle

Hier wird definiert, in welcher Zieltabelle die Daten gespeichert werden.

Name der Zieltabelle

  • Zieltabelle in der Datenbank, in welche die Daten importiert werden.

  • Diese kann vom Benutzer angelegt werden oder automatisch über den Button “Zieltabelle generieren” generiert werden.

Zieltabelle vor jedem Import leeren

  • Über eine Checkbox kann dies (de)-aktiviert werden.

Zieltabelle generieren

  • Über diesen Button kann eine Tabelle generiert werden und über das Icon image-20240612-142813.png neben dem Button als SQL Befehl (ein Create table SQL Scripts) kopiert werden.

  • Bei erfolgreichem Generieren erscheint eine kurze grün hinterlegte Meldung.


3.2.3.4.6. Datei-Backup

Das Datei-Backup ist nur im Server-Dateisystem eine Archivierungsoption. Die Datei-Backup Optionen machen es möglich, Dateien nach dem Import zu archivieren.

image-20240617-105212.png

Ansicht “Datei-Backup”

Verarbeitete Dateien archivieren

  • Über eine Checkbox kann diese Funktion (de)-aktiviert werden. Bei Aktivierung werden die Dateien nach ihrem Import an eine andere Stelle verschoben.

Zeitstempel zum Dateinamen hinzufügen

  • Über eine Checkbox kann diese Funktion (de)-aktiviert werden.

  • Bei Aktivierung wird der Zeitstempel des Importzeitpunkts automatisch zum Dateinamen hinzugefügt. Dies ist sinnvoll, wenn immer der gleiche Dateiname geliefert wird und man die Historie überprüfen will. Der Import der gleichen Datei überschreibt ansonsten die Datei im Archivordner.

Archivordner-Pfad

  • Zeigt den Ordner an, in dem die archivierten Dateien abgelegt werden.

  • Man kann diesen Pfad selbst definieren, allerdings sollte der Pfad nicht im Quellordnerpfad sein, wenn man auch Unterordner importiert.

  • Das Eingabefeld unterstützt Platzhalter für Datumsangaben, die in eckigen Klammern stehen müssen z.B. “C:\ArchivOrdner\<yyyy>\<MM>” würde die Dateien in den Ordner “C:\ArchivOrdner\2024\06” verschieben, falls der Import im Juni 2024 ausgeführt wird.

  • Wichtige Abkürzungen:

    • yyyy - Jahr

    • MM - Monat

    • dd - Tag

    • hh - Stunde

    • mm - Minute

  • Eine vollständige Liste ist unter folgendem Link verfügbar: https://learn.microsoft.com/de-de/dotnet/standard/base-types/custom-date-and-time-format-strings


3.2.3.4.7. Zusätzliche SQL-Befehle

PreSQL

  • SQL-Befehl, welcher vor dem Dateiimport in der OCT-Datenbank ausgeführt werden soll.

PostSQL

  • SQL-Befehl, welcher nach dem Dateiimport in der OCT-Datenbank ausgeführt werden soll.


Nach dem Hinzufügen eines Steps muss dieser gespeichert werden. Danach kann über das Icon image-20240612-135457.png in der Menüleiste die Pipeline gestartet werden.

Während die Pipeline ausgeführt wird, erscheint solange ein sich drehender Kreis in der Pipelinezeile, bis der Prozess beendet ist.

JavaScript errors detected

Please note, these errors can depend on your browser setup.

If this problem persists, please contact our support.