3.2.3.4. Datei-Import

Ordnerpfad

• Hier wird der Ordner angegeben, in welchem die zu verarbeiteten Excel-/CSV-Dateien enthalten sind. Der Pfad muss ein gültiger Pfad sein, der vom Server mit den Rechten des OCT Dienstes erreicht werden kann (Serverlaufwerk oder Netzlaufwerk).

Der OCT-Dienst muss lesenden Zugriff auf die angegebenen Excel-/CSV-Dateien besitzen. Es wird empfohlen die Datei im Datenpfad von OCT zu hinterlegen (Standard: "C:\ProgramData\Saxess Sofware\<Dienstname>").

Dateiname

• Hier muss ein Dateiname eingegeben werden. Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Unterordner einschließen

• Bei Aktivierung der Checkbox werden auch Dateien aus Unterordnern erkannt und importiert.

Button “Dateiauswahl anzeigen”

• Über den Button “Dateiauswahl anzeigen” wird eine Liste von für den Import ausgewählten Dateien angezeigt.

• Bei Auswahl des Buttons "Dateiauswahl anzeigen" öffnet sich ein Dialog:

• Es wird in einem Anzeigefeld eine Vorschau der Liste der Dateien angezeigt, die beim Ausführen des Steps importiert werden z.B. D:\Test-StepDatei-Import\01_Personalliste.xlsx.

Über “Benutzerseitig zugewiesene verwaltete Identität”

• Diese Authentifizierung funktioniert nur, wenn auf den Azure Storage über eine Azure-Instanz von OCT zugegriffen wird - sie erfordert einige Einstellungen in der Azure Subscription.

• URL des Azure-Storage: Es erscheint ein Vorschlag, der das Format für die URL anzeigt. Hier muss die komplette URL des Azure-Storage eingegeben werden.

Über “Zugriffsschlüssel”

• Diese Methode wird üblicherweise gewählt.

• Storage-Kontoname: Name des Storage-Kontos

• Azure-Storage-Zugangsschlüssel: Hier muss ein Zugangsschlüssel für das Storage-Konto mit ausreichender Berechtigung eingegeben werden.

• Icon : Über das “Auge” kann das Passwort angezeigt werden.

• SAS-Token (Shared Access Signature) werden aktuell nicht unterstützt (z.B. sv=2022-11-02&ss=bfqt&srt=c&sp=…&se=2024-08-22T17:01:48Z&st=2024-08-22T09:01:48Z&spr=https&sig=… )

Containername

• Ein Container organisiert einen Satz von Blobs, ähnlich wie ein Verzeichnis in einem Dateisystem.

• Ein Storage-Konto kann eine unbegrenzte Anzahl von Containern enthalten, weshalb der Name des gewünschten Containers angegeben werden muss.

Unterordner

• Blobs können in Ordner oder Unterordner strukturiert sein.

• Der gewünschte Unterordner muss angegeben werden.

Dateiname

• Hier wird der Name der Excel-Datei eingegeben, aus welcher die Dateien importiert werden sollen.

• Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Button “Verbindung testen”

• Testet die erfolgreiche Verbindung zum Blob Storage.

Button “Dateiauswahl anzeigen”

• Über den Button “Dateiauswahl anzeigen” wird eine Liste für den Import ausgewählten Dateien angezeigt.

Sharename

• Für File Storages muss stattdessen der Sharename angegeben werden.

Unterordner

• Auch hier muss der spezifische Unterordner angegeben sein.

Dateiname

• Hier wird der Name der Excel-Datei eingegeben, aus welcher die Dateien importiert werden sollen.

• Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Button “Verbindung testen”

• Testet die erfolgreiche Verbindung zum File-Storage

Button “Dateiauswahl anzeigen”

• Über den Button “Dateiauswahl anzeigen” wird eine Liste für den Import ausgewählten Dateien angezeigt.

Dateien haben Kopfzeile

• Falls diese Option über die Checkbox aktiviert ist, werden die Feldnamen aus der Kopfzeile automatisch ausgelesen.

Excel-Tabellenblatt

• Hier können explizit bestimme Tabellenblätter importieren werden.

• Es ist wichtig, dass Tabellenblätter die gleiche Spaltenstruktur haben.

• Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

• Schwebt man mit der Maus über dem Icon , wird ein Tooltip angezeigt. Dies gilt für alle Tooltip-Icons.

Die folgenden Felder können nur bei einer CSV Datei bearbeitet werden:

Feldtrenner

• Der Feldtrenner beschreibt das Zeichen, welches in der Datei die einzelnen Spalten trennt. Bei CSV-Dateien ist das standardmäßig ein Semikolon.

Textbegrenzer

• Der Textbegrenzer ist ein Zeichen, welches Textspalten umgibt, um Anfang und Ende der Spalte zu markieren.

• Außerdem kann das Feld hierdurch auch das Feldtrennerzeichen enthalten.

• Standardmäßig sind hier Anführungszeichen vorausgewählt.

• Wenn die CSV-Dateien keine Textbegrenzer enthalten, hat dies keine negativen Folgen, solange sich das entsprechende Zeichen nicht am Anfang oder Ende einer Spalte befindet.

• Wenn kein Textbegrenzer angegeben ist, diese sich aber in der CSV-Datei befinden, werden sie beim Import in die Datenbank nicht entfernt.

Tausendertrennzeichen

• Manche CSV Dateien nutzen zur besseren Lesbarkeit ein Tausendertrennzeichen für Zahlen größer als Tausend (z.B. den Punkt bei 1.000).

• Damit große Zahlen korrekt importiert werden, muss das Tausendertrennzeichen korrekt angegeben werden.

Dezimaltrennzeichen

• Dezimaltrennzeichen sind genauso wie Tausendertrennzeichen nur quasi die Kommastelle: 1.000,99 → Tausendkommaneunundneunzig. In dem Fall ist das Komma das Dezimaltrennzeichen. Das ist die deutsche Schreibweise.

• In englischen Dateien ist es häufig andersrum, also 1,000.99 anstatt 1.000,99. Je nachdem, wie der Inhalt der Datei aussieht, muss man die Einstellungen korrekt setzen.

Encoding

• Kodierung der Datei, um Umlaute und Sonderzeichen korrekt zu importieren.

• Die Kodierung von CSV Dateien kann mit speziellen Text-Editoren wie z.B. Notepad++ angezeigt werden.

• In einem Drop-Down-Menü werden verschiedene Encoding angeboten. Das am häufigsten verwendete Encoding ist UTF-8 (Unicode Transformation Format - 8-bit) und ist die Grundeinstellung in diesem Step.

Zeilen überspringen

• Es kann ausgewählt werden, ob manche Zeilen nicht importiert werden sollen, wenn z.B. mehrere Kopfzeilen in einer Tabelle sind, aber nicht alle importiert werden sollen.

Importierte Felder

• Die Anzahl der Felder werden automatisch in eckigen Klammern auf dem Button angezeigt.

• Über die Buttons können die importierten Felder bearbeitet werden.

Button “Feldliste bearbeiten”

• Die vorhandenen Spalten der Tabelle werden automatisch ausgelesen. Die Spalten können hier umbenannt, der Zieldatentyp festgelegt oder einzelne Felder über die Checkboxen ausgeklammert werden.

• Bei Auswahl des Buttons "Feldliste bearbeiten" öffnet sich ein Dialog:

Tabelle:

• Checkboxen: Über die Checkboxen in der Menüleiste können alle oder einzelne Spalten aus- oder abgewählt werden.

• Aktualisieren: Über das Icon werden sämtliche manuellen Änderungen entfernt sowie die Feldnamen und Datentypen erneut aus der Quelldatei ausgelesen.

• Spaltenname Zieltabelle: Dieser kann hier verändert werden und muss eindeutig sein. Diese Feld muss ausgefüllt werden.

• Datentyp: Über ein Drop-down kann der Datentyp “Text, Zahl oder Datum” ausgewählt werden, je nachdem welche Daten in der Tabelle verfügbar sind.

Button “Zusatzfelder bearbeiten”

• Hier können zusätzliche Felder aufgenommen werden.

• Bei Auswahl des Buttons "Zusatzfelder bearbeiten" öffnet sich ein Dialog:

Tabelle:

• Zeile hinzufügen: Über das Icon kann eine neue Zeile hinzugefügt werden.

• Spaltennamen Zieltabelle: Über das Eingabefeld kann ein Spaltennamen eingegeben werden.

• Spaltentyp: Der gewünschte Spaltentyp (Dateipfad der Importdatei, Dateiname der Importdatei, Änderungsdatum der Importdatei, Fester Wert) kann über ein Drop-down-Menü ausgewählt werden.

• Löschen: Über das Icon kann die Zeile gelöscht werden.

Name der Zieltabelle

• Zieltabelle in der Datenbank, in welche die Daten importiert werden.

• Diese kann vom Benutzer angelegt werden oder automatisch über den Button “Zieltabelle generieren” generiert werden.

Zieltabelle vor jedem Import leeren

• Über eine Checkbox kann dies (de-)aktiviert werden.

Button “Tabelle generieren”

• Über diesen Button kann eine Tabelle generiert werden und über das Icon neben dem Button als SQL Befehl (ein Create table SQL Scripts) kopiert werden.

• Bei erfolgreichem Generieren erscheint eine kurze grün hinterlegte Meldung.

Verarbeitete Dateien archivieren

• Über eine Checkbox kann diese Funktion (de-)aktiviert werden. Bei Aktivierung werden die Dateien nach ihrem Import an eine andere Stelle verschoben.

Zeitstempel zum Dateinamen hinzufügen

• Über eine Checkbox kann diese Funktion (de-)aktiviert werden.

  • Bei Aktivierung wird der Zeitstempel des Importzeitpunkts automatisch zum Dateinamen hinzugefügt. Dies ist sinnvoll, wenn immer der gleiche Dateiname geliefert wird und man die Historie überprüfen will. Der Import der gleichen Datei überschreibt ansonsten die Datei im Archivordner.

Archivordner-Pfad

• Zeigt den Ordner an, in dem die archivierten Dateien abgelegt werden.

• Man kann diesen Pfad selbst definieren, allerdings sollte der Pfad nicht im Quellordnerpfad sein, wenn man auch Unterordner importiert.

• Das Eingabefeld unterstützt Platzhalter für Datumsangaben, die in eckigen Klammern stehen müssen z.B. “C:\ArchivOrdner\<yyyy>\<MM>” würde die Dateien in den Ordner “C:\ArchivOrdner\2024\06” verschieben, falls der Import im Juni 2024 ausgeführt wird.

• Wichtige Abkürzungen:

  • yyyy - Jahr

  • MM - Monat

  • dd - Tag

  • hh - Stunde

  • mm - Minute

• Eine vollständige Liste ist unter folgendem Link verfügbar: https://learn.microsoft.com/de-de/dotnet/standard/base-types/custom-date-and-time-format-strings

PreSQL

• SQL-Befehl, welcher vor dem Dateiimport in der OCT-Datenbank ausgeführt werden soll.

PostSQL

• SQL-Befehl, welcher nach dem Dateiimport in der OCT-Datenbank ausgeführt werden soll.