3.2.3.4. Datei-Import

Ordnerpfad

• Hier wird der Ordner angegeben, in welchem die zu verarbeiteten Excel-/CSV-Dateien enthalten sind. Der Pfad muss ein gültiger Pfad sein, der vom Server mit den Rechten des OCT Dienstes erreicht werden kann (Serverlaufwerk oder Netzlaufwerk).

Der OCT-Dienst muss lesenden Zugriff auf die angegebenen Excel-/CSV-Dateien besitzen. Es wird empfohlen die Datei im Datenpfad von OCT zu hinterlegen (Standard: "C:\ProgramData\Saxess Sofware\<Dienstname>").

Dateiname

• Hier muss ein Dateiname eingegeben werden. Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Unterordner einschließen

• Bei Aktivierung der Checkbox werden auch Dateien aus Unterordnern erkannt und importiert.

Button “Dateiauswahl anzeigen”

• Über den Button “Dateiauswahl anzeigen” wird eine Liste von für den Import ausgewählten Dateien angezeigt.

• Bei Auswahl des Buttons "Dateiauswahl anzeigen" öffnet sich ein Dialog:

• Es wird in einem Anzeigefeld eine Vorschau der Liste der Dateien angezeigt, die beim Ausführen des Steps importiert werden z.B. D:\Test-StepDatei-Import\01_Personalliste.xlsx.

Datenquelle

• Hier muss eine Datenquelle vom Typ “Azure Storage” ausgewählt werden. Mehr Informationen dazu: 3.2.1. Datenquellen | Datenquelle-hinzufügen-(a)

• Wenn mehrere Datenquellen vorhanden sind, können diese in einem Drop-down-Menü ausgewählt werden.

Unterordner

• Blobs können in Ordner oder Unterordner strukturiert sein.

• Falls notwendig, kann der Unterordner angegeben werden, in dem die zu importierenden Datei(en) abgelegt sind.

Beachten Sie die Groß- und Kleinschreibung beim Unterordnernamen.

Dateiname

• Hier wird der Name der Excel-Datei eingegeben, aus welcher die Dateien importiert werden sollen.

• Es können csv-, xls-, xlsx-, und entsprechend formatierte txt-Dateien eingelesen werden.

• Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

Beachten Sie die Groß- und Kleinschreibung beim Dateinamen.

Unterordner einschließen

• Bei Aktivierung der Checkbox werden auch Dateien aus Unterordnern erkannt und importiert.

Button “Verbindung testen”

• Testet die erfolgreiche Verbindung zum Blob-Storage.

Button “Dateiauswahl anzeigen”

• Über den Button “Dateiauswahl anzeigen” wird eine Liste von für den Import ausgewählten Dateien angezeigt.

Dateien haben Kopfzeile

• Falls diese Option über die Checkbox aktiviert ist, werden die Feldnamen aus der Kopfzeile automatisch ausgelesen.

Excel-Tabellenblatt

• Hier können explizit bestimme Tabellenblätter importieren werden.

• Es ist wichtig, dass Tabellenblätter die gleiche Spaltenstruktur haben.

• Es können zwei Platzhalter - das * für eine unbegrenzte Anzahl von Zeichen oder ein ? für ein Zeichen - benutzt werden.

• Schwebt man mit der Maus über dem Icon , wird ein Tooltip angezeigt. Dies gilt für alle Tooltip-Icons.

Die folgenden Felder können nur bei einer CSV Datei bearbeitet werden:

Feldtrenner

• Der Feldtrenner beschreibt das Zeichen, welches in der Datei die einzelnen Spalten trennt. Bei CSV-Dateien ist das standardmäßig ein Semikolon.

Es können auch andere Feldtrenner wie z.B. ein Tabulatorzeichen verwendet werden. Dieses muss aus der CSV-Datei kopiert und eingefügt werden. Das eingetragene Zeichen ist auf den ersten Blick nicht sichtbar. Der Import von Textdateien mit fester Spaltenbreite ist derzeit noch nicht möglich, diese müssen erst im Excel über die Funktion “Text in Spalten” aufgetrennt und mit einem Trennzeichen gespeichert werden.

Textbegrenzer

• Der Textbegrenzer ist ein Zeichen, welches Textspalten umgibt, um Anfang und Ende der Spalte zu markieren.

• Außerdem kann das Feld hierdurch auch das Feldtrennerzeichen enthalten.

• Standardmäßig sind hier Anführungszeichen vorausgewählt.

• Wenn die CSV-Dateien keine Textbegrenzer enthalten, hat dies keine negativen Folgen, solange sich das entsprechende Zeichen nicht am Anfang oder Ende einer Spalte befindet.

• Wenn kein Textbegrenzer angegeben ist, diese sich aber in der CSV-Datei befinden, werden sie beim Import in die Datenbank nicht entfernt.

Tausendertrennzeichen

• Manche CSV Dateien nutzen zur besseren Lesbarkeit ein Tausendertrennzeichen für Zahlen größer als Tausend (z.B. den Punkt bei 1.000).

• Damit große Zahlen korrekt importiert werden, muss das Tausendertrennzeichen korrekt angegeben werden.

Dezimaltrennzeichen

• Dezimaltrennzeichen sind genauso wie Tausendertrennzeichen nur quasi die Kommastelle: 1.000,99 → Tausendkommaneunundneunzig. In dem Fall ist das Komma das Dezimaltrennzeichen. Das ist die deutsche Schreibweise.

• In englischen Dateien ist es häufig andersrum, also 1,000.99 anstatt 1.000,99. Je nachdem, wie der Inhalt der Datei aussieht, muss man die Einstellungen korrekt setzen.

Encoding

• Kodierung der Datei, um Umlaute und Sonderzeichen korrekt zu importieren.

• Die Kodierung von CSV Dateien kann mit speziellen Text-Editoren wie z.B. Notepad++ angezeigt werden.

• In einem Drop-Down-Menü werden verschiedene Encoding angeboten. Das am häufigsten verwendete Encoding ist UTF-8 (Unicode Transformation Format - 8-bit) und ist die Grundeinstellung in diesem Step.

Zeilen überspringen

• Es kann ausgewählt werden, ob manche Zeilen nicht importiert werden sollen, wenn z.B. mehrere Kopfzeilen in einer Tabelle sind, aber nicht alle importiert werden sollen.

Importierte Felder

• Die Anzahl der Felder werden automatisch in eckigen Klammern auf dem Button angezeigt.

• Über die Buttons können die importierten Felder bearbeitet werden.

Button “Feldliste bearbeiten”

• Die vorhandenen Spalten der Tabelle werden automatisch ausgelesen. Die Spalten können hier umbenannt, der Zieldatentyp festgelegt oder einzelne Felder über die Checkboxen ausgeklammert werden.

• Bei Auswahl des Buttons "Feldliste bearbeiten" öffnet sich ein Dialog:

Menüleiste

• Über die Checkbox “Alle auswählen” in der Menüleiste können alle Zeilen der Tabelle auf einmal ausgewählt werden.

• Über die Checkbox “Alle abwählen” in der Menüleiste können alle Zeilen der Tabelle auf einmal abgewählt werden.

• Über das Icon “Daten neu laden” werden sämtliche manuellen Änderungen entfernt sowie die Feldnamen und Datentypen erneut aus der Quelldatei ausgelesen.

Tabelle / Spaltenüberschriften

• Über die Checkbox kann eine einzelne oder mehrere Zeilen der Tabelle ausgewählt werden.

• Position in Importdatei: Die Zahl zeigt die Position der Spalte in der importierten Datei an.

• Spaltenname Zieltabelle: Dieser kann hier verändert werden und muss eindeutig sein. Diese Feld muss ausgefüllt werden.

• Datentyp: Über ein Drop-down kann der Datentyp “Text”, ”Dezimalzahl”, ”Datum” oder ”Ganzzahl (integer)” ausgewählt werden, je nachdem welche Daten in der Tabelle verfügbar sind.

Button “Zusatzfelder bearbeiten”

• Hier können zusätzliche Felder aufgenommen werden.

• Bei Auswahl des Buttons "Zusatzfelder bearbeiten" öffnet sich ein Dialog:

Menüleiste

• Icon “Feld hinzufügen”: Über das Icon kann ein neues Feld hinzugefügt werden.

Tabelle / Spaltenüberschriften

• Spaltenname Zieltabelle: Über das Eingabefeld kann ein Spaltennamen eingegeben werden.

• Spaltentyp: Der gewünschte Spaltentyp (Dateipfad der Importdatei, Dateiname der Importdatei, Änderungsdatum der Importdatei, Fester Wert) kann über ein Drop-down-Menü ausgewählt werden.

• Icon “Löschen: Über das Icon kann die Zeile gelöscht werden.

Name der Zieltabelle

• Zieltabelle in der Datenbank, in welche die Daten importiert werden.

• Es sollte immer das Schema, hier z.B. “integration”, und der Name der Tabelle, hier z.B. “tPersonalliste”, angegeben werden.

• Die Zieltabelle kann vom Benutzer angelegt werden oder automatisch über den Button “Zieltabelle generieren” generiert werden.

Checkbox “Zieltabelle vor jedem Import leeren”

• Über eine Checkbox kann dies (de-)aktiviert werden.

Button “Zieltabelle generieren”

• Über diesen Button kann eine Tabelle generiert werden.

• Die Zieltabelle wird mit den Spalten aus der Feldliste erstellt und der zusätzlichen Spalte “RowKey”, die als Primärschlüssel dient.

• Bei erfolgreichem Generieren erscheint eine kurze grün hinterlegte Meldung.

Button “Vorschau der Zieltabelle anzeigen”

• Bei Auswahl dieses Buttons öffnet sich ein Dialog mit einer Vorschau der Zieltabelle, in welcher auch eine Gruppierung vorgenommen werden kann.

• Es muss zuerst die Pipeline ausgeführt werden, damit die Zieltabelle mit Daten befüllt ist und diese in der Vorschau angezeigt werden.

Icon “Kopieren”

• Über das Icon neben dem Button kann der CREATE TABLE Befehl für die Tabelle kopiert und an anderer Stelle (z.B. im SQL Server Management Studio) verwendet werden.

Icon “Zieltabellendefinition anzeigen”

• Es öffnet sich ein Dialog mit dem CREATE TABLE Befehl für die Zieltabelle.

• Der SQL-Befehl kann hier bearbeitet, ausgeführt und kopiert werden.

Verarbeitete Dateien archivieren

• Über eine Checkbox kann diese Funktion (de-)aktiviert werden. Bei Aktivierung werden die Dateien nach ihrem Import an eine andere Stelle verschoben.

Zeitstempel zum Dateinamen hinzufügen

• Über eine Checkbox kann diese Funktion (de-)aktiviert werden.

• Bei Aktivierung wird der Zeitstempel des Importzeitpunkts automatisch zum Dateinamen hinzugefügt. Dies ist sinnvoll, wenn immer der gleiche Dateiname geliefert wird und man die Historie überprüfen will. Der Import der gleichen Datei überschreibt ansonsten die Datei im Archivordner.

Archivordner-Pfad

• Zeigt den Ordner an, in dem die archivierten Dateien abgelegt werden.

• Man kann diesen Pfad selbst definieren, allerdings sollte der Pfad nicht im Quellordnerpfad sein, wenn man auch Unterordner importiert.

• Das Eingabefeld unterstützt Platzhalter für Datumsangaben, die in eckigen Klammern stehen müssen z.B. “C:\ArchivOrdner\<yyyy>\<MM>” würde die Dateien in den Ordner “C:\ArchivOrdner\2024\06” verschieben, falls der Import im Juni 2024 ausgeführt wird.

• Wichtige Abkürzungen:

  • yyyy - Jahr

  • MM - Monat

  • dd - Tag

  • hh - Stunde

  • mm - Minute

• Eine vollständige Liste ist unter folgendem Link verfügbar: https://learn.microsoft.com/de-de/dotnet/standard/base-types/custom-date-and-time-format-strings

PreSQL

• SQL-Befehl, welcher vor dem Dateiimport in der OCT-Datenbank ausgeführt werden soll.

PostSQL

• SQL-Befehl, welcher nach dem Dateiimport in der OCT-Datenbank ausgeführt werden soll.

Icon “SQL-Editor öffnen”

• Mit einem Linksklick auf das Icon kann ein separater Dialog mit einem vergrößerten SQL-Editor für PreSQL oder für PostSQL geöffnet werden.