PROZESSING-Standards

Ordnerstruktur des Datentransfers

Folgende Ordnerstruktur und Namensschemata werden für die Konvertierung und den Datentransfer vorgeschlagen:

Datenweg	Beschreibung
D:\Daten\arch\foo	Für die Archivierung der Originaldateien
D:\Daten\export\foo	Für Datenexporte
D:\Daten\failed_conv\foo	Wenn das Failedconverter-Ordner in der INI-Datei spezifiziert ist, werden Dateien bei denen die Konvertierung fehl schlägt hierhin verschoben, ansonsten bleiben sie im Spool-Ordner liegen.
D:\Daten\failed\foo	Wenn als Backend eine WISKI-Datenbank verwendet wird, werden Dateien deren Import fehlgeschlagen ist hierhin geschrieben.
D:\Daten\ftp_in\foo	Ordner mit entsprechenden Unterordnern für Daten die über Datenabholung ins System gelangen und nicht direkt ins spool geschrieben werden
D:\Daten\ftp_out\foo	Ordner mit entsprechenden Unterordnern für die Datenübertragung auf externe FTP-Server
D:\Daten\spool\foo	Spoolordner mit Unterordner für die verschiedenen Datenwege
D:\Daten\spool\foo.zrxp	Spoolordner mit Unterordner für Daten die noch optimiert werden sollen
D:\Daten\zrxp_import\foo	Ordner enthalten fertig konvertierte Dateien die direkt importiert werden können

INI-Dateien

Beim Erstellen der INI-Dateien müssen folgenden Punkte beachtet werden:

• Die Dateien müssen in UTF-8 kodiert werden
• Angabe von mehreren Pfaden und URLs durch neue Zeile mit Tabulator einrücken, Beispiele unter Datenabholung.

INI-Dateien beinhalten die Konfiguration der unterschiedlichen Konverter und Tools und werden unter D:\TBBM\PROZESSING\ini abgelegt. Hier einige Beispiele für die Namensgebung:

Tool	INI-Datei
runConverter	conv_$FORMAT.ini
deleteFilesOlderThen	delete_$NAME.ini
exporter	export_$DATENEMPFÄNGER.ini
file_fetcher	ftp_in_$DATENLIEFERANT.ini
file_sender	ftp_out_$DATENEMPFÄNGER.ini
web_in	web_$NAME.ini

Wenn es für dasselbe Datenformat mehrere Datenwege bzw. Datenlieferanten gibt, so wird ein zusätzliches Kürzel des Datenlieferanten in den INI-Dateinamen aufgenommen, z. B.

• conv_bafu_gprssommer.ini
• conv_oebb_gprssommer.ini
• ...

Beispiel: Datenweg

Daten im gprssommer-Format werden vom FTP-Server des Datenlieferanten abgeholt, ins ZRXP-Format konvertiert und archiviert. Die ZRXP-Dateien werden über den KiDSM in die WISKI-Datenbank importiert (https://www.kisters.de/geschaeftsbereiche/wasser/).

• Datenabholung
  • INI-Datei D:\TBBM\PROZESSING\ini\FTP_in_gprssommer.ini
  • Scheduled Task unter TBBM\FTP_in\FTP_in_gprssommer
  • Daten landen in D:\Data\spool\gprssommer
  • Logdatei D:\TBBM\logs\FTP_in_gprssommer.log
• Datenkonvertierung
  • INI-Datei D:\TBBM\PROZESSING\ini\conv_gprssommer.ini
  • Scheduled Task unter TBBM\conv\conv_gprssommer
  • konvertierte Dateien landen in D:\Data\zrxp_import\grpssommer
  • Archivordner für Originaldateien D:\Data\arch\gprssommer
  • Fehlerhafte Dateien werden nach D:\Data\failed_conv\gprssommer verschoben
• Datenimport durch KiDSM (Backend WISKI)
• Fehlerhafte Dateien landen in D:\Data\failed\gprssommer