Skip to content

Dokumentation und Datenflussdiagramme ​

Durch eine INI-Datei mit der INI-Sektion OVERVIEW werden alle Konverter, Exporter, Datenversendungen, Datenabholungen, Grafikproduktionen ([KIGRAPHCREATOR]) und sonstigen Jobs zusammengefasst und als HTML-Datei ausgegeben.

Die INI-Option XML_kidsm beinhaltet den Pfad zu der Datei AUTO-custom.xml. Mit der INI-Option INI_files werden die direkten Pfaden zu den INI-Dateien angegeben werden.

powershell
prozessing.pyz ini/overview.ini

INI-Datei: OVERVIEW ​

ini
[OVERVIEW]
INI_files = /TBBM/PROZESSING/ini/*.ini
REGEX = ... # Regulärer Ausdruck zum Filtern von INI-Dateien und Jobs
DEST = /TBBM/README.html
DEST_PDF = /TBBM/README.pdf
FAILED = /Daten/failed/*
XML_kidsm = /kisters/wiski/services/kidsm/conf/AUTO-custom.xml
GLOBAL_GRAPH = 0|1  # 1 zeichnet zusätzlich einen globalen Graphen aller Prozesse
FORCE_EXIT_0 = 0|1  # 1 erzwingt einen Exit Status 0
LOGFILE = logs/{file}_{date}.log  # Ort der Laufprotokolle des Schedulers (default wie --logfile)
RUNS_DAYS = 7  # Anzahl der ausgewerteten Tage der Laufprotokolle
FILES_DAYS = 30  # Anzahl der ausgewerteten Tage der Dateiprotokolle
TASK_PATH = \TBBM\*  # Tasks der Windows Aufgabenplanung auswerten (siehe unten)
;bootstrap_css = https://cdn.jsdelivr.net/npm/bootstrap@5/dist/css/bootstrap.min.css
;bootstrap_css = /TBBM/PROZESSING/data/bootstrap.min.css
;mermaid_js = https://cdn.jsdelivr.net/npm/mermaid@10/dist/mermaid.min.js
;mermaid_js = /TBBM/PROZESSING/data/mermaid.min.js

Auswertung des Schedulers ​

Liegen Laufprotokolle des Schedulers vor, zeigt die Übersicht zusätzlich eine Tabelle aller INI-Dateien sowie bei jeder INI-Datei:

  • Zeitplan (OnCalendar bzw. kein [timer] für INI-Dateien, die nicht ausgeführt werden)
  • Verlauf der letzten 24 Läufe: ✓ ok, ✗ fehlgeschlagen, ⧖ abgebrochen, ↷ übersprungen (Details per Mauszeiger)
  • Anzahl der Läufe in den letzten 24 Stunden und Erfolgsquote der letzten RUNS_DAYS Tage
  • letzter erfolgreicher Lauf und letzter Fehler
  • Anzahl der in den letzten 24 Stunden abgeholten, versendeten und konvertierten Dateien

Als Problem (siehe OVERVIEW_MAILER) gemeldet werden ein fehlgeschlagener letzter Lauf, ein ausbleibender Lauf sowie eine ungültige [timer]-Sektion.

Ampel ​

Jede INI-Datei erhält eine Ampel (Gründe per Mauszeiger), in der Scheduler-Tabelle sowie im Kopf ihrer Karte:

  • rot: letzter Lauf fehlgeschlagen bzw. abgebrochen, ausbleibender Lauf, ungültige [timer]-Sektion, Dateien im FAILED-Verzeichnis
  • gelb: Verzeichnis älter als EXPECT_INTERVAL bzw. zu viele alte Dateien (*_MONITORING), Warnungen und Fehler im heutigen Log logs/{file}_{date}.log, gestern weniger als halb bzw. mehr als doppelt so viele Dateien oder ZRXP-Blöcke wie üblich (Median der letzten FILES_DAYS Tage, nur Ampel, keine Meldung)
  • grün: sonst

EXPECT_INTERVAL (z. B. 3h, 4d) kann neben [CONV] auch bei Datenabholungen ([ftp_in], [sftp_in], [web_in]) sowie bei Jobs mit DEST (z. B. [KIGRAPHCREATOR]) angegeben werden und prüft dann das Verzeichnis to bzw. DEST.

Die INI-Option WIKI wird nun bei allen Jobs als Dokumentation angezeigt.

INI-Datei OVERVIEW_MAILER ​

Detektierte Probleme können – via Windows Task Scheduler beispielsweise einmal täglich – per E-Mail notifiziert werden. Dazu ist zusätzlich eine INI-Sektion [OVERVIEW_MAILER] notwendig.

Für die einzelnen Konverter-Jobs [CONV] werden die Optionen EXPECT_INTERVAL, SPOOL_MONITORING, DEST_MONITORING FAILED_MONITORING ausgewertet.

ini
[OVERVIEW_MAILER]
from = wiski@example.com
to = office@example.com
subject = Probleme am wiski.example.com
smtp_host = smtp.example.com
smtp_port =
smtp_user =
smtp_pass =

Detailseite je INI-Datei ​

Neben DEST (z. B. README.html) wird je INI-Datei eine Detailseite README/{file}.html geschrieben, verlinkt über Details im Kopf der Karte:

  • Ampel samt Gründen
  • Läufe der letzten RUNS_DAYS Tage aus dem Laufprotokoll
  • Dateien pro Tag der letzten FILES_DAYS Tage aus dem Dateiprotokoll: abgeholt, versendet, konvertiert, fehlerhaft, ZRXP-Blöcke, Austauschnummern, Werte
  • die letzten 1000 Dateien mit Quelle, Größe, Besitzer, Ziel, Austauschnummern und Fehler
  • Warnungen und Fehler im heutigen Log

Auswertung der Windows Aufgabenplanung ​

Mit TASK_PATH (z. B. \TBBM\*) werden die Tasks der Windows Aufgabenplanung per PowerShell (Get-ScheduledTask, Get-ScheduledTaskInfo) gelesen und in einer Tabelle sowie bei der jeweiligen INI-Datei (aus den Argumenten des Tasks) angezeigt:

  • Zustand (Ready, Running, Disabled)
  • Intervall: 5m alle 5 min, 1d/5m täglich und wiederholen alle 5 min, 1d/17:10 täglich um 17:10 Uhr, nie! kein aktiver Trigger
  • letzter Lauf mit Ergebnis (ok, läuft, noch nie gelaufen bzw. der Exit-Status wie 0x1) und nächster Lauf

Rot (und als Problem gemeldet) wird ein Task mit fehlgeschlagenem letzten Lauf oder einem um mehr als 15 Minuten verpassten nächsten Lauf, gelb ein deaktivierter Task.

ini
[OVERVIEW]
TASK_PATH = \TBBM\*