Dokumentation und Datenflussdiagramme
Durch eine INI-Datei mit der INI-Sektion OVERVIEW werden alle Konverter, Exporter, Datenversendungen, Datenabholungen, Grafikproduktionen ([KIGRAPHCREATOR]) und sonstigen Jobs zusammengefasst und als HTML-Datei ausgegeben.
Die INI-Option XML_kidsm beinhaltet den Pfad zu der Datei AUTO-custom.xml. Mit der INI-Option INI_files werden die direkten Pfaden zu den INI-Dateien angegeben werden.
powershell
prozessing.pyz ini/overview.iniINI-Datei: OVERVIEW
ini
[OVERVIEW]
INI_files = /TBBM/PROZESSING/ini/*.ini
REGEX = ... # Regulärer Ausdruck zum Filtern von INI-Dateien und Jobs
DEST = /TBBM/README.html
DEST_PDF = /TBBM/README.pdf
FAILED = /Daten/failed/*
XML_kidsm = /kisters/wiski/services/kidsm/conf/AUTO-custom.xml
GLOBAL_GRAPH = 0|1 # 1 zeichnet zusätzlich einen globalen Graphen aller Prozesse
FORCE_EXIT_0 = 0|1 # 1 erzwingt einen Exit Status 0
LOGFILE = logs/{file}_{date}.log # Ort der Laufprotokolle des Schedulers (default wie --logfile)
RUNS_DAYS = 7 # Anzahl der ausgewerteten Tage der Laufprotokolle
FILES_DAYS = 30 # Anzahl der ausgewerteten Tage der Dateiprotokolle
TASK_PATH = \TBBM\* # Tasks der Windows Aufgabenplanung auswerten (siehe unten)
;bootstrap_css = https://cdn.jsdelivr.net/npm/bootstrap@5/dist/css/bootstrap.min.css
;bootstrap_css = /TBBM/PROZESSING/data/bootstrap.min.css
;mermaid_js = https://cdn.jsdelivr.net/npm/mermaid@10/dist/mermaid.min.js
;mermaid_js = /TBBM/PROZESSING/data/mermaid.min.jsAuswertung des Schedulers
Liegen Laufprotokolle des Schedulers vor, zeigt die Übersicht zusätzlich eine Tabelle aller INI-Dateien sowie bei jeder INI-Datei:
Zeitplan(OnCalendarbzw.kein [timer]für INI-Dateien, die nicht ausgeführt werden)Verlaufder letzten 24 Läufe: ✓ ok, ✗ fehlgeschlagen, ⧖ abgebrochen, ↷ übersprungen (Details per Mauszeiger)- Anzahl der Läufe in den letzten 24 Stunden und Erfolgsquote der letzten
RUNS_DAYSTage - letzter erfolgreicher Lauf und letzter Fehler
- Anzahl der in den letzten 24 Stunden abgeholten, versendeten und konvertierten Dateien
Als Problem (siehe OVERVIEW_MAILER) gemeldet werden ein fehlgeschlagener letzter Lauf, ein ausbleibender Lauf sowie eine ungültige [timer]-Sektion.
Ampel
Jede INI-Datei erhält eine Ampel (Gründe per Mauszeiger), in der Scheduler-Tabelle sowie im Kopf ihrer Karte:
- rot: letzter Lauf fehlgeschlagen bzw. abgebrochen, ausbleibender Lauf, ungültige
[timer]-Sektion, Dateien imFAILED-Verzeichnis - gelb: Verzeichnis älter als
EXPECT_INTERVALbzw. zu viele alte Dateien (*_MONITORING), Warnungen und Fehler im heutigen Loglogs/{file}_{date}.log, gestern weniger als halb bzw. mehr als doppelt so viele Dateien oder ZRXP-Blöcke wie üblich (Median der letztenFILES_DAYSTage, nur Ampel, keine Meldung) - grün: sonst
EXPECT_INTERVAL (z. B. 3h, 4d) kann neben [CONV] auch bei Datenabholungen ([ftp_in], [sftp_in], [web_in]) sowie bei Jobs mit DEST (z. B. [KIGRAPHCREATOR]) angegeben werden und prüft dann das Verzeichnis to bzw. DEST.
Die INI-Option WIKI wird nun bei allen Jobs als Dokumentation angezeigt.
INI-Datei OVERVIEW_MAILER
Detektierte Probleme können – via Windows Task Scheduler beispielsweise einmal täglich – per E-Mail notifiziert werden. Dazu ist zusätzlich eine INI-Sektion [OVERVIEW_MAILER] notwendig.
Für die einzelnen Konverter-Jobs [CONV] werden die Optionen EXPECT_INTERVAL, SPOOL_MONITORING, DEST_MONITORING FAILED_MONITORING ausgewertet.
ini
[OVERVIEW_MAILER]
from = wiski@example.com
to = office@example.com
subject = Probleme am wiski.example.com
smtp_host = smtp.example.com
smtp_port =
smtp_user =
smtp_pass =Detailseite je INI-Datei
Neben DEST (z. B. README.html) wird je INI-Datei eine Detailseite README/{file}.html geschrieben, verlinkt über Details im Kopf der Karte:
- Ampel samt Gründen
- Läufe der letzten
RUNS_DAYSTage aus dem Laufprotokoll - Dateien pro Tag der letzten
FILES_DAYSTage aus dem Dateiprotokoll: abgeholt, versendet, konvertiert, fehlerhaft, ZRXP-Blöcke, Austauschnummern, Werte - die letzten 1000 Dateien mit Quelle, Größe, Besitzer, Ziel, Austauschnummern und Fehler
- Warnungen und Fehler im heutigen Log
Auswertung der Windows Aufgabenplanung
Mit TASK_PATH (z. B. \TBBM\*) werden die Tasks der Windows Aufgabenplanung per PowerShell (Get-ScheduledTask, Get-ScheduledTaskInfo) gelesen und in einer Tabelle sowie bei der jeweiligen INI-Datei (aus den Argumenten des Tasks) angezeigt:
Zustand(Ready,Running,Disabled)Intervall:5malle 5 min,1d/5mtäglich und wiederholen alle 5 min,1d/17:10täglich um 17:10 Uhr,nie!kein aktiver Trigger- letzter Lauf mit
Ergebnis(ok,läuft,noch nie gelaufenbzw. der Exit-Status wie0x1) und nächster Lauf
Rot (und als Problem gemeldet) wird ein Task mit fehlgeschlagenem letzten Lauf oder einem um mehr als 15 Minuten verpassten nächsten Lauf, gelb ein deaktivierter Task.
ini
[OVERVIEW]
TASK_PATH = \TBBM\*