verschiedene Jobs gleiche Datei, schreib / lese konflikt?

[BenderD]

... und wieviel Zeit könnten die beitragen? Lass mich raten: allenfalls eine Millisekunde pro Aufruf, macht weniger als eine Minute für 40.000

D*B

[dibe]

Die ersten 2 Pgmme sind uralt OPM Schinken die zunächst eine Statistik Datei erstellen (PGM1) und innerhalb der Datei anschl. von verschiedenen 'gleichen' Sätzen den gültigen kennzeichnen(Pgm2)
Lief früher einmal am Monatsende, auf 1,8 Mio Datensätze ca 8 Stunden.
Da weiß niemand was die damalige Aufgabe für Feinheiten hatte, das darf niemand ändern!

Das 3. ist eine Komplexe Data Ware House Aufbereitung auf Basis der Statistik.
Lief bisher auch 1 mal am Monats ende
Hat für die zur Verfügung Stellung von 88 mio Sätzen verteilt auf 10 Dateien 18 Stunden benötigt.
Das sind 'nur' 1358 Sätze/Sekunde. Dazu wurde aus rd 17 Dateien Daten gelesen, summiert und gezählt. Ein bunter mix aus Sql und native zugriffen

Bei der neuen Anforderung laufen alle 2 Pgmme immer nur für einen Key, also minimal 1 Satz, maximal 10 Sätze. Hinzu gekommen ist, das zunächst aus allen Dateien die alten Sätze als Löschung gekennzeichnet werden um dann ggf via update wieder entlöscht zu werden. Das dauert alles.
Werde morgen denn 1 Parallel Lauf testen lassen.
DiBe

[Fuerchau]

Da sollte man eher über eine vernünftige BI-Lösung nachdenken und den alten Kram abschalten.

[dibe]

das wird gemacht, um eine 'vernünftige' BI Lösung zu füttern

[Fuerchau]

Tut mir leid, aber das kann ich nicht glauben.
Eine "vernünftige" BI kann auf die nativen Daten zugreifen und benötigt keine Verarbeitungsschritte dieser Art.