-
Formel zur Berechnung von I-O Operationen
Guten Tag,
ich habe zur Zeit folgendes Problem.
Ich habe ca 200 Millionen Datensätze einer Datei X ind eine Datei Y zu übernehmen. Die eigentliche Übernahme ist vergleichsweise simpel. Ein Problem stellt vor allem die Laufzeit dar.
Ich suche nach einer Formel, die mir einen Anhaltspunkt gibt, wie lange die Übernahme dauern könnte.
Ich besitze die technischen Spezifikationen des Massenspeichers und CPW Werte etc.
Mein Problem ist es zu berücksichtigen, wie lange es dauert einen weiteren Satz in die DB/400 zu schreiben, wenn es sich um eine entsprechend bereits gefüllte Datei mit diversen logischen Sichten handelt. (Die Anzahl der Datensätze ist in etwa bekannt [+- 100.000], die Anzahl der logischen Sichten ebenfalls).
Hat sich schon einmal mit der Berechnung eines solchen Vorgangs herumschlagen müssen und nun irgendwelche nutzbaren Erfahrungswerte?
Für alle Ideen etc. bin ich wie immer sehr Dankbar.
-
Derzeit habe ich immer die Zeit gestoppt
Hallo,
derzeit mache ich das in Testläufen.
Zum Beispiel werden nur 1000 oder 10000 etc. Datensätze
verarbeitet.
Ich notiere mir die Anfangs und Endzeit und rechne das entsprechend hoch.
Wenn es dafür auch eine elegantere Lösung gibt, würde mich das auch sehr interessieren.
Gruss Thomas
-
Zitat von tfroehlich
Hallo,
...
Ich notiere mir die Anfangs und Endzeit und rechne das entsprechend hoch.
...
Gruss Thomas
Das Problem dabei ist, dass der Zeitverbrauch bei unterschiedlicher Befüllung der Datei extrem unterschiedlich ist. Ich habe leider nicht genügend Platz im Testsystem, um die Datei dort "gefüllt" auszuprobieren und kann auch nicht testweise im Produktivsystem "herumprobieren".
-
Hallo,
das teure dabei sind die Indexe. Bei solchen Massen lohnt es sich ggf. die Indexe zu löschen und wenn man fertig ist wieder aufzubauen - das Daten füllen geht dann vieel schneller, nur ist beim Index-Aufbau die Maschine eine Weile beschäftigt und in dieser Zeit ist der Index (und damit die Anwendung) nicht verfügbar.
Trotzdem haben wir es idR. so gemacht für Reorg von Buchhaltungsdaten (ging so ca. 20 std, mit angehängten Indexen hätte es mind. mehrere Tage benötigt).
Eine Faustformel, wie lange was dauert, kann ich Dir aber auch nicht geben, hängt wohl auch stark vom Hauptspeicher ab.
Gruß
Christian
-
Vor allen Dingen sollte FRCWRITE solange abgeschaltet werden.
-
Zitat von cbe
Hallo,
das teure dabei sind die Indexe. Bei solchen Massen lohnt es sich ggf. die Indexe zu löschen und wenn man fertig ist wieder aufzubauen - das Daten füllen geht dann vieel schneller, nur ist beim Index-Aufbau die Maschine eine Weile beschäftigt und in dieser Zeit ist der Index (und damit die Anwendung) nicht verfügbar.
Trotzdem haben wir es idR. so gemacht für Reorg von Buchhaltungsdaten (ging so ca. 20 std, mit angehängten Indexen hätte es mind. mehrere Tage benötigt).
Eine Faustformel, wie lange was dauert, kann ich Dir aber auch nicht geben, hängt wohl auch stark vom Hauptspeicher ab.
Gruß
Christian
Genau das ist das Problem, wenn ich berechnen kann, dass ich an einem langen Wochenende (z.B. Pfingsten) die Daten mit nur einer log. Sicht übernommen bekomme und danach die Zeit ausreicht alle anderen benötigten 14 [SIC!] logischen Sichten aufzubauen würde ich es gerne so machen. Wenn nicht muss ich das Produktivsystem für etwig und drei Tage mit der Übernahme belasten...
Und dann noch die unausweichliche Frage des Dummies, was bitte ist FRCWRITE, und wie stelle ich es aus?
Verwirrt und Ahnungslos, aber voller Hochachtung vor allen klugen Tipps.
Burkhard
-
Zitat von Burkhard
...Und dann noch die unausweichliche Frage des Dummies, was bitte ist FCWRITE, und wie stelle ich es aus?...
ich glaube, damit ist FRCRATIO gemeint. Siehe CRTPF bzw. CRTLF
k.
-
Zitat von Burkhard
Genau das ist das Problem, wenn ich berechnen kann, dass ich an einem langen Wochenende (z.B. Pfingsten) die Daten mit nur einer log. Sicht übernommen bekomme und danach die Zeit ausreicht alle anderen benötigten 14 [SIC!] logischen Sichten aufzubauen würde ich es gerne so machen. Wenn nicht muss ich das Produktivsystem für etwig und drei Tage mit der Übernahme belasten...
Und dann noch die unausweichliche Frage des Dummies, was bitte ist FRCWRITE, und wie stelle ich es aus?
Verwirrt und Ahnungslos, aber voller Hochachtung vor allen klugen Tipps.
Burkhard
Aha, habe gerade herausbekommen, das damit die Blockung im Systemcache beeinflusst wird.
Danke.
-
Zitat von Burkhard
... Wenn nicht muss ich das Produktivsystem für etwig und drei Tage mit der Übernahme belasten...
...
und mit einer evtl. laufenden Sicherung hast Du während dieser ewig+3Tage kein Problem?
Überrede doch mal die entsprechenden Leute, dass Du im Produktiv-System 1 Idx übers Wochenende testweise neu aufbauen darfs, das gibt meiner Meinung nach die beste Zeitschätzung.
Nicht alle Indexe dauern gleichlang, manchmal scheint das System auf bereits bestehende zurückgreifen zu können. Ich würde einen mit großer Objektgröße nehmen.
Eine PF kann übrigens bereits einen Index enthalten, den kannst Du (soweit ich weiß) leider nicht temporär löschen, der würde in jedem Fall bremsen.
Gruß,
Christian
-
Zitat von cbe
und mit einer evtl. laufenden Sicherung hast Du während dieser ewig+3Tage kein Problem?
...
Eine PF kann übrigens bereits einen Index enthalten, den kannst Du (soweit ich weiß) leider nicht temporär löschen, der würde in jedem Fall bremsen.
Gruß,
Christian
Die PF sind "sauber" und die Datensicherung ist ein ernstes Problem.
Voraussichtlich muss die Datei in einem anderen Verzeichnis bearbeitet werden das nicht gesichert wird. Und, ja, mir ist auch schon schlecht bei dem Gedanken, dass etwas passieren könnte!
Ein leines bisschen verzweifelt
Burkhard
-
Selbst auf einem schnellen System (bis 1000 Sätze/Sek. gepuffert), wirst du wohl ca. 48 Stunden benötigen.
Da lohnt es sich ggf. das Ganze in Häppchen durchzuführen.
-
Häppchenweise macht natürlich nur mit angehängten Indexen Sinn.
Bevor Du aber die Sicherung umgehst, schreib lieber ein Kopierprogramm, dass Satz für Satz nimmt, kopiert und aus der Quelldatei herauslöscht, und das z.B. alle 1000 Sätze prüft, ob ein Datenbereich auf "X" steht.
Hiermit kannst Du kurz vor der Sicherung die Datei entsperren, und den Kopierjob gleich nach der Sicherung wieder anlaufen lassen.
So kannst Du auch steuern, dass tagsüber das Ding nicht läuft, weil die Anwender sich wahrscheinlich reihenweise über die Performance beschweren würden.
Ich würde auf jeden Fall prüfen, ob die Indexe neu aufzubauen nicht doch möglich ist.
Gruß
Christian
Similar Threads
-
By RolandScherieble in forum IBM i Hauptforum
Antworten: 4
Letzter Beitrag: 05-05-03, 20:00
-
By Bau in forum IBM i Hauptforum
Antworten: 2
Letzter Beitrag: 05-12-02, 16:43
-
By sho1 in forum IBM i Hauptforum
Antworten: 5
Letzter Beitrag: 04-12-02, 18:55
-
By Krieg in forum IBM i Hauptforum
Antworten: 4
Letzter Beitrag: 19-02-02, 06:56
-
By Krieg in forum IBM i Hauptforum
Antworten: 2
Letzter Beitrag: 15-02-02, 15:28
Berechtigungen
- Neue Themen erstellen: Nein
- Themen beantworten: Nein
- You may not post attachments
- You may not edit your posts
-
Foren-Regeln
|
Erweiterte Foren Suche
Google Foren Suche
Forum & Artikel Update eMail
AS/400 / IBM i
Server Expert Gruppen
Unternehmens IT
|
Kategorien online Artikel
- Big Data, Analytics, BI, MIS
- Cloud, Social Media, Devices
- DMS, Archivierung, Druck
- ERP + Add-ons, Business Software
- Hochverfügbarkeit
- Human Resources, Personal
- IBM Announcements
- IT-Karikaturen
- Leitartikel
- Load`n`go
- Messen, Veranstaltungen
- NEWSolutions Dossiers
- Programmierung
- Security
- Software Development + Change Mgmt.
- Solutions & Provider
- Speicher – Storage
- Strategische Berichte
- Systemmanagement
- Tools, Hot-Tips
Auf dem Laufenden bleiben
|
Bookmarks