Leeren großer Dateien

[BenderD]

Hallo,

it depends...
on your hardware ressources
on your goals
SQL mit parallel Database feature könnte z.B.: durch Parallelisierung am schnellsten sein, bei höherem Ressourcenverbrauch!!!
Die Antwort lässt sich eigentlich nur durch messen (evt. Teile und hochrechnen) geben, alles andere ist im Prinzip mehr oder weniger gut geraten.

mfg

Dieter Bender

Hallo liebes Forum,

ich habe mal wieder eine Frage....

Im Zuge unses Jahresabschlusses müssen mehrere Dateien um die "Altlasten" bereinigt werden. Die Größe der Files liegt jeweils so zwischen 10 und 20 Millionen Datensätzen.
Die physischen Dateien sind ungeschlüsselt, darüber liegt jeweils eine logische Datei, die das Kriteriums-Feld im Schlüssel beeinhaltet (allerdings nicht als primary key).

Bsp.
PF: FeldA, FeldB, FeldC, FeldD
LF: K FeldA, K FeldC

Entfernt werden sollen alle Sätze mit z.B. FeldC<2000

Die Frage ist für uns, welcher Weg am schnellsten und wenigsten performanceträchtig ist - mit CPYF über Zwischendateien, SQL, Programme (RPG).

Hat jemand mit solchen grossen Dateien schon Erfahrungen gemacht (Fuerchau oder BenderD vielleicht ?).


Schon mal vorab vielen Dank.

Mirko Knoll

[procher]

Moin @MKnoll,
ich habe im Zuge von Datenreorganisierungen die Erfahrung gemacht, daß es manchmal sehr sinnvoll ist, alle LF, die man nicht benötigt, vor der Bearbeitung der PF zu löschen. Ich hatte eine PF mit 52 LF drauf und Millionen von Datensätzen. Nach Tests hat sich gezeigt, daß es am schnellsten läuft, wenn die LFs nicht da sind und zum Schluß wieder erstellt werden.

[BenderD]

Hallo,

für diesen Effekt müsste allerdings ein CHGLF MAINT(*RBLD) oder CHGLF MAINT(*DLY) eigentlich ausreichen, anschließend wieder zurück, versteht sich. Wobei die Frage "nicht benötigt" sich ja eigentlich erst später beantwortet.

mfg

Dieter Bender

Moin @MKnoll,
ich habe im Zuge von Datenreorganisierungen die Erfahrung gemacht, daß es manchmal sehr sinnvoll ist, alle LF, die man nicht benötigt, vor der Bearbeitung der PF zu löschen. Ich hatte eine PF mit 52 LF drauf und Millionen von Datensätzen. Nach Tests hat sich gezeigt, daß es am schnellsten läuft, wenn die LFs nicht da sind und zum Schluß wieder erstellt werden.