65k Dateifeld oder wie lese ich eine Datei direkt aus dem IFS ein.

[Andreas_Prouza]

Hier noch etwas vereinfacht:

With csv2rows as (Select Element as Satz             from Table(SYSTOOLS.SPLIT(
                                   GET_CLOB_FROM_FILE('/home/prouza/test.csv'), x'0D25')
                            )
),
rows2col as (select satz, regexp_substr(satz, '[^,]+') Spalte1,
               regexp_substr(satz, '[^,]+', 1, 2) Spalte2,
               regexp_substr(satz, '[^,]+', 1, 3) Spalte3,
               regexp_substr(satz, '[^,]+', 1, 4) Spalte4,
               regexp_substr(satz, '[^,]+', 1, 5) Spalte5,
               regexp_substr(satz, '[^,]+', 1, 6) Spalte6
             from csv2rows
)
select * from rows2col;

[B.Hauser]

Der Lösungen gibt es viele!
Es geht auch ohne Regular Expressions (einfach nur Spalten, ohne Überschriften und ohne Anführungszeichen um die Alpha Felder):

With x as (Select * from Table(IFS_READ_UTF8('/home/Dir/Example.csv'))),
     y as (Select x.*, Ordinal_Position ColKey,
                  Trim(B '"' from Element) as ColInfo 
             from x cross join Table(SysTools.Split(Line, ',')))
Select Line_Number,
       Min(Case When ColKey = 1 Then ColInfo End) Col1,     
       Min(Case When ColKey = 2 Then ColInfo End) Col2,
       Min(Case When ColKey = 3 Then ColInfo End) Col3,
       Min(Case When ColKey = 4 Then ColInfo End) Col4,
       Min(Case When ColKey = 5 Then ColInfo End) Col5,
       Min(Case When ColKey = 6 Then ColInfo End) Col6,
       Min(Case When ColKey = 7 Then ColInfo End) Col7
From y
Where Line_Number > 1
Group By Line_Number
Order By Line_Number
;

... mit GET_CLOB_FROM_FILE geht es auch, dann muss man allerdings 2 Splits machen.

Birgitta

[Andreas_Prouza]

Wer die Aktuellen TRs eingespielt hat sollte auf jeden Fall auf die IFS_READ... Funktionen zurückgreifen, so wie von Birgitta vorgeschlagen.
Diese gehen um einiges schneller, als mit GET_CLOB_FROM_FILE und dann das Ergebnis mit Split aufzuteilen.

Für wem Performance eine Rolle spielt bietet, sollte auch noch zusätzlich wie im meinen Beispiel oben auf Regex zurückgreifen.
Bei größeren CSV Files ist diese Variante 6-7 mal schneller, da die SPLIT Funktion im Vergleich zu Regex viel langsamer ist.

lg Andreas

[Fuerchau]

Wobei ich mich immer noch frage, warum man eine CSV selber auseinandernehmen muss.
Da gibt es soviele Varianten:
- Decimalcomma/-point
- Datumsformat
- Mit/Ohne Delimter (achtung, Delimiter sind innerhalb des Feldes verdoppelt)
- Trennzeichen: , ; Tab
- Mit/Ohne Null

Bisher hat mich der CPYxxxIMPF da immer comfortabel und vor allem auch schnell weitergebracht.

[B.Hauser]

Wobei ich mich immer noch frage, warum man eine CSV selber auseinandernehmen muss.

Weil man sie vielleicht direkt verarbeiten und nicht erst lange herumkopieren möchte?

[B.Hauser]

Wer die Aktuellen TRs eingespielt hat sollte auf jeden Fall auf die IFS_READ... Funktionen zurückgreifen, so wie von Birgitta vorgeschlagen.
Diese gehen um einiges schneller, als mit GET_CLOB_FROM_FILE und dann das Ergebnis mit Split aufzuteilen.

Die SPLIT-Funktion kann man im übrigen beträchtlich beschleunigen, in dem man sich basierend auf dem Quellcode der SPLIT-Funktion (bekommt man durch Reverse Engineering) eine neue Funktion generiert, die anstatt mit den großen LOBs zu arbeiten, VarChar Datentypen verwendet.
... im übrigen wird das (so oder so ähnlich) sogar in der Dokumentation vorgeschlagen.
Deshalb kommt man ja auch an den SourceCode (der normalerweise verschlüsselt ist) dran.
Mit einer solchen Funktion löst man eine IFS-Datei um ein x-faches schneller auf.

Birgitta

[Fuerchau]

Nun, da solche Importe ja keine Einmalaktionen sind, ist eine komfortable Bearbeitung direkt mit SQL nach dem CPYxxx erheblich einfacher. Zumal die Datei zu Dokumentationszweicek auch meist noch aufgehoben werden muss. Ich muss mich auch nicht selber um die Typanapssung in Zahlen/Datum kümmern.
Ich liebe halt den einfachen statt des komplizerten Weges;-).

Aber es kann ja jeder machen was er will, auch Übungsaufgaben.

[MoellerH]

DANKE an alle, mit euren Infos konnte ich das Problem lösen.

[Fuerchau]

Das Problem des Splits ist ja, dass es beim Vorkommen des Trennzeichens innerhalb eines Spaltenwertes zu Verschiebungen der Inhalte kommt:

123.45,"Müller, Johannes",03.07.1963

Der CPY-Import regelt sowas halt;-).