Unicode / UTF-8 Streamfile lesen

[dschroeder]

Vielen Dank für die beiden Antworten. Ich werde eurem Rat folgen und das ganze mit SQL machen!

Viele Grüße,
Dieter

[Fuerchau]

Was die Pointer angeht, so muss ich sogar via SQLDA Pointer angeben (nebst SQLType und Attributen).
Somit kann ich auch schön per %ALLOC Speicher zur Verfügung stellen.
SQLDA's werden dann per "using" bei den entsprechenden SQL-Befehlen angegeben.
Dann kann ich eben auch innherhalb von RPGLE wiederum mit Pointern umgehen.

Zu beachten ist noch folgendes:
In meinem Beispiel habe ich 8MB Unicode (CCSID 1200) verwendet. Sollte die Datei tatsächlich mal größer sein, sollte man hier dann mit LOB-Locator umgehen: GET_[DB/C]LOB_FROM_FILE.
Der Vorteil des Locator's besteht halt darin, dass das Lesen der Datei und die Codewandlung in den Speicher nur 1x passiert.
Anschließend kann man sich per SQL-Stringfunktionen dann die Teile herausholen.
Dies dürfte wohl performanter sein, als sich die Daten scheibchenweise aus der Datei zu holen, zumal bei UTF-8 eine Zeichenposition direkt ja nicht errechenbar ist (UTF-8 => 1-4Byte je Zeichen).

[dschroeder]

Irgendwie klappt das bei mir noch nicht:

dcl-s clobFile sqltype(CLOB_FILE) CCSID(1200);
dcl-s text varucs2(300000);


clobFile_Name = %trim(file);
clobFile_NL   = %len(%trim(clobFile_Name));
clobFile_FO   = SQFRD;  //Read Only


exec sql set :text = :clobFile;


return text;

Beim Kompilieren bekomme ich immer:

"Variable TEXT nicht definiert oder nicht verwendbar. Reason: No declaration for the variable exists, the declaration is not within the current scope, or the variable does not have an equivalent SQL data type."

Hat jemand eine Idee?

[dschroeder]

Das Problem hat sich erledigt. Habe einen Doppelpunkt vor der Variable "TEXT". Der darf da nicht hin.

[dschroeder]

Sorry für mein wirres Schreiben heute. Das Problem hat sich doch nicht erledigt. Der Doppelpunkt ist natürlich erforderlich.

Also nochmal: Hat jemand eine Idee?

[Fuerchau]

Ja, da hat RPGLE leider noch ne kleine Macke:
Definiere in den H-Zeilen zusätzlich die CCSID für UCS2:

h ccsid(*ucs2:*utf16)

Ich habe allerdinsg die Variable so deklariert:

dcls-s FileString SQLTYPE(DBCLOB:8000000) ccsid(1200);

[dschroeder]

So kompiliert er es:

dcl-proc UM_StmfToStrUni export;
   dcl-pi *n varucs2(300000);
      file varchar(2000) const;  //file incl. Pfad
   end-pi;


dcl-s clobFile sqltype(DBCLOB_FILE);
dcl-s clobDS sqltype(dbclob:300000) ccsid(1200);
dcl-s text varucs2(300000);


clobFile_Name = %trim(file);
clobFile_NL   = %len(%trim(clobFile_Name));
clobFile_FO   = SQFRD;  //Read Only


exec sql set :clobDS = :clobFile;
text = clobDS;


return text;


end-proc;

Geht das auch "speichersparender"? Ich habe ja bereits die Variable clobDS mit 300000 deklariert. Für die Rückgabe benötige ich anscheinend nochmal extra eine passende Variable text mit nochmal 300000 Zeichen.

[dschroeder]

OK,
jetzt habe die Lösung ohne die zusätzliche Text-Variable:

dcl-proc UM_StmfToStrUni export;
   dcl-pi *n varucs2(300000);
      file varchar(2000) const;  //file incl. Pfad
   end-pi;


dcl-s clobFile sqltype(DBCLOB_FILE);
dcl-s clobDS sqltype(dbclob:300000) ccsid(1200);


clobFile_Name = %trim(file);
clobFile_NL   = %len(%trim(clobFile_Name));
clobFile_FO   = SQFRD;  //Read Only


exec sql set :clobDS = :clobFile;


if clobDS_len > 0;
   return %trimr(%subst(clobDS_data:1:clobDS_len));
else;
   return %ucs2('');
endif;


end-proc;

Ich werde jetzt mal verschiedene Tests durchführen, ob auch alle Zeichen korrekt gelesen werden.

[Fuerchau]

Ich arbeite da ein wenig anders.
Als Returnwert verwende ich grundsätzlich einen Indicator, so dass ich die Funktion direkt im IF aufrufen kann:

dcl-pr GetFile ind;
FileName varucs2(256) const;
Record varucs2(8000000);
end-pr;

if GetFile(FileName:Buffer);
// Tu was
endif;

Den Puffer übergebe ich nicht per CONST sondern per Referenz. Somit spare ich mir auch das Kopieren des Inhalts noch mal im Return. Der Parameter ist ebenso Ziel des SQL's.

Somit vereinfacht sich auch das Ergebnis:

exec sql .....
return SQLCODE = *zero;

Wichtig ist natürlich, dass die CCSID der Streamfile umwandelbar ist. Ich habe in einer einderen Anwendung bei einem Fehler, da ich UTF8 erwarte, noch mal den "CHGATR OBJ(...) ATR(CCSID) VALUE(1208)" durchgeführt und den Import wiederholt.

[dschroeder]

Ich hatte eben auch schon einige Probleme mit den CCSIDs meiner Testdateien. Aber es scheint zu laufen.

Das mit der Parameterübergabe per Referenz hat für mich den Nachteil, dass das rufende Programm eine exakt passende Variable bereitstellen muss. Wenn ich den Dateiinhalt als Rückgabeparameter zurückgebe, kann ich direkt die Zuweisung in eine (kleinere) Variable durchführen, z. B. in ein Bildschirmfeld.

Nochmal danke für eure Hilfe.

[Fuerchau]

Das prüft der Compiler über haupt nicht.
Ich hatte schon des öfteren mal Tippfehler bei der Übergabe von DS'n an eine Prozedur. Das hat den Kompiler in keinster Weise gestört ob die DS'n gleich lang definiert sind, geschweige, dass auch noch die Struktur der DS geprüft wurde.
Bei Single-Variablen magst du Recht haben.
Allerdings ist es korrekt, dass die Maximalgröße dann vorgesehen werden muss, aber auch das ließe sich per Parameter (wie bei API's auch) definieren.