Wenn ALLE Felder der doppelten Sätze identisch sind..
Dann erstelle dir eine leere Datei und dann mit SQL

Insert into MyNewF
Select distinct + from Myfile

Damit solltest du nur immer einen Satz haben

Gruß Ronald