Hallo Jürgen,
am einfachsten geht das wohl mit SQL:
select distinct * from dateiname
in Outfile.
Outfile enhält anschließend keine doppelten Sätze mehr und kann über das Original kopiert werden.
Gruss
Frank