Wenn die Files keinen weiteren Einfluss auf die Programmlogik haben, könntest du es mit:

deleteOnExit() probieren, der merkt sich die Datei bis zum Ende VM und löscht sie dann.

eventuell auch.
if (!file.delete()) {
file.deleteOnExit();
}

Hier die API

/Robert