So, jetzt läufts so wie ich es mir vorgestellt habe.
Das Problem war wohl das ich IBMDA400 statt IBMDASQL verwendet habe.
Nachdem ich das umgestellt habe klappt es wie gewünscht.

Vielen Dank für die Tips, haben mich echt weitergebracht.

hier jetzt auch alle SQL Statements die ich ausgeführt habe und mit denen ich Erfolg hatte:

sp_dropserver 'XXXX', 'droplogins';
USE [master]
GO
EXEC master.dbo.sp_addlinkedserver @server = N'XXXX', @srvproduct=N'XXXX', @provider=N'IBMDASQL', @datasrc=N'XXXX',
@provstr=N'Default Collection=LIB1; catalog library list=LIB1,LIB2;Block Size=8192'
EXEC master.dbo.sp_addlinkedsrvlogin @rmtsrvname=N'XXXX',@useself=N'False',@locallogin= NULL,@rmtuser=N'XXXX',@rmtpassword='XXXX'
GO
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'collation compatible', @optvalue=N'false'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'data access', @optvalue=N'true'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'dist', @optvalue=N'false'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'pub', @optvalue=N'false'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'rpc', @optvalue=N'true'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'rpc out', @optvalue=N'true'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'sub', @optvalue=N'false'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'connect timeout', @optvalue=N'0'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'collation name', @optvalue=null
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'lazy schema validation', @optvalue=N'false'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'query timeout', @optvalue=N'0'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'use remote collation', @optvalue=N'true'
EXEC master.dbo.sp_serveroption @server=N'XXXX', @optname=N'remote proc transaction promotion', @optvalue=N'true'
GO

--Werte die am Treiber(Anbieter) eingestellt werden müssen
EXEC master.dbo.sp_MSset_oledb_prop N'IBMDASQL', N'AllowInProcess', 1
EXEC master.dbo.sp_MSset_oledb_prop N'IBMDASQL', N'NonTransactedUpdates', 1
EXEC master.dbo.sp_MSset_oledb_prop N'IBMDASQL', N'SqlServerLIKE', 1