Hierfür dient dann die HAVING-Klausel.
Allerdings muss da der komplette Befehl wiederholt werden:

select ...
from
where
group
having
Sum(Case When Year(Datum) in (2003, 2004, ...) then Wert else 0 End) <> 0

Man beachte hierbei, dass du nicht NULL nehmen solltest, da du sonst 2 Abfragen benötigst:

having
Sum(Case When Year(Datum) in (2003, 2004, ...) then Wert else 0 End) <> 0 or
not Sum(Case When Year(Datum) in (2003, 2004, ...) then Wert else NULL End) is NULL