Castagne je svojo kariero začel pri Virtonu, kjer je poklicno debitiral leta 1995. Leta 1997 se je preselil v Anderlecht, kjer je osvojil tri naslove belgijskega prvaka in dva belgijska pokala. Leta 2004 se je pridružil Milanu, kjer je leta 2004 osvojil naslov Serie A in leta 2007 Ligo prvakov UEFA.
Castagne je za reprezentanco Belgije debitiral leta 1999. Za svojo državo je zbral 54 nastopov in dosegel štiri gole. Zastopal je Belgijo na svetovnem prvenstvu v nogometu 2002 in evropskem prvenstvu 2000 v nogometu.
Po upokojitvi iz nogometa leta 2008 je Castagne delal kot strokovnjak za belgijsko televizijo in radio. Je tudi uspešen poslovnež, saj je ustanovil več podjetij.
Leta 2021 je bil Castagne sprejet v belgijsko nogometno hišo slavnih.