Tuż przy Pałacu, po drugiej stronie ulicy, stoi antoniński kościół wybudowany w latach 1835-38 jako kaplica grobowa Radziwiłłów.
Budowla utrzymana jest w stylu neoromańskim, wnętrze zdobią 4 marmurowe kolumny i łuki z bogatą dekoracją bizantyjską. Zobaczymy tu również 2 późnogotyckie rzeźby - Św. Jana Chrzciciela i Św. Jana Ewangelisty oraz popiersie zmarłej w 1834 roku Elizy Radziwiłłówny.
W podziemiach kaplicy znajdują się groby Radziwiłłów.