Je často nazývaný aj ako Biskupský kaštieľ. Kedysi slúžil ako letné sídlo ostrihomských arcibiskupov a neskôr banskobystrických biskupov. Pamiatka, ktorú získalo mesto Žiar nad Hronom do svojho vlastníctva len nedávno, sa pridala na mapu zastavení Pohronskej hradnej cesty. Návštevníkom ponúkne prehliadku interiérových expozícií, v ktorých vznikla aj Pamätná izba Štefana Moysesa.
Na vnútornom nádvorí je nádherný dvestoročný platan. Ten ma zaujal viac než všetko ostatné vo vnútri.