La fortezza tardomedievale sorvegliava un tempo la strada del Passo Giovo. La parte più antica, il mastio come costruzione indipendente, è l'unica che si è conservata fino a noi. Venne costruito alla metà del XIII secolo dai signori von Passeier come casa-torre. Tutti gli annessi di epoca successiva, tra cui diversi edifici e un muro di cinta, sono crollati a partire dal XVIII secolo.
La torre su cinque piani è stata restaurata con cura e dal 2003 è una delle sedi esterne del MuseoPassiria. Nei singoli piani si trovano piccole esposizioni sulla storia del castello, sui masi dello scudo tipici della Val Passiria e su due famiglie molto influenti, i signori von Passeier e i conti Fuchs, che contavano giudici, signori di giurisdizione e amministratori ecclesiastici e improntarono la vita nella valle per secoli. Splendidi al quarto piano i dipinti rinascimentali del celebre pittore Bartlme Dill Riemenschneider, risalenti al 1538. Infine l'ultimo piano con la sua eccezionale vista sull'intera valle fino a Merano ospita una postazione audio con numerose leggende su Castel Giovo.
Poco sotto il castello si trova la chiesetta della Santa Croce, una graziosa costruzione tardogotica che venne commissionata dai signori del castello. Gli affreschi risalgono al 1550 circa.
Come arrivare: dal centro di San Leonardo a piedi in circa 30 minuti, con percorso piuttosto ripido. Angusto accesso anche dalla strada del Passo Giovo.