Kasteel Baexem ligt in het beekdal van de Haelensche beek. Ten zuiden en westen stroomt de HaelenscheBeek, die grenst vormt tussen het natuurterrein achter Kasteel Baexem en het klooster Exaten. Rechts onder bij A is Baronsberg te zien. De Baronsberg ligt ca. 400 meter ten zuidwesten van het kasteel. Het betreft een kunstmatige heuvel of ‘berg, mogelijk een grafheuvel uit de Romeinse tijd, waartegen in 1878 door de paters Juzuieten van het klooster Extaten een Mariagrot is gebouwd.

De letter B geeft de ‘de Borg’ weer. De Borg is een archeologische monument waar nu enkel nog grachtrestanten te zien zijn.  Kasteel de Borg is mogelijk de voorganger van kasteel Baexem en verlaten voor de bouw van het huidige Kasteel Baexem. De verplaatsing van het huis gebeurde naar hogere gronden, tegen de steilrand en de akkers, die een betere uitgangspositie vormden voor het landbouwbedrijf.  De Borg ligt in het Limburgs Landschap ca. 400 meter ten zuidoosten van de achtergevel van het kasteel, dichtbij de bocht in de Haelensche beek.

Als u de kasteeltuin via het groene hek tussen het Kasteel en Restaurant de Baronshoeve inloopt ziet u links de paarden. Rechts van de paarden loopt een pad. Deze loopt u helemaal af. Op een gegeven moment stopt het schrikdraad van de paarden. U blijft rechtdoor lopen tot u aan de rechterkant een hek tegenkomt. Tussen het hek de N- autoweg vindt u de Borg. Zodra u dit hekt binnenstapt betreedt u het Limburgs landschap, pas op. Er kunnen hier schotse hooglanders staan, houdt afstand. Als u het hekt doorloopt blijft u rechtdoor lopen tot u weer een hek tegenkomt. Ga hierdoorheen en sla linksaf, daar vindt u de Baronsberg. Als u teruggaat naar het Kasteel kunt u via dezelfde weg teug of u blijft het pad volgen vanaf de Baronsberg. Dit is 1 pad rechtdoor waarbij u de tuin van onze buren passeert aan de rechterkant.  U komt dan uit op de Kasteelweg. Loop langs de begraafplaats en u ziet het Kasteel weer rechts. Let op: u kunt niet terug via de tuin van de rechterkant van het Kasteel. Dit B: is Privéterrein!