Tot 1990 stond de dikste populier van Nederland (door bewoners "de dikke boom" genoemd) vlakbij de ruïne van het kasteel. Deze reus, met een stamomvang, op 1,3 meter hoogte, van 760 cm, een hoogte van meer als 30 meter en een leeftijd van 130 à 140 jaar, werd geveld door de zware storm op 25 januari van dat jaar. De indrukwekkende boom was een zogenaamde Late Canadapopulier (lat. Populus x canadensis 'serotina') en schijnt een grensboom (op de grens van Gelderland en Noord-Brabant) te zijn geweest. Het onderste deel van de boom was hol. Tevens bevinden er zich 2 mammoetbomen (lat. Sequoiadendron giganteum) op het terrein van het kasteel. In de omgeving van Nederhemert doet van oudsher het verhaal de ronde dat zaadjes van deze bomen in 1815 door de toenmalige baron van Nederhemert uit St. Petersburg werden meegenomen. Hij haalde toen met een delegatie edelen Anna Pawlowna Romanov, dochter van de Russische tsaar, op voor haar trouwpartij in 1816 met de toenmalige kroonprins Willem II. Nederhemert-Zuid heeft een beschermd dorpsgezicht.
