Auf Anraten von Pastor Van Gogh kaufte die Niederländisch-Reformierte Gemeinde 1863 ein altes Haus neben der evangelischen Kirche. Vincents Vater möchte es als Haus des Küsters nutzen. Er sammelte Geld innerhalb der protestantischen Gemeinde, um das Haus zu renovieren. Die Familien Van der Hoeven und Van de Wall spendeten großzügig. Theodorus selbst steuerte zehn Gulden bei, eine für die damalige Zeit beachtliche Summe. So wurde das Haus in eine Küsterwohnung umgewandelt.
Der junge Vincent erlebt das hautnah. Er besuchte den Küster regelmäßig. Jahre später kehrt er noch einmal zurück, nachdem er erfahren hat, dass der Schwiegervater des Küsters, der ältere Jan Aertsen, im Sterben liegt. Daraufhin zögert er keinen Augenblick und eilt nach Zundert: "Am Samstagabend verließ ich Dordrecht mit dem letzten Zug nach Oudenbosch und ging von dort aus zu Fuß nach Zundert. Dort in der Heide war es so schön, obwohl es dunkel war, konnte man noch erkennen, wie sich diese Heide und die Mastwälder und Sümpfe weit und breit erstreckten. Es erinnerte mich an die Bodmer-Platte, die in Papas Arbeitszimmer hing. Der Himmel war grau, aber der Abendstern leuchtete zwischen den Wolken, und gelegentlich konnte man andere Sterne sehen. Es war noch sehr früh, als ich auf dem Friedhof in Zundert ankam, wo es so ruhig war. Ich ging, um all die alten Plätze und Wege wiederzusehen, und wartete darauf, dass die Sonne aufging. Du kennst die Geschichte der Auferstehung, alles erinnerte mich an diesem Morgen auf diesem stillen Friedhof daran.'
Als er am Morgen an die Tür des Küsters klopfte, erfuhr er von seinem Sohn, dass Aertsen bereits gestorben war. Er wurde auf dem wohlhabenden Bauernhof in Tiggelt in Rijsbergen beigesetzt. Vincent geht dorthin. Er beschreibt den Anblick des Verstorbenen: "Es wird mir unvergesslich bleiben, dieses edle Haupt, das da auf dem Kissen lag und in dem man bei den Zeichen des Leidens einen Ausdruck des Friedens und etwas Heiliges sah. Oh, es war so schön, ich würde sagen, es sprach von der ganzen Besonderheit, die dieses Land hat, und dem Leben dieses brabantischen Volkes".
Zu Beginn des einundzwanzigsten Jahrhunderts befindet sich das alte Küsterhaus wieder in einem schlechten Zustand und ist vom Abriss bedroht. Dank der Bemühungen der örtlichen Gemeinschaft wird es gerettet und vollständig restauriert. Nebenan wird eine moderne Werkstatt gebaut. Seit 2011 wird der Ort als Gastatelier für Künstler genutzt, die hier wohnen und im Geiste von Van Gogh arbeiten.
