Die Familie Van Gogh zog am 31. Januar 1871 in das stattliche Pfarrhaus schräg gegenüber der evangelischen Kirche ein. Es handelt sich um ein "freies Haus mit Garten und einem Stück Land für den Kartoffelanbau". Vincent wohnt nicht mehr zu Hause und auch seine Schwester Anna verlässt für längere Zeit das elterliche Nest, während die anderen Kinder meist bei ihren Eltern leben. Theo geht zunächst in Oisterwijk zur Schule, während Wil, Lies und Cor zu Hause von einer Erzieherin unterrichtet werden. Als Theo in Brüssel arbeitet und Vincent erfährt, dass er in Helvoirt wohnt, sehnt er sich danach, bei ihnen allen zu sein.
Vincent hat nie selbst in Helvoirt gelebt, aber er reiste, um seine Eltern in den Ferien und während der Feiertage zu besuchen. Dank der Briefe von Vincent und seiner Familie weiß man, dass er mehrere Male "zu Hause" war. In der Regel blieb er dort einige Tage, manchmal auch länger. Nachdem er Weihnachten 1872 mit seinen Eltern gefeiert hatte, schrieb er im März 1873: "Wenn ich kann, werde ich zu Ostern nach Helvoirt fahren".
Einen Monat nach Ostern kehrt er ins Dorf zurück, um sich zu verabschieden, bevor er zu seinem neuen Arbeitgeber in London weiterzieht. In diesem Jahr schafft es Vincent wegen der vielen Geschäfte nicht, zu Weihnachten nach Hause zu fahren. Im Jahr 1874 wird ihm ein längerer Urlaub gewährt; er bleibt dann vom 27. Juni bis zum 14. Juli in Helvoirt und wohnt auch zu Weihnachten im Pfarrhaus.
Das rechteckige Haus mit Satteldach ist weiß verputzt und verfügt über einen tiefen Garten mit Gemüsegarten und Obstbäumen. Wenn man das Haus betritt, befindet sich das Wohnzimmer auf der linken Seite und das Esszimmer dahinter. Auf der rechten Seite des Mittelgangs befindet sich das Arbeitszimmer von Theodorus. Das Haus in der Kerkstraat, der späteren Torenstraat, hat das Aussehen eines Hauses aus dem achtzehnten Jahrhundert. Das Haus wurde jedoch bereits 1657 vom Vorsteher der katholischen Abtei St. Gertrudis in Löwen erbaut. Die Abtei war damals auch Eigentümerin der alten Kirche und besaß Kircheneigentum. Die Protestanten handelten aus, dass die Abtei diese Güter nach dem Achtzigjährigen Krieg im Gegenzug für ein Predigerhaus und ein Gehalt behalten durfte. Bis 1954 bleibt es ein Predigerhaus. Das Gebäude wurde mehrmals restauriert, mit größeren Reparaturen um 1979 und 1988.
Als Vincent in Helvoirt blieb, war er noch kein Künstler, aber er zeichnete bereits. In den Sommerwochen des Jahres 1874 war er recht produktiv und kehrte nach London zurück, wo er schrieb: "Mein Appetit auf das Zeichnen hat hier in England wieder aufgehört, aber vielleicht werde ich eines Tages wieder einen Anfall haben". Er wählt Motive in seiner unmittelbaren Umgebung, sogar das Pfarrhaus wird auf dem Papier festgehalten. Seine Mutter schreibt an Theo: "Vincent hat ziemlich viel gezeichnet. Vor Lies das Schlafzimmerfenster und ein bisschen von der Haustür, so dass dieser Teil des Hauses - er stand an der Seite von Jans' Häuschen - schön herausgearbeitet ist.
