Die Familie Van Gogh lebte hier von 1882 bis 1886, als die Mutter nach Breda zog. Vincent von Dezember 1883 bis Mai 1884. Das Pfarrhaus wurde 1764 von der Zivilgemeinde gebaut, die damals noch verpflichtet war, dem reformierten Pfarrer eine Wohnung zur Verfügung zu stellen. Vincent van Goghs Vater, Theodorus van Gogh, war Pfarrer in der Gemeinde.
Vincent hatte sein erstes Atelier in Nuenen in der Waschküche hinter dem Pfarrhaus. Seine Eltern stellten einen Ofen, eine hölzerne Ottomane und ein Kinderbett auf und ließen die ganze Wohnung "weiter aufhübschen", um sie gemütlich zu machen. Vincent zog es vor, dass sein Vater kein großes Fenster in die Wand einbaute.
Einige Monate später erkundigt sich Vincent bei Theo nach einem festen finanziellen Zuschuss: "Ich muss das wissen, denn wenn ich mich darauf verlassen kann, würde ich mir irgendwo ein anderes geräumiges Studio nehmen, das ich für die Arbeit mit Modellen brauche. Das, was ich jetzt habe, hat folgende geografische Lage. Und meine Vorstellungskraft ist nicht stark genug, um diesen Fortschritt gegenüber der Situation im letzten Jahr zu finden. Seine beigefügte Skizze, die den Kohlenschuppen, die Toilette, den Abwasserkanal und die Dunggrube zeigt, sollte Theo davon überzeugen, dass es sich nicht um einen florierenden Arbeitsplatz handelt. Tatsächlich beschließt er Anfang Mai 1884, vom katholischen Küster Johannes Schafrat und seiner Frau eine größere Werkstatt zu mieten. Ein Jahr später, nachdem sein Vater inzwischen gestorben war und es zu Reibereien mit seiner Schwester Anna gekommen war, verließ er das Pfarrhaus, um in diesem Atelier zu leben.
Das Wohnhaus stammt aus dem Jahr 1764, die Maueranker an der Fassade sind noch zu sehen. Rechts neben dem Haus ließ Theodorus' Vorgänger, Pfarrer Begemann, 1840 ein Kutscherhaus errichten. Bevor die Familie in ihr neues Haus einzog, musste es grundlegend renoviert werden. Sowohl vor als auch nach dem Einzug der Van Goghs wurde das Presbyterium umfassend restauriert. Bei einer Restaurierung im Jahr 1957 wurde die putzartige Zementschicht entfernt. Diese Schicht und auch das Kutschenhaus sind auf dem Gemälde De pastorie te Nuenen vom Herbst 1885 zu sehen. Vincent zeichnet und malt sowohl die Vorder- als auch die Rückseite des Pfarrhauses, auch nachdem er das Haus verlassen hat. Da dieses Gemälde und die gleichnamige Zeichnung in die Hände von Theo bzw. Willemien gelangten, könnten sie als Andenken an das Elternhaus gedacht gewesen sein.
Der tiefe Hinterhof ist ein Lieblingsplatz für Vincent. Es ist ein schöner Garten mit Rasen, Blumen, Obstbäumen und im hinteren Teil ein Gemüsegarten und ein großer Teich mit einer Terrasse. Vincent hält den Garten häufig fest, aus verschiedenen Blickwinkeln und zu verschiedenen Jahreszeiten. Die ersten Zeichnungen entstehen bereits im Monat seiner Ankunft. Im März 1884 fertigt er eine Reihe von anspruchsvollen Federzeichnungen an, unter anderem vom Garten in Winterstimmung. Dann zeichnet er auch den Weg "hinter den Hecken", der hinter dem Garten liegt. In dem Aquarell Der Garten des Pfarrhauses in Nuenen verwandelt er den hinteren Garten in einen öffentlichen Park und setzt nicht nur Figuren, sondern auch den inzwischen abgerissenen Alten Turm in Szene. Heute ist der Garten weniger üppig bepflanzt, aber im Großen und Ganzen unverändert geblieben; der Teich wurde in jüngster Zeit restauriert.
Auch heute ist das Pfarrhaus noch ein Wohnhaus. Mehrmals im Jahr ist es möglich, das Atelier und den Garten von Vincent zu besuchen.
