Vincents Wunsch, ein größeres Atelier zu mieten, wird Anfang Mai 1884 Wirklichkeit. Inzwischen hat er mit Theo vereinbart, ihm gegen eine finanzielle Entschädigung Arbeiten zu schicken. Mit dieser Einkommenssicherheit findet er ein größeres Atelier bei dem Küster der katholischen Kirche, Johannes Schafrat (1847-1924), seiner Frau Adriana van Eerd und ihrem neugeborenen Sohn Cornelis.
Sie wohnen in einem Haus neben der St. Clemens-Kirche auf dem damaligen Heieind F540, heute Park. Vincent mietet zwei Zimmer mit Bad im Erdgeschoss. Das große Zimmer auf der Vorderseite hat einen Ofen und zwei Schränke, in denen er unter anderem Vogelnester aufbewahrt. Im hinteren Zimmer arbeitet er. Überall liegen Studien und Zeitschriften. So manches Werk wird hier vollendet.
Er schläft und isst noch bei seinen Eltern. Sein Schüler und Malerfreund Anton Kerssemakers (1846-1924) beschreibt das Atelier im Jahr 1914, fügt einen Grundriss hinzu und skizziert die Ansicht des Hauses. Ein Jahr nach Vincent' Einzug, als der Vater gestorben ist und es zu Meinungsverschiedenheiten mit seiner ältesten Schwester Anna über seinen Verbleib im Pfarrhaus kommt, beschließt er, in seinem Atelier zu wohnen. Er schläft auf dem leeren Dachboden, direkt unter den Dachziegeln, wo er im Bett eine Pfeife raucht. Eine Fotografie aus dem Jahr 1926 zeigt die Witwe Schafrat in der Schlafecke mit dem Stuhl, auf dem er gearbeitet haben soll.
Und in dieser Zeit und in diesem Atelier schuf Vincent sein erstes großes Meisterwerk. Die vielen Skizzen und Studien von Menschen, Händen und Farben fügen sich zu seinem ersten großen Werk zusammen: Die Kartoffelfresser.
Mit der Zeit wurde es schwierig, Modelle zu finden. Der Pfarrer verbot seinen Gemeindemitgliedern, zu posieren. Er würde sie sogar bezahlen, wenn sie es nicht täten. Dies ist einer der Gründe, warum Vincent Ende November Nuenen verließ und nach Antwerpen ging. Außerdem hoffte er, an der dortigen Akademie etwas zu lernen und sehnte sich nach einer Kunstwelt, die er so lange vermisst hatte.
1914 schrieb Anton Kerssemakers, mit dem Vincent befreundet war, seine Erinnerungen an das Atelier auf. Das Küsterhaus wurde 1936 abgerissen.
Das Haus wurde 1936 abgerissen, und an seiner Stelle wurde ein neues Gebäude errichtet.