Die Familie De Jonge van Zwijnsbergen beschließt, Bauland auf der gegenüberliegenden Seite des Mariënhofs für 350 Gulden an die Familie Van Gogh zu verkaufen. Joan de Jonge und Theodorus vollziehen den Verkauf am 28. September 1874 auf Schloss Zwijnsbergen. Hendrik Verzijl ist dabei als Zeuge anwesend. Der Pfarrer bittet die Gemeinde um die Erlaubnis, einen Graben zu entwässern, damit ein Haus gebaut werden kann. Das Grundstück am Keiweg ist für den Bau eines Hauses für drei Schwestern des Pfarrers bestimmt. Sie haben sich um ihren Vater, den Großvater Vincent van Goghs, in Breda gekümmert, und es wurde vereinbart, dass der Erlös aus dem Verkauf seines Hauses in der Visserstraat nach seinem Tod an sie geht. Sie entscheiden sich für den Bau eines Hauses in Helvoirt.
Obwohl das Haus noch nicht fertig war, kamen Dorothea Maria ("Doortje", 1815-1882) und Johanna Wilhelmina ("Antje", 1812-1883) am 16. April 1875 nach Helvoirt. Maria Johanna ('Mietje', 1831-1911) schloss sich ihnen wenig später an. Vincent hat die Baustelle wahrscheinlich im Winter 1874 gesehen, als er einen Abendspaziergang auf dem Rijksweg machte. Theodorus beschäftigte sich weiterhin mit dem Haus und schrieb am 29. April 1875: "Von 5 bis 12 war ich damit beschäftigt, den Garten der Tanten zu bepflanzen und zu schmücken. Es sieht jetzt gut aus, aber ich bin müde". Am 20. Juli 1875 ziehen die drei Schwestern in das Haus ein.
Die Tanten erteilen den Kindern der evangelischen Gemeinde in Helvoirt Religionsunterricht. Dabei belohnten sie fleißige Kinder mit einem Bild. Die Geschichte besagt, dass Zeichnungen von Vincent verwendet wurden. Die Echtheit der Kinderzeichnungen, die mit dieser Geschichte in Verbindung gebracht werden, ist jedoch fraglich.
