Vincents Großvater hatte eine herausragende Stellung in der protestantischen Gemeinde in der überwiegend katholischen Provinz im Süden der Niederlande inne. Er war nicht nur Pfarrer der Grote Kerk, sondern ab 1828 auch Pfarrer der Königlichen Militärakademie. Außerdem ist er von 1825 bis 1866 Sekretär und Buchhalter der Gesellschaft zur Förderung des Wohlstands, die sich um die Verbesserung der Lage der Protestanten in Nordbrabant bemüht.
Pfarrer Vincent van Gogh und seine Frau Elisabeth Huberta Vrijdag (1790-1857) hatten 12 Kinder, die in Breda aufwuchsen. Die Familie wohnte zunächst im Haus Wijngaarden in der Catharinastraat 9 und dann von 1833 bis 1875 im Haus Den Grooten Toelast in der Visserstraat 3, das 1887 abgerissen wurde.
Kinder genießen in Breda eine gute Ausbildung. Einige von ihnen besuchen die an die Große Kirche angeschlossene Kapitelschule, die sogenannte Lateinschule in der Nieuwstraat. Diese Ausbildung war der Elite vorbehalten. Die Söhne machen dann Karriere als Soldaten, Kunsthändler und Prediger. Die Töchter werden Lehrerinnen und arbeiten auch als Haushälterinnen für verschiedene Familienmitglieder.
Wie sein Vater wählt auch Vincents Vater Theodorus van Gogh (1822-1885) den Beruf des Pfarrers. Weniger begabt als sein Großvater, erhält er Stellen in kleinen brabantischen Dörfern, nacheinander in Zundert (1849), Helvoirt (1871), Etten (1875) und Nuenen (1882), wo er 1885 stirbt. Der Weg des Malers Vincent van Gogh durch Brabant deckt sich mit diesen Arbeitsstellen seines Vaters.
Breda ist für die Familie Van Gogh Brabant immer eine Wiege geblieben. Das Haus der Großeltern in der Visserstraat war ein Treffpunkt für alle Familienmitglieder. Auch Vincent besuchte es in seiner Jugend regelmäßig. Wenn er aus seinem Heimatdorf Zundert anreiste, fuhr er über den Bahnhof von Breda. Er kennt die Stadt also gut. Als er 1888 im südfranzösischen Arles ankam, schrieb er an seinen Bruder Theo, dass ihn die Stadt an Breda erinnerte.
Über die Beziehung zwischen Vincent und seinem Großvater ist wenig bekannt. Vincent hat ihn einmal gezeichnet, nach einem Foto. Aus einem kurzen Auszug aus einem Brief an Theo geht hervor, dass Vincent ihn als kalten und unangenehmen Mann empfand.
