Die vielen Heimweber von Nuenen in den 1980er Jahren weckten bald Vincents Interesse. Seine Faszination lässt sich leicht nähren: bis zu einem Drittel der männlichen Einwohner sind Weber von Beruf. Die Frauen helfen beim Spinnen oder Aufwickeln des Garns. Mein Kopf ist nicht auf das Schreiben eingestellt und ich habe wenig Zeit dafür, denn wenn ich nicht bei Moe bin, sitze ich hier in der Nähe bei einer Weberin, von der ich zwei gemalte Studien in der Hand habe", schreibt er im Januar 1884 an Theo.
Die Weber in Nuenen verrichten ihre Arbeit zu Hause; der Webstuhl steht im Haus oder in einer Scheune auf einem Lehmboden. Die kleinen Räume erschweren Vincent die Arbeit: "Diese Webstühle sind schwierig zu ziehen, weil man in den kleinen Räumen nicht genug Abstand hat, um den Webstuhl zu ziehen [...] Aber ich habe hier einen Raum gefunden, in dem zwei Webstühle stehen ... da kann man es machen". Die Weber führen ein karges Dasein. In der ersten Hälfte des Jahres 1884 widmet Vincent den Handwerkern etwa dreißig Gemälde und Zeichnungen. Auch ihre Werkzeuge bilden ein Motiv: "Ich male auch einen Webstuhl - aus alter grünlich-brauner Eiche - in den die Jahreszahl 1730 geschnitzt ist. In der Nähe dieses Webstuhls, an einem kleinen Fenster, durch das man eine grüne Wiese sehen kann, steht ein Hochstuhl, auf dem das kleine Kind stundenlang sitzt und dem hin- und herschießenden Weberschiffchen zusieht". Obwohl er die Innenräume meist ohne Details abbildet, wird ihnen in einigen Werken mehr Aufmerksamkeit geschenkt. Die Behausungen sind meist schwer zu identifizieren.
Vincent steht in Kontakt mit mehreren Webern, die ihm Modell stehen, darunter Toon Swinkels, Peter Smulders und Pieter Dekkers. Swinkels wohnt in einem baufälligen Haus auf dem Berg und Vincent soll drei Monate lang in der Weberei seines Vaters gemalt haben. Dekkers, dessen Sohn Driek Vogelnester für Vincent sammelt, wohnt etwas außerhalb des Dorfes in De Rijt 2; beide Häuser sind im Laufe der Zeit abgerissen worden.
Von den zahlreichen Weberhäusern in Nuenen sind nur noch einige wenige erhalten geblieben. Eines befindet sich im Zentrum auf dem heutigen Berg, nur einen Steinwurf vom Pfarrhaus entfernt. Obwohl es keine Beweise gibt, ist es plausibel, dass Vincent die Hütte nicht nur von außen, sondern auch von innen kannte. Es wird angenommen, dass das Anwesen 1763 als Weberhaus gebaut wurde. Nach mehreren Besitzern kaufte der Weber Willem van der Burg das Haus im Jahr 1869, woraufhin es ein Jahrhundert lang in Familienbesitz blieb. Willems Tochter ist Küsterin der reformierten Gemeinde und wohnt dort bis 1967.
Nach einer Renovierung im Jahr 2017 dient es unter dem Namen "The Sexton's Cottage" als Übernachtungsort. Dieses Gebäude kann als Pars pro toto für die vielen Weberhäuser dienen, die Vincent besucht.
