In 1898 wordt het allereerste fabrieksgebouw opgericht voor Nooitgedagt, achter de bestaande bebouwing. Vanaf 1902 wordt de naam Fabriek J. Nooitgedagt en Zonen. Er is dan zo'n 50 man personeel in dienst.

In 1914 worden alle panden aan de Eegracht afgebroken om er een nieuw en groot betonnen fabrieksgebouw neer te zetten. Het personeelsbestand is inmiddels gegroeid tot 150 man.

Achter de fabriek van J. Nooitgedacht en Zonen lag de Gorritspôlle met een zevental woningen, dat bereikt kon worden door een steeg tussen het kantoor van Nooitgedacht en het pand van timmerman Visser.