Samma år gifte han sig med Inga Kristina Ingemarsson. Så småningom skulle de få fyra barn, två pojkar och två flickor, varav sonen Thure omkom i en tragisk drunkningsolycka. Den första tiden bodde de i ett hus som benämndes Glashuset, det låg på nuvarande SKF:s industriområde. Därifrån flyttade de till Lasse på bergets hus på Köpmangatan 4. Vid gården nr 59 öppnade Gustaf hovslageri och smidesverkstad. Grönkvists Mekaniska Verkstad inregistrerades år 1891. De första åren var han ensam om firman, tre år senare inträdde brodern Konrad i företaget. Rörelsen utökades snabbt och det tillkom nya byggnader nästan varje år.
År 1895, då den nya stadsplanen fastställts, fick området kring torpet Gertrudboda beteckningen 49 Liljan. Gertrudboda hade ingått i Djulögodset, vilket kan läsas i Mauritz Jöransson Laxmans jordebok från år 1587. Då kallades det Hjärtruboda, efter Laxmans vackra dotter Gertrud. Gustaf såg Gertrudboda med sitt vackra läge på kullen som en lämplig plats för familjens blivande hem. Gustafs första maka avled år 1916, två år senare gifte han om sig med Ellen Rut Benson, född i USA år 1884. Paret fick dottern Rut Anna-Britta tillsammans.
Cirka åren 1900-1901 byggdes Gröna Kulle som bostad åt familjen. Det finns inga riktiga uppgifter om vilka som byggde huset, inte heller exakt vilket år det var färdigställt. Teglet kom troligtvis från Tegelbruket i Valla, som hade anlagts av Grönkvist. Vackra inredningsdetaljer, som pampiga trappräcken och väggpaneler var troligtvis tillverkade hos Carl Fredrikssons Träförädling. För drygt 53 000 kronor fick man 12 rum och kök och två vackra hallar, då ingick vissa planteringsarbeten m.m.
Grönkvist var en vänlig person och djupt religiös, han tillhörde Katrineholms Immanuels-församling, där han var ordförande under många år. Men han var också en tuff affärsman. Han köpte gårdar och tomter, anlade flera industrier och var mycket driftig. Han innehade snart en av de högsta positionerna i samhället. Han avled den 26 juni år 1925, 62 år gammal. För att hedra honom har man uppkallat en del av åsen efter honom, den kallas för Gustaf Robertsskogen.
Utanför Gröna Kulle under vårdträdet finns en byst av Gustaf Robert, den invigdes år 1956, bysten utfördes av hans svägerska Hedda Grönkvist, gift med brodern Konrad. Konstnämndens ordförande Folke Hellberg författade inskriptionen:
Gustaf Robert Grönkvist 1863-1925. Grundare av stadens järnindustri. Hans flit och fantasi gav kraft åt företag och samhälle. Staden hedrar hans minne.