Ordet frisksport användes första gången år 1924 i tidningen Swing av konstnären Marcus Hentzel. Marcus och hans bror Roland Hentzel blev rörelsens pionjärer i Sverige.
Ett första landsförbund, Svenska Frisk och Kraftsportarförbundet bildades i Stockholm år 1928 men fick en kort livslängd. År 1931 bildas ett nytt frisksportförbund, Järnringen, med en kvinnlig motsvarighet i Silverringen. Ingen av rörelserna hade någon större framgång under sina första år. Det rådde en splittring mellan anhängarna så ytterligare en riksorganisation bildades år 1935, Förbundet för Fysisk Fostran. En stark muskeldyrkan och interna stridigheter präglade den första tiden. År 1936 slogs Järnringen, Silverringen och Förbundet för Fysisk Fostran ihop och bildade Svenska Frisksportförbundet.