Ideja par sporta muzeja veidošanu radās jau 20. gadsimta trīsdesmitajos gados, kad pazīstamais cirka mākslinieks un juvelieris Kārlis Vītoliņš (1872-1953) savas sporta gaitās izcīnītās balvas un riteņu kolekciju dāvāja Voldemāram Šmidbergam (1893-1975).
Pēc Otrā pasaules kara, fotogrāfa un sporta relikviju kolekcionāra V. Šmidberga personīgajā mājā Rīgā, Augļu ielā 11, bija skatāmi vairāki trūkstoši Latvijas sporta vēstures liecību. Septiņdesmitajos gados savākto relikviju – afišu, fotogrāfiju, medaļu, kausu, sporta rīku un diplomu skaits sasniedza 10 000, un tā bija lielākā šāda veida kolekcija Latvijā.
1974. gadā V. Šmidbergs savu kolekciju testamentā novēlēja topošajam Sporta muzejam, kura veidošana aizsākās tikai 1985. gadā.
1990. gada 1. janvārī oficiāli tika dibināts Latvijas Sporta muzejs kā Latvijas PSR Valsts Fiziskās kultūras un sporta komitejas Valsts Sporta muzejs.
Kopš 1992. gada 7. februāra muzejs atrodas Vecrīgā, Alksnāja ielā.
Latvijas Sporta muzejs atspoguļo sporta attīstību Latvijā no 19. gs. vidus līdz mūsdienām. Muzeja krājums veidots uz V. Šmidberga privātkolekcijas bāzes un papildināts ar sportistu, sporta darbinieku un vecmeistaru dāvinājumiem un iepirkumiem.
Kopš 1990. gada muzejs saņem un uzglabā sporta vēstures materiālus arī no latviešu trimdas zemēm.
Muzejā tiek veidotas izstādes, organizētas lekcijas un lasījumi, rīkoti pasākumi ar sportistu piedalīšanos. Par tradīciju kļuvušas jau 1992. gadā aizsāktās sporta vecmeistaru tikšanās muzejā katra mēneša pēdējā ceturtdienā.
