La prima idea di un Museo della Specialità Granatieri nacque il 5 marzo 1903, allorché una rappresentanza di Ufficiali dei due Reggimenti si riunì nella Sala dei Ricordi Storici della Caserma "Ferdinando di Savoia" in Roma e propose che in quella sede venissero raccolti cimeli, documenti e dati storici allo scopo di "perpetuare le glorie e le tradizioni della Brigata Granatieri". L'iniziativa ottenne ampie adesioni ed il piccolo Museo, anche grazie all'appoggio della casa regnante, cominciò subito un'intensa attività di recupero e promozione delle illustri tradizioni dei "Bianchi Alamari".

Già all'epoca della Guerra di Libia (1911), tuttavia, la quantità e la qualità dei materiali storici raccolti era tale da imporre l'esigenza di una loro sistemazione in una nuova e più idonea sede. Tale necessità veniva sancita ufficialmente negli atti del Museo, in un verbale del 3 luglio 1912, nel quale si indicava, quale possibile ubicazione, la Caserma "Umberto I" in Piazza Santa Croce in Gerusalemme, a Roma. L'avvento della Prima Guerra Mondiale impose, però, di rinviare il progetto.

Alla fine del conflitto, per interessamento del Consiglio del Museo, il Comune di Roma assegnò un'area in Piazza Santa Croce in Gerusalemme perchè vi sorgesse la nuova sede ed il 3 giugno 1922, alla presenza di Vittorio Emanuele III, venne posta la prima pietra dell'edificio.

Edificato da maestranze costituite per la maggior parte da Granatieri volontari e con il determinante contributo economico dei Granatieri di tutta Italia, il Museo venne inaugurato, alla presenza dei regnanti di casa Savoia, il 3 giugno del 1924, 265° anno dell'istituzione del Corpo.

Scampato nel luglio del 1943 al bombardamento del vicino scalo ferroviario di San Lorenzo, nel 1986 il patrimonio del Museo dei Granatieri, come quello degli altri Musei delle Forze Armate, è stato devoluto, con decreto del Presidente della Repubblica, al Ministero della Difesa ed ha assunto lo statuto di Reparto della Brigata Meccanizzata "Granatieri di Sardegna".​