Inauguré en 1983 et inscrit depuis 2000 à l’Inventaire supplémentaire des Monuments historiques, le bâtiment d’origine du Musée a été conçu par Roland Simounet.
Né en Algérie en 1927, Roland Simounet entre à l’école nationale des Beaux-Arts de Paris à l’âge de 23 ans. Vite lassé par l’ambiance de l’école, il interrompt cependant son cursus deux ans plus tard et revient s’installer en Algérie. En moins de dix ans, il y réalise une cinquantaine de projets puis quitte à nouveau son pays pour rejoindre Paris. Cette expérience de l’architecture méditerranéenne et l'admiration qu'il voue à l’architecte Louis Kahn ont exercé une influence décisive sur son travail.
Lauréat en 1978 du concours lancé pour la création du Musée, Roland Simounet conçoit un lieu empreint d’une certaine écriture méditerranéenne, mais aussi finement ancré dans une inspiration des pays du Nord. La lumière naturelle y occupe une place essentielle : différentes qualités d’éclairage sont rendues possibles par un système de refends, de loggia et d’ouvertures multiples (sheds, lucarnes, vasistas, lucarnons). Tout au long de la journée, c’est ainsi une luminosité modulée qui vient jouer avec l’architecture, assouplissant la structure rigoureuse, rectilinéaire, fortement dessinée du bâtiment. Les scansions de briques et de béton ne sont pas sans évoquer également l’architecture industrielle. Voûtains, sheds, systèmes d’éclairage zénithal inspirés des usines textiles du Nord, évoquent en effet une tradition de savoir-faire et l’influence de l’architecture industrielle sur l’architecture moderne.
Le bâtiment a été conçu pour répondre à plusieurs besoins : créer un édifice « écrin », capable d’accueillir la collection d’art moderne de la donation Masurel (et plus tard les acquisitions d’art contemporain) et tracer les contours d’un espace culturel ouvert, inscrit dans un environnement naturel. Son architecture, très proche du terrain, semble émerger du sol tout en suivant ses irrégularités et ses courbes de niveau avec fluidité. Le Musée suggère alors de multiples promenades avec coins et recoins, ruptures d’échelle et lieux de transition, dans un perpétuel dialogue entre intérieur et extérieur, offrant au visiteur une liberté de parcours empreinte d’une douce intimité.
