La précédente bibliothèque est détruite en juin 1940 lors de l'incendie qui ravage l'entrée de ville monumentale à la suite de tirs d'obus incendiaires allemands. La reconstruction de l'édifice est confiée en juillet 1950 à l'architecte Pierre Patout, alors chargé de la reconstruction du quartier sinistré. Les travaux débutent en juin 1953. Une cérémonie officielle a lieu le 29 mai 1954 pour la pose de la première pierre par le ministre de l’Éducation nationale André Marie. Après un long chantier, la bibliothèque ouvre enfin ses portes en novembre 1957. Bâtiment typique de la Reconstruction et marquant l'entrée nord historique de la ville, elle fait l’objet d’une inscription au titre des monuments historiques depuis le 31 décembre 1996. D'importants travaux de réaménagements et remise aux normes obligent la fermeture du site entre avril 2012 et décembre 2013.