Au début du XIXe siècle, les confiscations révolutionnaires ont enrichi de façon spectaculaire les collections de la Bibliothèque nationale, mais rien n’a été prévu pour exploiter cette soudaine richesse : ni les hommes, ni les bâtiments, ni les moyens financiers.
La Bibliothèque impériale conserve alors plus de deux millions de volumes et doit tenir compte de la croissance exponentielle que connaît la production imprimée tout au long du siècle. Certes le dépôt légal n’est pas très efficace, mais ses carences sont compensées par l’envolée de la production dans la deuxième moitié du siècle. Rue de Richelieu, les bâtiments menacent ruine : installée dans un palais Mazarin vieilli, hétéroclite, un peu délabré, la Bibliothèque dépare l’élégant quartier de la nouvelle Bourse.
Une commission est créée fin 1857, animée par Mérimée. Le rapport de la commission Mérimée deviendra en quelque sorte le programme du projet confié à l'architecte Henri Labrouste.

À peine nommé architecte de la Bibliothèque impériale en 1854, il détruit la galerie construite par Visconti et l’hôtel de Chevry. Il répare l’hôtel Tubeuf, puis élève deux galeries perpendiculaires qui se rejoignent au carrefour des deux rues par la rotonde Voltaire. Il épargne les galeries peintes, qu’il fait restaurer.
Il projette la nouvelle salle de lecture des Imprimés en couvrant une partie de l'ancienne cour. Son premier projet, étudié en avril 1859 est assez semblable à celui que nous connaissons, sinon sur un point essentiel, la couverture de la salle de travail : le vitrage plat, en fer et en verre, ne prendra que plus tard la forme actuelle des célèbres coupoles. La séparation entre la salle et les magasins est horizontale : un seul niveau pour la salle, mais cinq pour les magasins – il n’était pas possible d’en prévoir plus, en l’absence de tout éclairage artificiel. La circulation des ouvrages se fait dans un espace professionnel, et débouche dans l’hémicycle, entre les magasins et la salle. Pour Labrouste, le bâtiment n’est pas un objet en soi, il doit se soumettre à sa fonction.

La fin des travaux est moins inspirée : la façade sur le square Louvois, qui remplace la grande galerie de l’hôtel de Nevers, ne fait pas l’unanimité. Labrouste la voulait ouverte par des arches sur le square, l'administrateur s’y oppose pour des raisons de sécurité ; le mur plein renforce le caractère austère du bâtiment.