Les projets ont foisonné dans la première moitié du siècle, mais c’est avec le Second Empire et la nomination d’Henri Labrouste que commence l’ère des réalisations.
Architecte de la Bibliothèque Sainte-Geneviève entre 1838 et 1850, il est nommé le 16 février 1854 architecte de la Bibliothèque impériale.
Henri Labrouste commence par la réhabilitation de l’hôtel Tubeuf et de la galerie Mansart.
Il démolit la galerie de Visconti, remplacée par une grille sur la rue Vivienne, crée le bassin central du jardin Vivienne.
De 1860 à 1868, Labrouste réalise la partie Sud de son projet, soit les nouveaux bâtiments le long de la rue des Petits Champs s’achevant sur la rotonde des Donateurs, l’aile Richelieu jusqu’au square Louvois, la salle de travail et le magasin central des Imprimés. Le département des Imprimés s’implante le long de la rue des Petits Champs et le cabinet des Médailles est transféré en 1865 de la partie attenante à l’arcade Colbert dans les parties achevées le long de la rue de Richelieu. La salle de travail est ouverte le 12 juin 1868.
De 1868 à 1873, Labrouste rase ce qui restait de la grande galerie de l’hôtel de Nevers au Nord de la partie qu’il vient de reconstruire, y compris l’arcade sur la rue Colbert. Ceci lui permet de construire l’aile Louvois, les pavillons de la cour d’honneur, le grand escalier d’honneur pour desservir la salle de lecture des Manuscrits. Il commence le réaménagement de l’aile Robert de Cotte.
En 1873, l’entrée principale actuelle est créée, plus au Nord que la précédente. En 1874, l’architecte signale le délabrement du pavillon Jules Robert de Cotte, qui ferme au Nord la cour d’honneur, et commence à le démolir. La mort le surprend le 24 juin 1875 et Jean-Louis Pascal lui succède.