Derrière la salle Labrouste s'ouvre le fameux magasin central, par une porte de près de huit mètres de haut, soutenue, pour ne pas dire gardée par les deux cariatides monumentales du sculpteur Joseph Perraud.
Un peu moins large que la salle de lecture, c'est une sorte de cour rectangulaire de 1218 m², éclairée par un plafond vitré, et comprenant 5 étages, divisés en salles avec des galeries de communication. Les cinq niveaux de 2,30 m de haut évitent le recours aux échelles. L'électricité étant proscrite à la Bibliothèque jusqu'en 1925, le magasin est éclairé par un toit en verrière, et la lumière pénètre au moins jusqu'au rez-de-chaussée grâce à des caillebotis ; on peut penser que le sous-sol, mal éclairé, devait servir plutôt aux calorifères qu'au stockage des ouvrages. Conçu pour abriter un million deux cent mille volumes, il est déjà insuffisant dès son inauguration, puisque des collections entières doivent rester stockées dans d'autres salles du bâtiment : mais sa conception verticale, sa proximité de la salle et un ingénieux système de transport des ouvrages permettent une efficacité et une rapidité de service impossibles jusqu'alors.

À la Bibliothèque impériale, Labrouste se trouve confronté à un double problème : l’ampleur des collections et leur accroissement constant. Les estimations que l’on peut en avoir varient assez sensiblement, mais dépassent toutes le million de volumes. Ils sont alors rangés dans plus de trois cent pièces de l’ancien palais, souvent plus ou moins accessibles aux chercheurs, qui travaillent ainsi au milieu des ouvrages. Labrouste va proposer une solution rationnelle pour leur stockage, avec son magasin central adossé à la salle de travail. Dans la première moitié du siècle, les bibliothèques sont presque toutes de grandes salles entourées de livres, sur plusieurs niveaux accessibles par des échelles mobiles ou par des galeries superposées. Le modèle est celui des couvents médiévaux, revus à la Renaissance. Le magasin conçu comme une unité autonome est révolutionnaire ; proposé dès 1816 par l’architecte italien Della Santa, il n’a encore été réalisé qu’une fois à une échelle un peu comparable, à la Staatsbibliothek de Munich. Déjà, à Sainte-Geneviève, Labrouste a construit un magasin indépendant, mais il est censé n’abriter que les doubles. Rue de Richelieu ce sont deux espaces de surface sensiblement égale consacrés, l’un au public, l’autre aux documents. Entre les deux, l’hémicycle, réservé aux bibliothécaires, crée la rupture entre espaces de stockage et espaces de lecture. Certes des ouvrages restent placés sur le pourtour de la salle, mais ce ne sont pas les plus demandés.