En 1365, le roi Charles V construit une nouvelle enceinte de Paris. Chaque porte est alors protégée par une petite « bastide » ou « bastille ». À l’extrémité de la rue Saint-Antoine, deux grosses tours rondes encadrent une porte fortifiée. L’emplacement de cette bastille, qui protège l’hôtel Saint-Pol où le roi s’est installé, ainsi que  l’accès, par la route ou la Seine, à la Cité, au Louvre et à Vincennes, est stratégique. Entre 1370 et 1383, on la renforce par une construction beaucoup plus grande, composée de huit tours de 24 mètres réunies par des courtines et entourée d’un fossé, le tout formant alors un rectangle de 68 sur 37 mètres. La Bastille s’accroît au cours des siècles suivants de bâtiments et de jardins qui, joints à l’Arsenal adjacent, constituent alors un important complexe militaire s’étendant jusqu’à la Seine.

La forteresse de la Bastille devient une prison au XVIIe siècle. On y accède alors par un portail rue Saint-Antoine. L’avant-cour ou Cour des casernes abrite à droite, à partir de 1749, la caserne des Invalides, garnison de la prison. A gauche, à l’extrémité de l’avant-cour, la porte de l’Avancée et un pont-levis donnent accès à une seconde cour, où se dresse l’hôtel du Gouverneur, construit vers 1712. En face, un pont dormant puis un double pont-levis sont alors la seule entrée de la prison. Un bâtiment construit pour l’Etat–major dans la seconde moitié du XVIIIe siècle partage en deux, la cour intérieure de la forteresse. Le grand fossé qui entoure la prison, plus ou moins rempli d’eau selon le niveau du fleuve, se poursuit jusqu’à la Seine. Tout le long de la contrescarpe du fossé, jusqu’à la porte Saint-Antoine, s’élèvent des échoppes.

Obstruant de sa masse, le débouché de la rue Saint-Antoine, la citadelle médiévale s’impose à la population parisienne comme l’expression absolue de la puissance royale.

Tous ces documents sont autant de témoignages de l'histoire du bâtiment.