Được xây dựng vào cuối những năm của thập kỉ 90 thuộc thế kỷ 19, và do quân đội Pháp xây dựng, là nơi để giam giữ các tù nhân kháng chiến thời ấy. Trong tiếng Pháp, nhà tù Hỏa Lò có tên là Maison Centrale, có nghĩa là nhà lao trung ương và được dịch lại trong tiếng Việt thành tên Ngục thất Hà Nội.
Với diện tích lên tới 12 ngàn mét vuông, chính là nhà tù cao cấp nhất trong cả 3 nước Đông Dương bị Pháp thuộc thời đó. Nhìn chung, nhà tù được chia thành 4 khu vực khác nhau, mỗi khu vực đều được bao bọc bởi những bức tường đá dày, có độ cao lên tới 4 mét và phần trên còn được chăng thêm các loại dây cáp điện để ngăn chặn sự trốn thoát của tù nhân. Bốn khu vực của di tích nhà tù Hỏa Lò cũng được phân cấp để làm nơi giam giữ các tù nhân ở các mức độ khác nhau, trong đó khu D là khu vực giam giữ tù nhân tội nặng nhất và hầu hết đều là các tử tù.