Đây là tòa nhà cổ nhất ở Brest, nó được xây dựng cách đây hơn 1.700 năm. Ngày nay, tòa lâu đài đã trở thành địa danh nổi tiếng nhất của thành phố.
Tòa lâu đài đã chứng kiến những thăng trầm của lịch sử qua các cuộc chiến tranh trên biển của Brest trong hơn một thiên niên kỷ qua. Lâu đài được xây dựng với chức năng phòng thủ quân sự là chính. Trong các vụ đánh bom của quân Đồng minh trong Thế chiến II, lâu đài Brest trở thành một trong số ít các tòa nhà trong thành phố chưa bị phá hủy hoàn toàn.
Ngày nay, lâu đài Brest đã được chuyển thành Bảo tàng Hàng hải Quốc gia để giới thiệu về ngành công nghiệp hàng hải Brest cũng như lịch sử hàng hải của Pháp. Nơi đây trưng bày các mô hình của những con tàu nổi tiếng, các tác phẩm nghệ thuật và một số hiện vật khác.