Nằm trên một ngọn đồi ở phía đông bắc của trung tâm thành phố, kiến trúc của nó gần giống với Fuerte San Migue ở San Miguel, nhưng ở quy mô nhỏ hơn, cấp độ hiện tại trở thành một bảo tàng vũ khí và tàu. Lâu đài của San Jose cách biển một chút, và khẩu pháo được đặt trên bãi cỏ dưới lâu đài.
Địa hình của lâu đài là nguy hiểm, và phía bắc pháo đài là biển. Những khẩu đại bác trên lâu đài hướng thẳng vào Vịnh Mexico rộng lớn. Lâu đài có hai bức tường, bức tường bên ngoài không cao, nhưng nó dày và chắc chắn, và có một rãnh rộng giữa bức tường bên ngoài và bức tường bên trong. Các bức tường bên trong của Megalith lên đến vài mét. Mỗi góc trong bốn góc của bức tường bên trong có một boong-ke tròn. Có những con đường dẫn vào bên trong lâu đài, nhưng có một số cách để đi qua những con đường hẹp với những bức tường cao ở hai bên.