Lâu đài là một phần của pháo đài thị trấn thời trung cổ. Nó chứa tất cả các phong cách từ Chủ nghĩa lãng mạn đến Gothic và Phục hưng. Ở lối vào phía bắc, một tấm biển tưởng niệm ghi nhớ công việc của bậc thầy nổi tiếng ở Đức, Hans Sachs ở Wels.
Có lẽ, lâu đài Polheim được thành lập dưới thời Peco của Polheim vào khoảng giữa thế kỷ 13, bằng cách lắp ráp một số ngôi nhà mà Polheimer đã có được theo thời gian. Tòa nhà hình thành phần phía bắc của bức tường thành phố thời trung cổ và do đó là một phần của pháo đài thành phố. Lối vào lâu đài trong sân lâu đài dẫn đến Ringstr ngày nay đã từng được bảo vệ bởi một cây cầu và một con hào. Phần thời trung cổ của lâu đài, với tháp gothic, khung cửa sổ và huy hiệu gothic, được kết nối trực tiếp với phần phục hưng của lâu đài. Kiến trúc đẹp của cửa sổ của nó đặc biệt đáng chú ý ở phần này của lâu đài. Trong sân của tòa nhà, người ta vẫn có thể nhìn thấy nhà nguyện gothic cũ với các cửa sổ gothic muộn.
