Bên ngoài các bức tường tu viện của Erdene Zuu Khiid là hai con rùa đá. Bốn trong số những tác phẩm điêu khắc này từng đánh dấu ranh giới của Karakorum cổ đại, đóng vai trò là người bảo vệ thành phố (rùa được coi là biểu tượng của sự vĩnh hằng). Mỗi con rùa ban đầu có một tấm bia đá được khắc thẳng đứng trên lưng nó.
Một điều rất dễ tìm thấy: chỉ cần đi ra khỏi cổng phía bắc của tu viện và đi theo con đường phía tây bắc khoảng 300m. Địa điểm này cũng là nơi khai quật khảo cổ do một đội Đức dẫn đầu.
