Động nhị thanh là một trong tám cảnh đẹp nhất của xứ Lạng. Ở bên trong của khu di tích này có 20 văn bia tạc trực tiếp trên vách đá, bạn vừa có thể thăm thú cảnh đẹp, lại vừa có thể tận hưởng không khí mát mẻ mà nơi đây đem tới.
Động Nhị Thanh được danh nhân Ngô Thì Sĩ khám phá và tôn tạo khi ông làm Quan Đốc Trấn Lạng Sơn từ năm 1777 – 1780. Ông đã phát hiện ra động Nhị Thanh và cho hưng công xây dựng chùa Tam Giáo, Đình duyệt quân, Thạch miên am, Thụy tuyền hiên, Trai táo. Ngô Thì Sĩ bắt đầu cho tiến hành việc tôn tạo từ tháng Trọng Thu năm Kỷ Hợi (tức tháng 5 năm 1779 âm lịch) đến tháng Mạnh Thu (tức tháng 7) cùng năm thì hoàn thành.
Ông đã dùng chính tên hiệu của mình đặt tên cho động, chính vì vậy mà động có tên gọi là động Nhị Thanh. Tại đây, người xưa đã khắc chân dung Ngô Thì Sĩ trên hốc đá nhỏ ở độ cao 8m trong tư thế Kiết Già ngồi dựa vào vách đá giống như người thật của ông. Đây là bức chạm khắc chân dung có giá trị nghệ thuật độc đáo được tạo tác vào đá nhưng không làm mất đi vẻ mềm mại của thân thể (trong bia Ma Nhai Bài Ký Động Nhị Thanh nói rõ về điều này). Ngày nay nhằm báo đáp công ơn của Ngô Thì Sĩ, nhân dân trong vùng đã cho xây dựng ban thờ Ông ngay trong động Nhị Thanh.
Ngày 28 tháng 7 năm 1779 âm lịch, Ngô Thì Sĩ tổ chức mở hội tại nơi đây, trên chùa Tam Giáo thì tế lễ, trong động Nhị Thanh tổ chức ăn uống, ca hát, múa rối nước và các trò diễn khác trong 7 ngày 7 đêm. Trong bia Ma Nhai “Bài ký động Nhị Thanh” có ghi về việc này như sau: Đêm đầu mở hội có một con hổ to như con bò đến gần sân khấu hang Thông Thiên vòng quanh đàn lễ rồi đi không thấy quay trở lại, nên dân chúng ban đêm không còn sợ hãi nữa; lại có một con Giao Long, râu và đuôi đều đỏ vào phường múa rối nước như muốn xem trò, đuổi cũng không đi, khi các trò diễn kết thúc thì không thấy đâu nữa nên mọi người dự hội ai cũng cho là lạ. Sau đó Ngô Thì Sĩ đã cho tạc tượng Hổ ở bên phải và tượng Giao Long ở bên trái trước cửa động Nhị Thanh để ghi nhớ hai con vật linh thiêng.