Phía bên phải động Nhị Thanh là chùa Tam Giáo (Tam Giáo Tự). Ngô Thì Sĩ cho rằng đạo là một mà thôi, Phật – Lão chỉ khác tên nhưng nội dung đều là Nho cả. Khổng Tử, Lão Tử và Phật Thích Ca tuy tên là ba nhưng thực đạo đều thống nhất là một. Chính vì vậy Ông đã đưa 3 đạo vào thờ chung một chùa và gọi là chùa Tam Giáo.
Chùa Tam Giáo còn là một loại hình kiến trúc đặc biệt: Không có mái, không có nhà, ban thờ được đặt trong các hang, hốc đá làm cho ta có cảm giác thiên tạo với những nhũ đá kỳ vĩ càng tạo nên sự linh thiêng của ngôi chùa. Hiện nay trong chùa có các cung thờ như: Cung Công Đồng, Cung Tam Tòa Thánh Mẫu, Cung Sơn Trang, Cung Tam Bảo…
Đi thêm khoảng 100m, qua 2 chiếc cầu kiều bắc qua những khúc suối quanh co đã mở ra một không gian rộng lớn với nóc hang cao vút, có cửa thông thiên, phía trong có một thác nước đổ xuống theo khe đá hoà nhập cùng với suối Ngọc Tuyền chảy ngầm dưới nền Động, tạo nên những âm thanh huyền bí. Vào năm 1779, Ngô Thì Sĩ viết trong “Bài Ký Động Nhị Thanh” rằng: “Người đi thuyền phải cúi rạp xuống, dùng tay vịn vào vách đá đẩy thuyền mới qua được và do suối chảy dưới nền động nên không thấy dòng suối đâu”.
Dưới chân thác nước, Ngô Thì Sĩ cho tôn một thềm đất cao để làm sân khấu. Tại đây ông đã chọn làm nơi trung tâm vui chơi giải trí trong ngày mở hội ăn mừng sau khi xây dựng xong chùa Tam Giáo và cải tạo động Nhị Thanh, sau này nơi đây trở thành nơi hội họp biểu diễn văn nghệ của nhân dân trong những năm đế quốc Mỹ ném bom bắn phá miền Bắc nước ta. Trên nóc động có khe nhỏ ánh mặt trời rọi qua, được người dân gọi là hang Thông Thiên.
Ngô Thì Sĩ còn cho khắc ba chữ lớn trên nóc hang là “Hang Thông Thiên”.