40 मीटर लंबी और 10 मीटर चौड़ी पाताल रुद्रेश्वर गुफा की खोज 1993 में की गई थी। ऐसी मान्यता है कि भगवान शिव ने मुक्ति पाने के लिए यहां तपस्या की थी। एक मान्यता यह भी है कि हिंदू देवी दुर्गा ने यहां के एक स्थानीय निवासी को सपने में दर्शन दिया था और पाताल रुद्रेश्वर गुफा के बारे में बताया था।