मदरेश्वर शिव मंदिर, भगवान शिव को समर्पित है। यह प्रसिद्ध मंदिर, शहर के पूर्वी भाग में पहाड़ी की चोटी पर, एक प्राकृतिक गुफा के अन्दर स्थित है। चूंकि यह शिव मंदिर एक गुफा के अंदर है, इस मंदिर में आने वाले श्रद्धालु इसकी तुलना अमरनाथ के महान तीर्थ के साथ करते हैं। महा शिवरात्रि एक महत्वपूर्ण अवसर है जब यहाँ रुद्र अभिषेक पूजा की जाती है।
यह मंदिर कवाड़ी यात्रा का शुरुआती स्थल है जो कि बनेश्वर मंदिर में समाप्त होती है। यह यात्रा पैरों पर पैदल की जाती है और इसमें माही नदी का पानी लाने और पूजा (पूजा) का आयोजन भी शामिल है। मंदिर जिला मुख्यालय से 4 किलोमीटर की दूरी पर स्थित है और टैक्सियों और दो पहिया वाहनों के द्वारा इस तक आसानी से पहुँचा जा सकता है।