घनसेरा देवी मंदिर पहाड़ी के ऊपर बनी घनसेरा गुफाओं में स्थित है। इसी के पास असुरचुला मंदिर भी स्थित है। इन मंदिरों में विभिन्न देवी-देवताओं की पत्थर से बनी अनेक मूर्तियाँ हैं। मान्यताओं के अनुसार, पत्थर की ये मूर्तियाँ कार्तिकेय पुर के खेल राजाओं द्वारा स्थापित की गई थी। इन सभी मूर्तियों में से दो मूर्तियाँ गुप्त वंश के शासनकाल की हैं।