गजपुर, हाथियों के रखने की एक जगह है। वर्तमान में यह जगह खंडहर में बदल चुकी है, लेकिन फर भी यहां घूमना दिलचस्प है। राज्य में राजा के शासन के दौरान यहां पर सैनिकों के लगभग 1000 हाथी बांधे जाते थे। राजा के द्वारा स्थापित एक शहर के निर्माण के जश्न में आदेश जारी किया गया था, एक जगह खरीदी जाएं जहां हाथी रखे जाएं, उसके बाद ही इस जगह का निर्माण किया गया था।
जल्दी ही राजा को एहसास हो गया था कि 1000 हाथियों को पकड़ना मुमकिन नहीं है, बाद में उन्होने इस जगह का नाम गजपुर रख दिया। गज एक असमिया शब्द है जिसका अर्थ होता है - हाथी।
गजपुर, शिव मंदिर के उत्तर में स्थित है। शहर के केंद्र से गजपुर तक पहुंचना बहुत आसान होता है। पर्यटक, आसानी से टैक्सी या बस से गजपुर तक आ सकते है।