सन् 1904 में स्थापित गोर्टोंन कैसल, गोथिक वास्तुकला शैली का प्रतिनिधित्व करता है। इसे एक प्रसिद्ध ब्रिटिश वास्तुकार, ‘सर स्विंटन जैकब’ के द्वारा स्थापित किया गया था और इसने ग्रीष्मकालीन राजधानी के रूप में अंग्रेजों की सेवा की है। इमारत की बालकनी जटिल ‘राजस्थानी जाली’ (नेट) के काम से सजाई गई हैं।
125 कमरों वाला यह 3 मंजिला महल, ब्रिटिश शासनकाल के दौरान सिविल सचिवालय के कार्यालय के रूप में इस्तेमाल किया जाता था और वर्तमान में यह राज्य के महालेखाकार की सीट है। इस इमारत के निर्माण में संजौली पत्थर का इस्तेमाल किया गया था, हाल ही में लाल पत्थरों वाली छत को गैल्वेनाइज़्ड, लाल लोहे के चादर वाली छत से बदल दिया गया था। अंडमान के, रोज़वुड की लकड़ी के ब्लॉक, इस इमारत के चारों तरफ स्थित हैं।