राचाकोंडा किला 14 वीं और 15 वीं सदी के दौरान इस क्षेत्र पर शासन करने वाले वेलमा राजाओं की राजधानी हुआ करता था। वेलमा राजा शायद दक्षिण के सबसे अलोकप्रिय शासक थे, क्योंकि उन्होंने बाहमनी के मुस्लिम शासकों के साथ गठजोड़ किया और निरंतर रेड्डी राजाओं से जंग लड़ते रहे, जो कोंडावीडू क्षेत्र के शासक थे।
वेलमाओं ने वारंगल के कपाया नाइकास से भी लगातार जंग लड़ी। वेलमा राजाओं ने किले का निर्माण युद्ध के दौरान खुद को बचाने के लिये किया, लेकिन मुस्लिम शासकों ने उनके साथ धोखा किया और वेलमा के शाही परिवार को अपना ही दास बना लिया। वेलमाओं को एक ब्राह्मण ने शाप दिया था कि वे दोबारा कभी शासन नहीं कर पायेंगे।
कुछ लोग मानते हैं कि उसी शाप का परिणाम है कि आज यह राचाकोंडा किला पूर्ण रूप से खंडहर में बदल गया है। हालांकि, इस किले में पर्यटकों और उत्सुक स्थानीय लोगों के रूप में तमाम लोग आते हैं, जो सूर्यास्त के वक्त इस किले को देखना पसंद करते हैं।