स्कंदाश्रम कंदस्वामी द्वारा स्थापित किया गया था जिसने एक भवन के प्राथमिक हिस्से का निर्माण आरंभ करने की पहल की जो अब स्कंदाश्रम के रूप में जाना जाता है।
वास्तव में यह आश्रम एक गुफा है जो वीरूपक्ष गुफा के बहुत पास है। इस आश्रम में एक बारहमासी झरना है जिसका पानी पीने के लिए स्वच्छ और सुरक्षित है। गुफा के अंदर दो कमरें हैं जो एक लाइन में बनाए गए हैं। आश्रम की छत से प्रकृति के खूबसूरत नज़ारें देखे जा सकते हैं। आकाश की नीलिमा से मिलती हुई वनस्पति की मोटी और हरी परत वास्तव में लुभावनी है। शहर के क्षितिज पर अरुणाचलेश्वर और तिरुवन्नमलई मंदिरों के भव्य गोपुरम दिखाई देते हैं।
ऐसा माना जाता है कि भगवान 1922 में अपनी माता, अलगम्मल की मृत्यु तक इस आश्रम में रहे थे। पौराणिक कथाओं के अनुसार श्री रमण की माता ने 1922 में इस आश्रम में समाधि ली थी।