आदि अन्नामलाई मंदिर तिरुवन्नमलई और आसपास के क्षेत्रों में सबसे पुराना ज्ञात मंदिर है। इस मंदिर का निर्माण अरुणाचलेश्वर मंदिर का निर्माण शुरु होने से कम से कम एक सदी
पहले हुआ था। इसलिए, इसे लगभग 2000 साल पुराना माना जाता है। ऐसा विश्वास है कि आरंभ में यह मंदिर साधारण सी लकड़ी की एक संरचना थी जिसमें विभिन्न देवी-देवताओं की मूर्तियाँ स्थापित थी। बाद में गोपुरम जोड़े गए और ईंटों व पत्थरों से एक मंदिर बनाने के लिए इस लकड़ी की संरचना को नीचे लाया गया था। ऐसा माना जाता है कि इस मंदिर कर वर्तमान स्वरूप 1200 सालों से अस्तित्व में है।
स्थानीय भाषा में ’आदि’ का अर्थ है पहला और इसीलिए इस मंदिर के लिए यह नाम उपयुक्त है। यह मंदिर अरुणाचलेश्वर मंदिर से बहुत पहले बना था लेकिन उसकी तुलना में यह काफी नया लगता है। यह मंदिर केवल 1/2 एकड़ क्षेत्र में स्थित है। ऐसा माना जाता है कि इस मंदिर में पूजा जाने वाला शिवलिंग स्वयं ब्रह्या ने बनाया था।