श्री वरदराजा पेरूमल मंदिर को सदियों पहले राजा कृष्णवर्मा ने बनवाया था जो श्री वरदराजा पेरूमल के एक कट्टर अनुयायी थे। पौराणिक कथा के अनुसार, जब राजा कृष्णवर्मा पर पड़ोसी राज्य के राजा ने हमला किया तो इस देवता ने वीरराघवन के रुप में इस राजा की मदद की थी।
भगवान के सम्मान में राजा ने इस मंदिर को बनवाया। इस मंदिर के आसपास राजा ने एक शहर का भी निर्माण किया, जो वीरराघवपुरम के नाम से जाना जाने लगा। यह मंदिर तामिरभरणी नदी के तट पर स्थित है।
इस मंदिर के मुख्य देवता या "मूलवर" वीरराघवन हैं और मंदिर की "उत्सव मूर्ति" श्री वरदराजा पेरूमल है, जिनके नाम पर इस मंदिर का नाम रखा गया है। इस मंदिर के दर्शन करने के लिए त्योहारों का मौसम साल का सबसे अच्छा समय है। तमिल के चीतरई महीने (मध्य मई से मध्य अप्रैल) में मनाया जाने वाला ब्रह्मा उत्सवम के दौरान इस मंदिर के दर्शन करना एक फलदायक अनुभव होगा।
यह मंदिर सुबह 7.00 से 11.00 बजे तक तथा शाम को 6:00 बजे से रात के 9:00 बजे तक खुला रहता है।