शिर्डी में समाधि मंदिर भक्तों के दर्शन करने के लिए दूसरा स्थल है। कहानियों के अनुसार, नागपुर का एक बड़ा धनी व्यक्ति समाधि मंदिर का स्वामी था। वह इस मंदिर में मुरलीधर की प्रतिमा को स्थापित करना चाहता था और वह साई बाबा का भी बहुत बड़ा भक्त था। किवदन्तियों के अनुसार, बाबा स्ंवय ही उस मंदिर में मुरलीधर बन गऐ और यह मंदिर, समाधि मंदिर बन गया।
स्वर्गीय बाला जी वंसत नेयहाँ 1954 में साई बाबा की मूर्ति को इटैलियन मार्बल से बनाया। यह मंदिर सुबह 5 बजे प्रार्थना के साथ दर्शन के लिए खुल जाता है और रात को 10 बजे प्रार्थना के साथ ही बंद होता है।