इस मस्जिद का निर्माण, सत्य साईं बाबा के निर्देश पर 1978 में करवाया गया था। जहां यह मस्जिद खड़ी हुई है वहां एक मुस्लिम शिलालेख पाया गया था। ऐसा माना जाता है कि इस भूमि को खोदने पर कई दुर्भाग्यपूर्ण घटनाएं होती थी लेकिन बाबा के निर्देश पर इसे खोदा गया और यहां एक शिलालेख मिला। बाद में इस स्थान को मस्जिद में बदल दिया गया। मस्जिद के निर्माण के बाद ये सभी दुर्घटनाएं बंद हो गई थी।