भैरबी मंदिर देवी दुर्गा को समर्पित है। तेजपुर के बाहर स्थित इस मंदिर से शानदार कोलिया भोमोरा पुल को देखा जा सकता है जो ब्रम्हपुत्र नदी के ऊपर बना हुआ है। भैरबी मंदिर बामुनी पहाड़ी के अवशेषों के पास स्थित है।
ऐसा विश्वास है कि बाणासुर की पुत्री राजकुमारी उषा यहाँ देवी दुर्गा की पूजा करने नियमित रूप से आती थी। इससे यह पता चलता है कि यह मंदिर बहुत पुराना है। इस मंदिर में आज भी जानवरों की बलि दी जाती है। भैरबी मंदिर तक पहुँचने के लिए भक्तों और पर्यटकों को बहुत सीढियां चढ़नी पड़ती हैं।
वर्तमान में मंदिर का प्रबंधन जिला उपायुक्त के कार्यालय द्वारा किया जाता है। भैरबी मंदिर तक की यात्रा कठिन नहीं है। पर्यटक अपना स्वयं का वाहन आरक्षित कर सकते हैं या इस रास्ते पर चलने वाली बस में भी सवारी कर सकते हैं। भैरबी मंदिर शहर के दक्षिण में स्थित है।