羅睺寺位于五臺山臺懷鎮(zhèn)顯通寺和十方堂之間，始建于唐代。唐代時，羅睺寺是大華嚴寺（今顯通寺）的十二院之一，名為善住閣院。

羅睺寺，1492年（明弘治五年）重建。明萬歷年間，李彥妃為祈子登基許愿，撥款重修。1792年（清乾隆五十七年）再經(jīng)修葺。
羅睺寺是五臺山保存完好的十大黃廟之一和五大禪寺之一，寺內(nèi)兩幢木構小樓以接待十方客人而聞名。