仁者乐山，智者乐水。民间传说，唐贞观末年，唐太宗的谏议大臣魏徵告老还乡，想离开喧闹的京城，脱离纷乱的世事，寻得幽静之地，安度晚年。河北是他当年征战，一手收复的地域，对河北有深厚的感情。尉迟恭为他建造在王家湾的清泉寺，终因距村庄较近，进香拜佛者甚多，不为心悦。他顺桑干河一路而上，行至这座山前一看，见此地清静圣洁，山高峰奇，十分满意。便对一孔石洞加以装修，在内打一盘火炕，然后在洞口处砌上砖，安上门窗，后面开一小洞，安上小窗户，内装隔扇。真正的冬暖夏凉。魏徵和夫人便定居于此，整日打坐洞内，吃斋、念佛。