어느 날 서당에 다니는 어린이 수십 명이 이곳에 와서 제기를 차고 놀다가 불상들을 요절낸 일이 있었다. 이 아이들은 집으로 돌아가 모두 죽었다고 하는 이야기가 전해온다. 또 고순에 살고 있던 박씨 내외는 자식이 없어 한탄하다가 이곳에 와 공을 드린 다음 남자아이를 얻었다는 이야기도 있어 자식 없는 사람들이 이곳에 와서 줄지어 공을 드렸다고 한다. 그러던 중 거처 불명한 사람이 와서 불상 여섯 개를 모두 가져가 버리는 불행을 겪게 되어 절이 없어졌다고 한다.
