차귀도는 오백장군 설화가 전해지고 있다. 오백장군 설화에서 어떤 어머니가 아들을 500명 데리고 살았다. 흉년이 들자 어머니가 아들들에게 양식을 구해 오도록 했다. 아들들이 돌아오기 전에 죽을 끓이기 시작했는데, 그만 발을 헛디디어 솥에 빠져 죽어 버렸다. 돌아온 아들들은 집으로 돌아왔고 솥단지에서 죽을 퍼먹었다. 그러다가 사람 뼈를 발견한 막내가 어머니의 뼈라고 밝히고 어찌 먹을 수 있겠느냐고 울며 차귀도로 떠났고 거기서 바위가 되었단 전설이 전해지고 있다.