거란족이 세운 요나라는 고려를 잘못 건드렸다가 국력이 급속도로 쇠약해져 스스로 망했다. 하지만 고려의 경우도 거란과의 3번에 걸친 전쟁으로 국토가 황폐해지고 백성들의 삶은 어려워졌다. 더욱이 북진정책을 통해 고구려의 옛 땅을 되찾겠다는 굳은 의지를 가진 호족들의 시대가 어느덧 지고 있었다. 호족 중에서도 왕실과 혼인을 하거나 조상의 관직을 물려받는 음서제를 통해서 중앙으로 진출한 가문만이 권력과 부를 독점하게 되었다. 이들을 호족과 구별하여 문벌 귀족이라 부른다.
문벌 귀족은 하나부터 열까지 모든 것을 다 스스로 만들고 개척하던 호족과는 달랐다. 태어날 때부터 모든 것을 다 가진 지배 계층이었다. 특별한 노력을 기울이지 않아도 공음전을 통해 부모의 경제권을 물려받을 수 있었고, 음서제를 통해 중앙 관리로 진출할 수 있었다. 모든 것을 다 가졌지만 어려운 사람을 도와주려는 배려심은 없었다. 그리고 나라를 사랑하는 마음도 없었다. 오로지 자신들의 이익만을 추구하는 욕심만 가득하였다.
이 무렵 고려와 거란 사이에서 눈치를 살피던 여진족이 흥기하였다. 여진족에서도 새로 만들어진 완옌부라는 부족이 크게 성장하며 고려로 세력을 확장하기 시작하였다. 잉게 (1053~1103)가 완옌부를 이끌던 시절에는 고려의 속국임을 자처하며 스스로 머리를 숙였기에 큰 문제가 발생하지 않았다. 그러나 잉게가 죽고 우야슈(1061~1113)가 새로운 추장이 되자 상황이 달라졌다. 고려에 반기를 든 것은 아니었지만 여진족 내부에서 완옌부에 복속되었던 다른 부족들이 우야슈를 인정하지 않으면서 내전이 벌어졌다. 문제는 내전의 장소가 고려와 맞닿은 국경 근처였다.
고려는 여진족의 내분이 고려를 침공하기 위한 속임수라고 생각하고 토벌군을 국경 근처로 보냈다. 장수 임간에게 군대를 주어 여진을 내쫓으라고 명령을 내렸지만, 오히려 크게 패하면서 고려가 과거의 강국이 아님을 여실히 보여주었다. 고려의 숙종은 윤관을 보내 여진족을 다시 한번 토벌하게 했지만, 보병 중심의 고려군은 말을 타고 싸우는 여진의 기동력에 속수무책으로 당할 수밖에 없었다.
여진족과의 전투에서 패배한 윤관은 숙종에게 기존의 군대로는 여진을 상대할 수 없음을 설명하며 특수부대 창설을 주장하였다. 숙종은 이를 받아들여 기마병 위주의 신기군, 보병 중심의 신보군, 승병과 특수병 중심의 항마군으로 구성된 별무반을 1104년 창설하였다. 3년여에 걸친 훈련 끝에 정예병으로 탈바꿈한 별무반은 숙종의 유지를 받는 예종에 의해 여진 토벌에 나섰다.
20만에 가까운 대규모의 별무반은 여진족을 앞에 두고 거칠 것이 없었다. 여진족의 전략 전술을 이미 파악하고 준비를 철저히 했던 윤관과 고려 시대 최고의 무장이었던 척준경은 큰 승리를 거두었다. 여진을 내쫓은 자리에 동북 9성을 쌓아 고려의 영토를 북쪽으로 크게 넓혔다.
이후 여진족은 동북 9성을 돌려달라며 고려의 국경을 침략하는 등 끊임없이 괴롭혔다. 윤관과 별무반은 동북 9성을 지키기 위해 애를 썼지만, 개경에 있는 문벌 귀족들은 생각이 달랐다. 동북 9성으로 인해 여진족과의 전쟁이 길어지면, 전쟁의 부담을 견디지 못한 백성들의 불만이 자신들에게 돌아올까 두려웠다. 그들은 예종을 설득하여 동북 9성을 여진에게 돌려주고, 윤관을 비롯한 오연총에게 국가의 재정을 크게 어지럽혔다는 이유로 죄를 물었다.
윤관은 영토를 개척하여 고려가 동아시아의 맹주로 나설 기회를 만들었음에도 불구하고 관직에서 쫓겨났다. 이후 여진족은 동북 9성을 발판 삼아 금(1115~1234)을 건국하고 동아시아의 맹주가 되어 고려를 신하의 나라로 전락시켰다. 그러나 윤관을 내쫓은 문벌 귀족들은 아무런 죄의식도 갖지 않고 왕권을 농락하며 자신들의 이익만을 챙겼다. 이 당시 문벌 귀족의 대표적 인물이 이자겸(?~1126)이다.