몽골 지역에는 선사시대부터 수렵채집인이 살고 있었는데, 약 5000년 전 3000km 서쪽인 흑해 지역에서 유래한 인류집단(안드로노보 문화, 아파나시에보 문화 등의 인도유럽인)이 들어오면서 약 3500년 전 이후후기청동기시대에는 목축업이 널리 유행했다. 이후 몽골 동남쪽, 북서쪽, 서쪽에 세 개의 인류집단이 형성되었고, 이들은 서로 지리적으로 격리된 채 1000년 이상 독립적으로 살았다. 그런데 2900~2300년 전인 철기시대 끝무렵 갑자기 큰 변화가 일어났다. 즉 몽골 고비사막 동남쪽에는 판석묘(장방형의 무덤광에 돌로 된 판을 두른 무덤 형태로, 동북아시아 청동기 시대를 대표하는 석묘)를 쓰는 '고대동북아시아' 인류집단이, 북서쪽 바이칼호 부근에는 고대동북아시아인과 그보다 훨씬 이전에 유라시아 북부에 살던 '고대북유라시아인' 유전자가 섞인 인류집단이, 마지막으로 몽골 서쪽 알타이산맥 부근에는 유럽 지역에서 스텝을 거쳐 온 전차를 사용하는 인류집단(파지릭 문화의 스키타이계 등)이 각각 살고 있었다. 그런데 1000년간 마치 물과 기름처럼 섞이지 않고 있다가 이 시기에 들어서 급격한 섞임 현상이 발생했다. 즉 스키타이계가 주도한 알타이산맥 부근의 파지릭 문화가 붕괴되고 몽골고원에서 발흥한 흉노족이 여러 유목민을 정복해 통합했다. 이때부터 몽골고원에는 특유의 정치 및 군사 체제가 성립되었는데, 즉 선우, 가한, 카간, 칸이라고 불리는 통치자의 명칭과 기병을 중심으로 하는 강력한 군사 시스템이다. 기원전 3세기 무렵 등장한 흉노 제국부터 13세기 초의 몽골 제국까지 몽골고원에는 수많은 유목 제국들이 탄생했고, 그 제국의 흥망성쇠에 따라 인류사가 크게 출렁거렸다.
몽골에 등장한 최초의 유목 국가는 흉노 제국으로, 기원전 209년에 묵특 선우(재위: 기원전 209~174)가 여러 유목민족을 통합해 연맹체제를 이루었다. 흉노의 막강한 군사력은 중국 최초의 통일 왕조인 진(秦, 기원전 221~206)도 위협을 느껴 만리장성을 구축하고, 30만 명의 대군까지 파병해 변경을 지키는 등 흉노의 침입을 막는 데 전력을 다했을 정도였다. 진을 이은 한(漢, 기원전 202~기원후 220)도 개국자 유방(재위: 기원전 202~195)이 흉노와 백등산 전투(기원전 200년)에서 사로잡힐 뻔했으나, 겨우 탈출해 흉노와 형제의 맹약을 맺고 내내 조공을 바치는 굴종을 겪었다. 이후 한무제(재위: 기원전 141~87) 때 내치를 다지고 군비를 강화해 대대적인 흉노 토벌을 시작했는데, 이때 한의 파상공격으로 흉노의 세력이 급격히 약화되었다. 더구나 흉노는 후계자 다툼까지 일어나 세력이 동서로 분열해 서흉노는 기원전 36년에 멸망하고, 동흉노가 남북으로 다시 분열했다가 북흉노는 89년에 멸망했다. 반면 남흉노는 중국 북부 지역으로 남하해 몇 개의 왕조(한, 전조, 후조, 북하)를 세우나, 혁련발발(赫連勃勃)이 세운 북하(407~431)가 탁발선비족의 북위(386~453)에게 431년 멸망함으로써 흉노의 역사는 사라지고, 이후 선비족(북위, 수, 당을 건국) 등과 함께 한족에 동화되었다.
흉노가 사라진 이후 몽골고원과 중국 북부지역에 대한 지배권을 두고 선비, 유연, 오환, 고차 등의 유목민족들이 치열한 각축을 벌였다. 이중 유연(柔然)은 선비족 계열로 탁발선비에 속해 있다가 탁발선비가 남하해 북위(北魏)를 건국하면서 독자 노선을 걸었고 몽골고원을 중심으로 황제국(유연 제국: 330~555)을 자처했다. 화북의 북위와는 같은 선비족 계열임에도 불구하고 철천지 원수 사이였다. 오죽하면 북위가 유연을 '벌레가 꿈틀거린다'는 뜻인 연연(蠕蠕)이라고 부르며 조롱하고 멸시했다. 이처럼 유연 제국은 5호16국시대에 화북 지방을 통일한 탁발선비의 북위 왕조와 치열하게 대립하며 싸웠으나, 북위의 강성한 힘에 눌려 후대에 정복 왕조를 세운 돌궐, 위구르, 거란, 여진, 몽골과는 달리 별다른 위세를 떨치지 못했다. 사실 몽골고원의 역대 유목 국가 중에는 거의 최약체였다. 유연이 제국을 수립한 후 자신들에게 복종하고 있던 고차가 485년, 486년 연이어 반란을 일으켜 겨우 수습했으나, 552년 돌궐족 반란에 유연의 왕 아나괴(阿那壞)가 전사하면서 멸망했다. 이후 유연 왕실은 서부지파는 서위로, 동부지파는 북제로 도주했고 일부 유연인은 바이칼호 일대로 도주해 현재 러시아 부라트 공화국과 치타주 일대로 가서 현지의 실위족(室韋族)과 섞였다.(註) 일부 학자들은 유연의 잔존세력이 헝가리 판노니아 평원까지 이동해 아바르 칸국(567~822)을 세웠다고 주장한다(최근 유전자 분석 결과는 6세기 아바르족 지배층 유전자가 놀랍도록 균일하고 선비족이나 유연과 거의 일치한다고 한다. 현재 혈통적으로 가까운 민족은 동아시아의 몽골인과 북아시아의 퉁구스계통인데 그중 동시베리아 지역에 거주하는 니흐브족과 유전적 유사성이 가장 높다고 한다. 가설대로 유연과 아바르가 동질적인 집단이라면, 니브흐족은 유연의 후손일 가능성이 높다).
(註) 실위족은 6세기에서 10세기까지 중국 동북부의 눈강, 아르군강, 아무르강 유역에 존재했던 동호족의 일파이다. 별칭은 삼십 성 타타르(三十姓達旦) 또는 구성 타타르(九姓達旦)이다. 위구르 제국이 키르기스인의 침략으로 멸망하고 서역으로 도주한 후 실위 중의 한 부족인 몽올실위가 현재의 몽골지역으로 이주해 몽골 제국의 전신인 카마그 몽골을 형성했다. 거란족이 요나라를 형성할 때에는 저복(阻卜), 오고(烏古), 적렬(敵烈), 달단(達旦) 등의 여러 부족으로 나뉘어 거란족의 지배를 받기도 했다.
유연 제국에 복속되어 있던 돌궐족이 551년 일릭 카간의 영도 아래 반란을 일으켜 북위와 손을 잡고 유연을 공격했다. 느슨한 연맹체에 불과하던 유연 제국은 돌궐과 북위의 맹렬한 공격을 버티지 못하고 555년에 멸망한다. 이때 반란을 주도한 일릭 카간(재위: 552~553)이 돌궐 제국(552~745)을 수립한 후, 제3대 무한 카간(재위: 553~572) 때 최 전성기를 맞는다. 서쪽으로 이란의 사산 왕조와 연합해 에프탈(백훈)을 멸망시키고, 아무다리야강을 국경으로 설정해 트란스옥시아나까지 발을 들였고, 동쪽으로는 거란을 꺾고, 북쪽의 계골(契骨, 키르기스)을 병합하는 등 주변의 모든 나라를 복속시켰다. 이때 돌궐 제국 영역은 서쪽으로는 카스피해, 동쪽으로는 고구려의 인접 지역인 다싱안링산맥(大興安嶺山脈)까지 이르렀다. 과거의 유목 제국인 흉노와 유연의 서쪽 영역이 파미르고원을 넘지 못한 것과 비교하면 서쪽으로 대폭 확대된 것이다.당시 북중국은 북위(北魏)가 멸망하고 고씨(高氏)의 북제(北齊)와 우문씨(宇文氏)의 북주(北周)가 다투고 있었는데, 북제와 북주마저도 돌궐 제국을 두려워해 570년부터 앞다투어 조공을 바치면서 눈치를 볼 정도였다. 돌궐 제국의 4대 타스바르 카간은 조공을 바치는 북제와 북주를 남쪽의 두 아이들이라고 부를 정도로 위세를 떨쳤다.(註) 이처럼 강성하던 돌궐 제국도 후계자 다툼으로 인한 내분으로 쇠퇴했고, 이 틈을 타 반란을 일으킨 위구르와 당 연합군에 의해 744년에 사실상 멸망했다(패주한 마지막 카간 바얀은 745년에 피살). 돌궐 제국이 무너진 뒤 잔존 세력이 중앙아시아 및 유라시아 서부 지역으로 이주하면서 몽골고원에서 돌궐족의 정체성은 사라졌다.
(註): 周書에 따르면 북주 조정에서는 화친한 뒤 해마다 명주, 명주솜, 비단, 무늬 있는 비단 10만 단씩 주었다. 북주의 수도(장안)에 머무는 돌궐사람 또한 예로 우대했는데 비단옷을 입고 고기를 먹는 사람이 늘 천 명을 헤아렸다. 북제 사람들도 그들이 침략해 약탈할 것을 두려워해 나라의 창고를 기울여 공급했다. 돌궐의 타스바르 카간은 더욱 교만하고 방자해져 그 무리들에게 말하기를 “단지 짐이 남쪽에 있는 두 아이를 효순(孝順) 하게만 하면 어찌 물자가 없음을 걱정할 필요가 있겠는가?”라고 했다.
위구르 제국(카간국, 744~840)은 튀르크 계열인 위구르족이 세운 국가이다. 당서(唐書)에는 회홀(回紇) 혹은 회골(回鶻)로 기록되어 있다. 위구르의 기원은 현재 중국 신장(新疆)의 우루무치이며, 이 지역에서 동서 교역을 통제하는 제국이었으며, 840년 키르기스인에 의해 멸망할 때까지 거의 1세기 동안 중앙아시아 중남부의 스텝지대를 지배했다. 수도는 오르두 발리크(카라 발가순, 오르콘강 가에 있는 고도)이다. 위구르족은 동돌궐의 지배를 받으며 셀렝가강 유역에서 거주해 오다, 744년 동돌궐을 멸망시키고 제국을 건설했는데, 건국자는 쿠틀루그 빌케 카간으로 알려져 있다. 당나라를 공격한 후 당나라가 굴복해 조공했으며, 한때 동아시아의 대국으로 위세를 떨쳤다. 위구르는 기마 민족 국가로서는 이례적으로 당나라와 어느 정도 우호관계를 유지했으나 이것은 당나라보다 더 강한 군사력을 가지고 있었기 때문에 당나라가 조공하고 평화협정을 맺으려고 했기 때문이다. 757년, 당나라가 안녹산(安祿山)의 난으로 위기를 맞았을 때 위구르군이 수도 장안까지 진군해 난을 진압했지만, 이후 위구르 군대는 장안을 철저히 유린했고 특히 당 태종의 후손들은 여성까지 포함해 모두 위구르 지역으로 끌고 가 당나라로부터 격렬한 항의를 받았다. 반면 티베트와는 전쟁을 벌이는 등 첨예하게 대립했다. 위구르 제국은 820년대 말~830년대 초의 소례 카간 시대까지 세력이 절정에 달했으나, 뒤를 이은 창신 카간이 839년 내부 권력 투쟁 끝에 피살되고, 몽골고원에 역병(탄저병으로 추정)까지 번져 가축이 떼죽음 당하자 몰락의 길을 걸었다. 이런 상황에서 840년 내부 권력 다툼에서 밀린 셍귄 퀼뤽 바가가 시베리아 예니세이강에 자리를 잡고 있는 키르기스족에게 도움을 요청했다. 구원 요청을 받은 키르기스족은 이제껏 자신들을 짓눌렀던 위구르 제국을 결정적으로 붕괴시킬 기회가 왔음을 깨닫고 10만 명의 대병력을 동원해 수도 카라 발가순을 침공해 철저히 파괴했다. 이에 패주한 하서 위구르, 천산 위구르, 카라한 칸국 등의 군소세력이 이후에도 소국 형태로 존재하긴 했으나 위구르 제국은 이 일을 기점으로 멸망했다. 위구르 제국을 무너뜨린 키르기스족도 유목 제국의 계보를 잇는 새로운 제국을 건설하지는 못했고, 이후 공백시기에 많은 위구르 유민들이 중국 북부, 중앙아시아 등으로 퍼져나가게 된다. 본래 중앙아시아 일대는 이란계 소그드인 등 여러 민족이 살던 땅이었으나 오늘날에는 타지키스탄을 제외하면 거의 튀르크계 민족들이 차지하고 있는데, 이때 위구르 유민들의 대대적인 중앙아시아 이주와 정착이 장기적 관점에서 중앙아시아 전체의 튀르크화의 계기가 되었다고 볼 수 있다.
거란 제국(또는 大遼, 916~1125)을 세운 거란족은 동호-선비 계열의 유목민에서 갈라져 나와 4세기경의 중국 사서에서부터 독자적인 민족으로서 식별되었다. 고대에는 몽골고원의 유연-돌궐과 만주의 고구려, 화북의 북위 및 수(隋), 당(唐)의 속민으로 내몽골 일대에 거주했으며, 668년 고구려 멸망 이후에는 위구르와 당나라에게 차례로 정복당했음에도 끈질기게 부흥해 당과 위구르를 약탈했다. 이후 고구려를 계승한 발해와는 대립했다. 916년 야율아보기(耶律阿保機)가 거란족을 통일하고 분열되어 있던 몽골의 여러 부족들을 흡수해 거란 제국을 세웠다. 최초의 국호인 ‘거란’은 종족명을 국호로 사용한 것으로써 건국자인 야율아보기(재위: 916~926)가 제정했고, 두 번째 국호인 '대요(大遼)'는 2대 군주인 태종(재위: 926~947)이 제정했다. 이후 요나라는 랴오둥반도(遼東半島)와 중국 허베이성 일대와 막북(漠北) 지역까지 정복하고, 동아시아 북부의 패자로 군림하며 전성기를 맞이했으나, 고려 침략 등 전쟁에 막대한 자금을 쏟아붓으면서 국력을 소진했다. 급기야 요나라의 지배력이 약화되자 여진족 완안부의 수장인 완안 아골타(完顏 阿骨打) 휘하에서 일어난 금나라와 북송의 연합 공격에 멸망하고 말았다. 이때 황족 야율대석이 이끄는 거란족의 일부가 서쪽으로 도망가 서요(1124~1218)를 건국했으며, 남은 거란족은 금나라의 지배를 받으면서도 부흥운동을 수차례 일으켰으나 실패했다. 몽골 제국이 발흥하자 거란족은 몽골에 흡수되어 몽골 사회 각계에서 활동했다. 몽골 제국 초기까지 거란족은 몽골족과 어느 정도 구분되는 정체성을 가지고 있었지만 중세에 이르러 언어, 문화적으로 비교적 가깝던 몽골족에 동화, 흡수된 것으로 추정되고 있다. 서요와 이를 흡수한 셀주크 제국 역시 몽골 제국에 의해 멸망했다. 오늘날의 중국 내몽골 자치구에 사는 몽골 계통 소수민족인 다우르족(達斡爾族)이 거란족의 직계 후예로 유력하게 추정된다. 다우르족은 2005년 기준으로 인구수 약 12만 명으로 중국의 공식적인 56개의 소수민족 중에서 34위이다. 다우르족은 샤머니즘과 티베트 불교를 믿고 분포 범위도 거란족의 강역과 대체로 일치하고 스스로 거란을 계승하는 전통 의식이 있으므로, 이들이 거란족의 후예라고 봐도 무방하다고 여겨진다. 실제 DNA 분석 결과도 고대 거란족과 현대 다우르족은 유전적으로 거의 똑같다.
몽골 제국은 칭기즈 칸이 이끄는 몽골족이 1206년에 유목 국가에서 출발해 당대 아시아에서 유럽에 이르는 유라시아 세력을 대부분 평정했다. 이른바 '팍스 몽골리카(Pax Mongolica)'를 실현한 대제국이다.