부사관의 역사를 찾아보면 과거 고대시대까지 거슬러 올라가야 한다. B.C. 3세기 그리스에서 제논(Zenon, B.C. 340~250)이라는 사람이 주장한 스토아학파가 등장하였다. 스토아학파는 강인한 체력 및 자기 절재 능력을 중시한 학파로 자연에 순응하는 생활을 으뜸으로 여기는 학파였다. 이러한 사상적 배경이 로마군의 ‘프린키팔라스’의 정신적인 영향을 주었다고 할 수 있다.
로마군의 ‘프린키팔라스(Principalis)’ 직책은 로마장병 10명을 지휘하는 직책이다. 이 직책의 세부역할은 로마군의 지휘관급인 캡틴(Captain; 100 ~ 600명을 지휘)을 보좌하여 행정업무 및 군수업무를 담당하고 예하 장병들의 군기와 교육훈련 등의 임무를 맡았다. 지금으로 비교하면 당시 프린키팔라스는 오늘날의 부사관 또는 준사관보다 더 많은 역할과 권한을 가진 계층이었다.
이후 로마가 몰락하고 중세봉건시대에 나타난 기사계급을 도와주던 계층이 있었는데 이를 ‘Sergeant’로 부르며 이 직위를 부사관의 모체라고 볼 수 있다.
근대에 들어서는 15세기 이탈리아 군의 기본부대 단위인 스콰트라(Squadra; 25명)를 지휘하는 계층인 코포럴(Corporal)이 등장하면서 본격적인 부사관 계급이 등장하게 된다. 이후 세계적으로 상병을 뜻하는 코포럴 계급부터 부사관으로 인정하고 있다.
현재의 부사관제도를 완성 시킨 것은 19세기 초 나폴레옹의 군대에서 시작하였다. 특히 나폴레옹 시대 이후로 무기체계와 전술이 발전함에 따라 많은 전장과 전술이 변화되었고, 이는 부사관계층이 소규모 전투나 병사들의 교육/훈련, 첨단장비 운용에 핵심적인 역할을 수행하는 계기가 되었다.
우리나라의 부사관제도는 고려시대를 시작으로 보고 있다. 고려시대에 작성된 ‘고려사’에 고려 7대왕 목종이 ‘군교(軍校)’라는 직책을 사용한 것이 나온다. 이 직책은 고려시대 군대의 25명을 지휘한 직책으로 나오는데 이를 현대의 부사관과 같은 역할과 임무를 수행했을 것으로 추정한다. 이후 조선시대에 들어서면서 육군과 수군을 구분하게 되고 부사관의 역할을 담당하던 신분이 본격적으로 만들어지게 되었다.