宋初，三师三公只是作为升迁资序所用，并无执掌。太尉旧在太保之下，自五代以来则提升至次于太师而在太傅之上。徽宗年间重定武官制度后，太尉成为武阶官之首，而司徒司空则被三少所代替。
另外，在某些礼仪中会出现以其他官员临时充当太尉等职位的现象。如宋真宗天禧元年宣读天书之礼，分别以向敏中摄太尉，王曾摄司徒，张知白摄司空。诸如此类都是礼毕即罢，并非真行除拜。
太尉始于秦朝时期。秦王嬴政登基后，改设三公九卿。三公即为丞相、御史大夫、及太尉，分别为辅政，监察及治军领兵。但秦朝并没有设置太尉的具体人选，也就是形同虚设。原因在于秦当时为中央集权制，军政经合为始皇帝一体，所以若将兵权拱手送于他人之手，秦王政的统治会受到严重威胁。
到西汉时期中央和地方各级官吏的名称基本沿用了秦朝的制度。但与秦朝不同的是，在皇帝之下设立了三套平行的官僚体系，分别为丞相率领的外朝官、大将军率领的内朝官、以及处理皇帝与皇族私人事务的宫廷官。
其中外朝官为西汉中央政府的最高行政权力由丞相、太尉、御史大夫三人分掌，其下分设九卿、列卿等。但由于官制名目甚多也有一定的分权目的，所以太尉的实权性时时不定。
