中國

戰國已有，時名位高於偏將軍。秦因之。前漢不常置，金印紫綬，位次于上卿。職掌為典京師兵衛，或屯兵邊境。後漢時，屬於「諸名號將軍」，曾有「無上將軍」威號存在但不常置，屬榮譽銜。漢末以後，將軍名號繁多，名稱素樸之前、後、左、右之類，遂漸廢棄。三國魏晉時只作為尊稱。唐宋時期上將軍官位複原。

唐朝官制，上將軍從二品，大將軍正三品，將軍從三品。上將軍是唐代十六衛的主官，大將軍為副手。自唐以後，上將軍、大將軍、將軍，或為環衛官，或為武散官。宋、元、明三朝，多以將軍為武散官；殿廷武士也稱將軍。

朝鮮

高麗時代始設，武臣政權時期與大將軍各十六名共同組成決議事務的最高機關重房。