1904年，日本为了与沙皇俄国争夺势力范围，悍然出兵入侵中国东北，挑起了日俄战争。经过1年多厮杀，日本获胜，并借口保护南满铁路权益，专门成立了一支所谓的“满铁”守备队，加上留驻南满的1个师团，大约两万人。由于当时日本在其控制的区域设置了“关东州”，因此这支部队也称为“关东军”。
1931年9月18日，日本悍然发动“九·一八”事变。磨刀霍霍的关东军借机从南满铁路属地冲出，迅速占领沈阳、长春、辽阳等城市。与此同时，日本本土驻军紧急增援，使得关东军兵力急剧膨胀。1931年仅有3个师团，1932年达到6个，1933-1936年保持5个师团的兵力，1937年达到7个，1938年9个，1939年11个，1940年12个，到日本偷袭珍珠港前，关东军的总兵力一度达到31个师团，总兵力85万人，号称百万。
德军在西面大举进攻，关东军在东面频频演习
随着纳粹德国对苏联发动大规模进攻，关东军度过了一段相对安逸的舒适期，接二连三组织以苏联为目标的大规模军事演习。不过，德军随后在莫斯科城下遭受的挫败，令日本十分忌惮，不敢再贸然进攻苏联。日本军部还专门指示关东军，要“防止对苏发生战争，维持北方静谧状态”。1942年10月，又专门将关东军司令部升格为总司令部，增设两个方面军司令部和装甲军、关东防卫军司令部以及第二航空军司令部，全力加强对苏联方面的防御。
数十万精锐沦为太平洋战场炮灰
1941年12月7日，日本选择南下对美国人动手，挑起了太平洋战争。从此，远在中国东北的数十万关东军主力也开始走向地狱。从1943年下半年起，为挽回太平洋战场的颓势，日军开始陆续从关东军抽调兵力，指望这支“精锐之师”能够挽救失败的命运。1945年1月，日军一次性从关东军抽调13个师团和1支具有高度机械化的特设常备兵团开赴太平洋战场，用来增加各个岛屿的防守兵力。可是，在美军强大的海空军炮火面前，这些部队不但没能扭转太平洋战争的败局，许多人还白白当了炮灰。
关东军紧急补血，防备苏军进攻
1945年4月初，美军攻占冲绳岛，为了保卫日本本土，关东军又贡献了7个师团和三分之一的战略物资。至此，关东军中的精锐师团基本被抽调一空，再与没有昔日“皇军之花”的气象了。但此时法西斯德国即将投降，苏军随时有可能调头东进。为此，关东军只好紧急备战，重新扩充力量。重新征集了在东北的25万退伍军人，加上一些侨民，编成8个师团、7个混成旅团、1个坦克兵团和5个炮兵联队，将关东军总兵力重新补充到到24个师团，约70万人。
70万日军残兵遭到150万苏军毁灭性打击
不过，这70万人与太平洋战争前的70万日军精锐相比，无论武器装备，还是战斗素养都有着天壤之别。1945年8月8日苏联正式向日本宣战，由苏军元帅华西列夫斯基指挥的150万苏军立即在中苏边境展开，分三个方向发起了猛烈攻击，关东军苦心经营多年的防线很快土崩瓦解。虽然直到8月15日日本天皇公开宣布投降时，骄横的关东军依然借口没有接到日军大本营停战令，选择继续顽抗，但也没有多撑几天。
1945年8月19日中午，关东军最后一任总司令山田乙三大将正式宣布投降，并向前来谈判的苏军代表交出了象征指挥权的军刀，其麾下残余的59万余官兵也全部放下武器，关东军集团至此土崩瓦解。
