1903年张灵甫出生于陕西省长安县（今西安市长安区）东大乡东大村一个家境殷实的农家。1925年秋天，张灵甫来到了广州。由于于右任的介绍信，他成功报考了黄埔军校四期。
抗战期间，张灵甫历任153旅旅长，58师副师长、师长，一直做到74军副军长。抗战结束后，张灵甫被任命为整编74师（即原74军）中将师长。74军被称为御林军。
1946年，国共谈判破裂。第二年3月，蒋介石集结重兵对山东和陕北解放区实施重点进攻。张灵甫的整编74师从南京开拔苏北，两次涟水之战后，74 师连连获胜进入山东。
但这一次，张灵甫遇到的是华东野战军的陈毅和粟裕。他们发现74师孤军深入，因此，他们的目光盯住了有蒋介石“御林军”之称的张灵甫74师。
5月13日黄昏，华东野战军第1、第8纵队利用地形掩护，穿插入74师纵深，割断了74师与其他国军的联系。到15日拂晓，第1、第6、第8纵队分别攻占了垛庄和万泉山，完全截断了74师的退路。至此，华野9个纵队共20万人将张灵甫部围困于孟良崮及其以北的狭小地区内。总攻开始了，经过一天一夜的激战，全部美式装备的整编74师在5月16日全军覆没，张灵甫阵亡。
作为国民党高级将领，张灵甫曾为抗日事业作出过巨大贡献。陈毅要求华野对他进行厚葬。遵照上级指示，由6纵副司令皮定均牵头筹划。
一棵古树下，放着一口半人高的大棺材。棺材是买来的，十分华贵。棺材旁边停放着张灵甫的尸体，已经为他穿好簇新的军装，洗过脸，伤口也整饰过了。由于当时没有找到合适的国民党军服，张灵甫是穿着解放军的军服下葬的。
掩埋张灵甫前，谢胜坤向上级请示：俘虏中的一个少将旅长和8个上校要求最后看一眼他们的师长张灵甫。“大家都觉得，他们跟着张灵甫出生入死，这种感情难能可贵，就同意了。”
9个国民党将校走到担架旁边，围成半月形，跪下，号啕大哭……
张灵甫遗体被埋在了村民刘存莲家的地瓜窖子里，边上立着一个木头牌子上面写着“中国国民党军74师师长张灵甫之墓”
在抗战胜利60周年之际，张灵甫的抗日功绩得以正名。张灵甫之妻王玉玲也曾写下“当年有幸识夫君，没世难忘恩爱情。四七硝烟伤永诀，凄凄往事怯重温”来怀念张灵甫。
