在明代镇守边陲的名将中，马芳堪称一位传奇式的人物，当时就有“勇不过马芳”之说，诗人尹耕有“威名万里马将军，白发丹心天下闻”之诗句。一些曲艺、戏曲作品也将他的故事搬上舞台。如鼓词《香莲帕》、川剧《鱼鳞阵》、京剧《马芳困城》等。亦为汉族民间信奉的神仙“马王爷”的原型之一。
马芳自小虽然身在异乡沦为贱奴，却忍辱负重，自幼开始“曲木为弓”，精练骑射武艺。至青年时，一次随阿勒坦汗狩猎，忽然突出一只斑斓猛虎现身，直扑阿勒坦。众人登时惊慌逃避，唯独马芳面不改色，弯弓搭箭，当场击毙猛虎。阿勒坦对马芳赞赏不已，赠予他“良弓矢，善马”，还命他“侍左右”。马芳虽然受到阿勒坦的重用，但是他心在明朝。嘉靖十六年（1537年），马芳乘跟随阿勒坦至临近明朝边镇的大同外围狩猎之机，趁夜盗马逃出，投奔大同总兵周尚文，被任命为队长。
马芳自任队长开始，作战勇敢，屡战屡胜。更重要的是，马芳不光勇敢，还智谋过人。有一次随周尚文出征，他献计率精骑抄袭蒙古骑兵后路，迫使蒙古大军北撤，被周尚文大赞道：“汝他日必为能将。”
嘉靖二十九年（1550年）11月，蒙古骑兵入侵山西威远，马芳率部迎敌，他先是看穿了对手用孱弱骑兵引诱明军中伏的把戏，接着反将蒙古军引入明军伏击圈，于一场激战中大败之。得胜后，部将们以为敌人已退，纷纷松一口气，马芳却冷静判断出敌人必然卷土重来，立刻在野马川布防，果然见大队蒙古骑兵杀来。敌众我寡下，马芳毫无惧色，命部将先撤退，自己亲率精壮勇士断后，一场恶战竟打得优势兵力的蒙古军溃逃，马芳立刻转守为攻，追击至山西泥河再次大破敌人。同年，马芳先升任宣府游击将军，继而破格提升为正二品都督佥事，至年末又加封为正一品左都督。
马芳认定“兵之优劣，重在选练之效”，不但在军中制定严格的赏罚管理训练条例，招募当地拳师以及蒙古降兵为教官，常在训练中“亲执械示范格杀”，而且颁布严格条令，规定将官有虐待士卒者，要处以至少八十军棍的刑罚，有克扣军粮者，不但大刑伺候，财产更要充公。为阻止当地权贵擅调士兵充奴婢，马芳竟对山西某权贵“拔刀怒向”，终迫使其归还被征调的士卒三百余人。马芳还从麾下的士兵里挑出数十名最精壮的人，组成“家兵”，这支部队，在以后的数场战争中发挥了巨大的作用。
马芳每镇守一地，除悉心练兵防御外，更留心搜集当地珍奇土特产，用以馈赠各位“上级”，因此，他每每选将练兵，整饬军备，都“精兵良械优给之”。权臣严嵩之子严世蕃同样颇为忌惮马芳，曾告诫杨顺道：“（马芳）虽表面憨鲁，实心细如发，更兼胸怀韬略，不可引之为仇也。”
嘉靖四十年（1561年）八月，蒙古南下侵扰，在其他明军纷纷溃败之际，马芳率军从宣府连夜急行军五百里，抵达大同外围，乘夜击退蒙古主力。初战告捷，马芳乘胜追击，连续在兔儿岭、饮龙河等地击败蒙古军。连战失利的蒙古军毕竟究久经阵战，尚未遭到重创，妄图绝地反击，以小股骑兵诈败诱使马芳轻进到有利地形后围歼，彻底扭转战局。马芳果然率部突进，蒙古军正欲合围歼灭，却见蒙古军两翼突现明军。原来，马芳早安排他的“家兵健儿”从侧翼突进，在战斗打响后将蒙古军拦腰斩断，一场原本阿勒坦计划内的伏击战，反成了明军的歼灭战。此战“持续昼夜，格杀甚烈，”马芳本人依旧身先士卒冲荡敌阵，冲杀间竟然“马刀砍损三把”，经一夜恶斗，蒙古骑兵终于倒在明军坚韧的精神面前。马芳出塞、奔袭、破敌、追杀、决死恶斗，七战七捷，赢得了一场场胜利。从宣府到大同、从大同至怀安，马芳军的奔袭距离，在这场战斗中竟长达一千里。捷报传来，大明上下震惊，朝野上下一片狂喜。明廷加马芳为左都督，擢升为宣府总兵官。
嘉靖四十五年（1566年），蒙古鞑靼部首领阿勒坦汗的儿子辛爱率重兵攻打万全右卫（今万全镇）。在万全右卫保卫战，马芳在马莲堡迎战，在敌人的攻击下，马莲堡城墙塌陷，马芳不但不让人修复，反而令军士大开四门，偃旗息鼓，一时间，马莲堡好像空寂无人一样。这时，天将黄昏，敌人顿生疑虑，怕中了马芳的埋伏，不敢进入，只好在城外打着火把，嚣呼达旦。马芳却在大帐高卧不理。敌军不明情况，终不敢攻城，次日陆续撤军时，马芳率军奋力出击，大获全胜。这是马芳导演的一出“空城计”，充分体现了他的军事指挥才能。
万历元年（1573年），由于朝廷的政治斗争，马芳被勒令他“归家闲住”。万历五年（1577年），蒙古向朝廷索要封赏，并威胁要兵戎相见。朝廷立刻启用马芳复任宣府总兵。马芳到任后，整治兵马，在宣府郊外率领骑兵举行了数次“游猎”，蒙古各部闻讯后大惊道：“马太师归也。”急忙向朝廷“奉表谢罪，痛悔前过。”原本一触即发的兵祸就此消解。
《明史》称其“起行伍，十余年为大帅。战膳房堡、朔州、登鹰巢、鸽子堂、龙门、万全右卫、东岭、孤山、土木、乾庄、岔道、张家堡、得胜堡、大沙滩，大小百十接，身被数十创，以少击众，未尝不大捷。擒部长数十人，斩馘无算，威名震边陲，为一时将帅冠。”。
马芳的确当之无愧！
