张自忠从懂事起，就开始接受旧学的熏陶，父亲的影响和学校的教育，都毫无二致地归一于孔孟之道，因此，强调忠、孝、仁、义的旧道德从小便在张自忠的内心深深扎下了根。
学习之余，张自忠常借一些来消遣。最让他喜爱的是《三国演义》、《说唐》和《说岳精忠传》。这些古典名著对传统道德作了活生生的注释，关云长、岳武穆和秦叔宝的忠义侠行和浩然之气令他心驰神往，由衷敬慕。他也曾在由营长提升为团长时以才能和经验只勉强做一营长而上书恳辞，用地位引诱只怕让他哧之以鼻。
既然如此，直接晓以民族大义，以停止内战、抵御外侮来劝之归顺奉军可能是一明智之举。张自忠此时任冯玉祥卫队团第三营的营长，奉命驻守在长丰县。之所以派出卫队守边，实在是因为他的摊子铺得太大了，人手照顾不过来。
张自忠同样对直军以一已私利阻挠统一非常不满，他对冯玉祥只打自己的小算盘也颇有微词。对南边的奉军少帅（他一直认为人民军是奉军的一部分）也深表尊敬。
少帅一改传说中民国纨绔子弟的作风，通过卓有成效的“辽宁经济改革”，建立近来声势颇大的人民党，安蒙、平甘、入陕、夺鄂、抢皖丝丝入扣，一气呵成，显示了其杰出的军事、政治能力和战略观，吴佩孚、冯玉祥之辈的能力尚达不到那种境界。
从张汉卿“不经意”间写出的那首《清平乐六盘山》也可以看出，张汉卿所图非小，正所谓言为心声。而前不久的《凤凰涅槃》更是将他一腔对国家民族的爱发泄得淋漓尽至。
对于少帅亲笔写信招降，他既矛盾又感激：他不过是一个营长，张汉卿麾下有无数强将，竟然能看上默默无闻的自己，且竟然赞诩自己为“国之良将”，顿感有一种知遇之恩。可是自己在冯玉祥帐下效力多年，颇有感情，自古忠臣不事二主，怎能在这种时刻抛弃冯师长？
张汉卿似是明了其心迹，在信的末尾诚恳地说；“我知荩忱（张自忠的字）兄忠义过人，但忠于国家谓之忠，忠于个人谓之义。人民军以统一国家、强大民族为已任，亟需如兄之人才为辅。盼兄以民族大义为重，舍小义而换得民族复兴，则中国幸甚，百姓幸甚！”
思忖再三，张自忠决定加入人民军。
不过他是个有节操的人，决定离开后，把历次冯玉祥所奖励的物品整理齐全放在房内，又把全营的后勤账目细细地核实一遍，然后签字画押以示负责。
在临行前留给冯玉祥的信中说：“冯将军敬启：荩忱跟随师长已逾4年，每思报效国家，终恨无门。民国自成立以来，军阀混战，民不聊生。张少帅汉卿者，以统一国家振兴民族为已任，素为荩忱所敬仰。今将弃君而奔彼地，因行事匆匆，不及面辞。望将军能以国事为重，谅解荩忱一片苦心。我闻君子交绝，不出恶声。临别赠言，为荩忱肺腑之语。”
张维玺、张自忠两员大将加盟，使张汉卿欣喜异常。他也言出必诺，安排张维玺任于学忠第8师一旅代旅长，以张自忠任司令部高级参谋兼军官教导团副团长（军衔升为上校）。
他对二张的信任很不一般，除要推荐张维玺将来去战略指挥班学习外，还对张自忠说：“若不是荩忱兄资历尚浅，我一定会让荩忱做华中司令部的总政治部主任，现在就请你兼任我们军队的政训工作。”
受其影响，佟麟阁也来到了少帅帐下，同样也获得了重用。有样学样，冯系士官接连跑了十几个骨干，有的甚至是连同所辖部队一夜之间全部倒戈。
冯玉祥对张汉卿是吓怕了。他的几员虎将一个一个先后离开，对他的部队的稳定和士气的影响是巨大的。他像一头暴怒的狮子，将自己关在房内咆哮了一天。
不过为了防止更大的损失，他还是主动放弃了淮河以南的地盘，在皖北的部队也全部都集中在几个大城市，以有效避免人员流失。
没办法，谁让南北奉系的力量与自己太过不成比例？不说人家加起来20个整编师，光是财大气粗就让人丧失争一争长短的念头，这段时间从奉系传出来的动静不小哇。
去年，张作霖从丹麦购买了制造野炮、炸|弹的机械300套，共花费300万元，眼睛都不眨一下。今年年初，又从远东溃败的“捷克兵团”手里廉价收购了一批二手武器，步枪30000支，每支13元，据说是配置给各地的保安部队和武警部队使用的；前段时间，他又从美国人手中购买装甲车100辆，每辆2万元。
装甲车是什么东西，他没见过，可是据说那些二手武器是人家直接从当兵的手里现买的。“捷克造”是民队的上等武器，人家只是用来装备二流部队，真是人比人气死人啊！
这时候摆在人民军面前的是一个无比利好的局面：在它前行的路上，已经没有任何可资抵抗的力量，安徽最大的城市合肥就像一个痴情的少女一样敞开怀抱等着她的情郎来温存。对有志于统一中国的张汉卿来说，他若是放慢一点脚步就不其为张汉卿，也就不会为入皖下这么大的功夫了。
人民军援军先头部队是在4天后进入合肥城中的，安徽民众热情欢迎人民军的到来。早就听说人民军是民国初年中纪最好的军队，真是闻名不如见面，见面胜似闻名。当人民军以整齐的军容，嘹亮的军歌踏步进城时，到处响起热烈的掌声。
而人民军也很争气，各级政治部充分贯彻了人民军总政治部的要求，不拿一分钱的好处、不做一件影响人民军名誉的坏事。在这个基础上，后来形成了人民军著名的《三大纪律八项注意》：一切行动听指挥；不拿群众一针一线；一切缴获要归公。说话和气，买卖公平，借东西要还，损坏东西要赔，不打人骂人，不损坏庄稼，不调戏妇女，不虐待俘虏。
合肥大商赵延宗在清晨推开窗户时，意外地发现自家楼底下的炎黄大道两旁整整齐齐的人民军士兵席地而卧，整整一夜都没有民众受到惊扰，这是民阀征战各方所从没有的事情，不由得从心底呼喊：“得民心者得天下，人民军离得天下已经不远了！”