蒋介石的信从黄埔建军讲起，历数他和何应钦在东征等役中患难与共的过程，并说到“我是准备以总理交付我的责任交付你的……”，语言非常亲切动人。
当然他也没忘记继续给何应钦敲警钟，让他与新桂系保持距离：“桂系野心甚炽，不恤破坏党国团结，在各派系间进行挑拨离间，妄图收渔人之利。”
何应钦听李仲公转述后，转嗔为喜，除遵令就任参谋长外，又请了两个月的假到上海住了一段时间。果然，不出一个月，蒋介石即将他召回南京听用。
不过“逼宫”给蒋介石造成的余悸仍未完全消除。尽管信的末尾曾有“我不能常在前方，待我将部队整理就绪，仍然请你回来统率”之语，但他并没有马上把兵权交给何应钦。这也正是蒋介石临时起意，把信从李仲公手中要回的主要原因。
被杀威棒打了屁股之后，何应钦更加小心谨慎。后来他虽出任军政部长的要职，但连任用一个营长都要签请蒋介石批示，对于黄埔学生的进退，若无蒋直接领导的“黄埔同学会”签呈，也不敢擅自做主。至于军界以外的所谓党国大计，更是自动消失，绝不再随便开口。“何婆婆”之名，从此算是坐实了。
在“何婆婆”就范的同时，被蒋介石称为“野心甚炽”的新桂系则继续给他唱反调。李宗仁一再滞留南京，拒绝前往武汉就职集团军司令，第四集团军也就迟迟成立不起来。
蒋介石认识到必须进一步加强与北方冯、阎特别是冯的关系。他亲自从南京来到郑州，与冯玉祥再次见面，还预先托人告诉冯玉祥，说想同对方换帖做盟兄弟。
冯玉祥非常爽快地答应下来：“很好。”于是蒋介石亲笔写了帖子，冯玉祥也写了帖子。两人见面后交换帖子，并互相拜了四拜，就此成了把兄弟。
有了冯玉祥这个把兄弟撑腰，蒋介石不再顾虑李宗仁肯不肯上阵。4月5日，他在徐州誓师北伐。之后一声令下，蒋、冯、阎军分别沿津浦、京汉、正太铁路向奉军发起进攻。北伐军所到之处，奉军节节败退。
第二次北伐从一开始就注定胜券在握。对蒋介石来说，唯一需要担心的其实是列强的干涉，尤其将成为北伐主战场的山东至华北一带，一直是日本极力扩张势力的地区。
蒋介石在下野期间，为了试探日本政府今后的对华政策，曾与日本首相田中义一进行过秘密会谈。会谈中，蒋介石发现，只要他一提到“中国革命志在统一全国”的时候，田中的脸色就变了。
蒋介石曾期望日本能像当初支持他“离俄清党”一样，继续支持他实施北伐，但这次会谈结束后，他在日记中写道：“日本必将妨碍我北伐之行动，以防止中国之统一。”
5月1日，蒋介石率北伐军克复济南，已出任南京政府外交部长的黄郛也应召来到济南。
两天后的上午，济南城内忽然枪声四起，黄郛所住的津浦路局办公处被驻济南的日军包围，子弹嗖嗖地飞进来。
黄郛上到二楼，用日语朝楼下的日本兵高声喊：“我是中国的外交部长，不要动武！”日军这才停止开枪。
黄郛乘汽车前往蒋介石所住的督办公署，但那里也不安全，于是又把总部移往一个叫党家庄的小火车站。
这就是“济南惨案”（即“济案”）。据事后中方发布的调查报告，中国军民共被日军打死打伤四千七百余人，蔡公时等十余名外交人员也遭到残杀。身为外交部长的黄郛对日军的野蛮行径深感震惊，他说：“日本人没有当我们中国人是人，这种耻辱与残酷，不仅自己从来没有受过，恐怕在历史上都不曾有过。”
“济案”发生时，冯玉祥的专车已抵泰安车站。蒋介石让人给他打电报说：“不要来了！”老冯倒很有点把兄弟的义气，当即复电：“愈有危险，我愈要去。”
蒋、冯会合后，与黄郛等人聚集在党家庄的一所清真寺外面。大家坐在草地上，商量应付之策。蒋介石问冯玉祥在这种情形下该怎么办。冯玉祥说：“现在没有别的办法，只有用革命力量先把这地方的日本人俘虏了再说！至于说出什么大事，我觉得革命就是大事，其他什么事情都不用管。”