在第二次直皖战争中，段祺瑞确实发挥出了他举足轻重的作用。卢永祥在浙江的作战固然引爆全局，而冯玉祥的倒戈也与他有着直接关联。为促冯倒戈，段祺瑞事前派亲信携其亲笔函见冯，提出“不赞成内战，并希望冯对贿选有以自处”。除亲笔函外，他还设法筹集十万大洋，转送给冯玉祥，作为临时倒戈的代价。
不过在拥孙还是拥段的问题上，冯玉祥的态度一度较为微妙。据说那时冯玉祥已读过三民主义的书籍，而且很感兴趣，他对孙中山也不止一次地表示过敬仰，而在北洋系中，冯玉祥又基本属于思想“异类”，与段祺瑞、张作霖打交道时不免感到势孤，如果能够与孙中山互相呼应和支持，自然对他是有利的。
由于冯玉祥有拥孙的可能，所以曾有消息说张作霖、冯玉祥已发电报到广东，请孙中山到北京主持一切，然而不久这一消息就被证明纯属误传。
冯玉祥倒戈后，以他为后盾的摄政内阁只是一个过渡。冯玉祥练兵尚有一手，但搞政治是其最大的短板，时人评价他将政变后的北京政局弄得“似革命非革命，似依法非依法”。同时，他又被直系视为叛徒，直系长江各省均予以通电讨伐。面对这一严峻形势，冯玉祥等人乃联名拥段为“国民军大元帅”，欲借助其声望来减轻自身所受压力。
蛰居四年，终于要出山了。这本是段祺瑞一直以来所期待的，然而当命运的大门即将向自己开启时，他又不由得踌躇起来。最主要的担心，就是不知道各省对他的态度究竟如何——几年前，当他辞去督办下野时，人们可是弹冠相庆，如果这回贸然出山，再遭各方反对，那岂不是自讨没趣，这老脸可往哪里搁？
段祺瑞于是对冯玉祥等人的拥戴既不表示接受，也不加以推辞，既不说来京，也不说不来，只是表示：“此时将自重，必等各省一致拥戴，然后出山。”
战事稍定，段祺瑞就发电报给冯玉祥，让他速来天津商议国是。冯玉祥到天津的第二天，张作霖也到了天津，奉军两个师还先行在津驻扎。
冯玉祥到天津后，立即发现段、张均完全无意于孙，而奉军又咄咄逼人，连自己从吴佩孚手中收编的一些部队也被奉军给缴了械，这使得冯玉祥不仅完全打消了拥孙的念头，而且被迫对张作霖唯唯诺诺，装出一副全无成见的样子。
张作霖在战争中击败吴佩孚，其气势就跟以前的吴佩孚一样，恨不能立马扫平天下。在天津会议上，他甚至主张继续派兵南下，从而一举扫清直系在长江流域的实力。冯玉祥同样想借机到南方抢占地盘，于是也表示赞成。
武力统一曾经是段祺瑞一贯坚持的政治理念，如果是放在过去，他还恨不得敦促奉、冯两军昼夜南下呢，可是现在他自己已对这一理念产生了怀疑和动摇。
曾经对段祺瑞武力统一政策批评很厉害的一个人，是著名政治活动家章士钊。章士钊认为，武力统一乃是“欲以一派势力消除它派势力”，是“不知国家根本组织之道”。在他看来，一个社会必定会有各种各样的势力，它们利益不同、情感不同，自然意见和希望也不同。国家要做的事，是调和、容纳这些势力，“使之得相安”，倘若强行以武力消灭以达成所谓的统一，那是假统一，是注定要失败的。
那什么是真统一呢？章士钊忠告段祺瑞：“真统一者，乃在国家意志之统一而不在独夫之专擅也。”
退居天津前，段祺瑞对章士钊的批评，要么没有注意到，要么就是当成了书生之见，压根儿没放在心上。他真正感觉到这些批评言之有理，是在退隐静思，细细回味那些经历过的失败之后。
就在息影的第三年，段祺瑞很感慨地说：“曹（曹锟）、张（张作霖）、吴（吴佩孚）皆我提拔出来。我扶植他们长大，可是后来却又全部打起我来了。我致力于武力政策，结果如此，现在觉悟了。”
段祺瑞终于明白，如果单纯靠武力统一，打掉一批老的实力军头，又会养成一批新的实力军头，到最后免不了还是一场空。
因为有了这样的新认识，段祺瑞不同意张、冯的用兵主张。他认为，曹、吴在长江各省的势力还很大，困兽不可穷追，一穷追，对方就会合力死斗，到那时候就不好办了。
段祺瑞提出，只要长江各省能“竭诚赞助统一”，同时又不再支持曹、吴，就不应继续用兵。张作霖、冯玉祥听了，觉得长江各省“合力死斗”的情况未必就不会发生，于是也都不得不在原则上同意段祺瑞的意见。