再说，林凤祥北伐大军攻至黄河刘家口，但见对岸清兵林立，渡船皆毁，自此入鲁北上已无可能。凤祥遂西进寻渡，一路杀至开封，屡攻不克。遂绕至朱仙镇。
时麦儿黄黄，夏风习习，林凤祥心境稍爽，遂再奏禀：东王千岁千千岁，自临淮至此，尽见坡麦，未见一田，粮料甚难，兵将日日加增，尽见骑马骡者甚多。忖思此时之际，各项俱皆丰足，只有谷米不足。临淮至此，着人带文回朝数次，未知至否？如此山遥水远，音信难通。兹今在朱仙镇酌议起程，西走寻渡，大军越河功成，方可回禀各王殿下金安，无烦远虑也。转奏天王万岁万岁万万岁！
1853年6月22日，林凤祥率军由祥符赶至中牟，逢五百清兵城外扎营，即刻包围砍杀。
清兵惧而抱首，只待死耳。
豫人目击，叹：“畏死而终不免于死。贼至而竟束手受戕，馁气乘心，魂魄先丧。可见平日操练无方，武备懈驰，徒有食粮之名而已。”
林凤祥攻得中牟，即刻督兵郑州，于巩县寻得一渡口，秘命人寻舟，得小船三十。前军、中军三万人，历时七昼夜，全渡。后军三千，不及渡，被追兵打散。
7月8日，林风祥率过河之军，剑指怀庆府。
怀庆，豫西北重镇，盛产货药，物阜民丰。林风祥仓促渡河，资财尽失，冀打牙祭，复待后军。
孰料怀庆知府余炳焘、知县裘宝镛皆乃猛人，巧舌如簧，阖府一宣，竟募得七千战士。
林凤祥先礼，降书绑箭，射入城垣。
余炳焘临危无惧，指挥兵士练勇，檑木滚下，矢石投下，滚汤泼下。林凤祥连攻半月，死伤枕藉，一无所获。强攻不克，林凤祥遂外扎营寨，欲圈围怀庆，耗死炳焘。此方甚毒，一月下来，怀庆府已弹尽粮绝。
余炳焘无奈饬令：释囚守城，城守释囚。守城男子每日食面糊两餐；女子即无面糊，清水亦可餐。
连攻不克，林凤祥又调土营，挖道炸城。
炳焘乃于城中穴地，置大瓮入内，令人坐而听之，准声所起，亦掘地道，掘愈近，声愈近，至能辨人语，引水骤灌之。或以“草上无露则下有地道，远近曲折，一目了然”。炳焘以此两方，破地道三十余处。
余炳焘硬撑十日，清军援兵陆续赶到。
7月18日，绥远城将军托明阿、都统西凌阿率兵四千，抵怀庆东南，于徐堡镇扎营。
24日，河南提督善禄、大名镇总兵董占元率兵三千抵怀庆东北，驻足清化镇。
27日，山东巡抚李僡率兵二千，驻扎清化镇、二十里铺。
28日，胜保率兵一千九，至怀庆城东八里处扎营。
29日，胜保率军猛攻，托明阿等消极拖沓。胜保无权节制诸军，恼，奏曰：近日各路官兵虽厚，而实在与贼接仗者不多。即便接仗，不过于距贼二百步外以枪炮轰击。迨贼炮一发，贼旗一动，遂多不敢前冲。专恃枪炮安能破垒擒渠？故以之胜贼尚易，以之灭贼实难。至黑龙江马队之枪箭虽称劲旅，不如吉林兵鸟枪，于截剿追杀更为得力。臣观，北路距贼甚远，进战时隔河施放枪炮，贼亦不甚介意。西路现在无兵，托明阿等东路尚能为臣后援，而其官兵亦多不能前进。各路官兵虽多，皆有统带大员，事权不一，未能和衷共济。钦臣讷尔经额远在临洺关调度，实远水不解近渴。
林凤祥围攻两月，虽连败各路援军。但人疲马乏，战资耗尽，而始终不能破城。而清军援部，正源源不断，自东、南、北三方蜂拥抵近。林凤祥斟酌再三，决意撤围西进，摆脱追兵。
1853年9月3日，凤祥率军折入山西，连克垣曲、绛县，斩杀二知县，进逼平阳。
平阳得失关系晋省全局，咸丰帝严旨切责：前因贼扰怀庆，密迩山西，叠次谕令哈芬严密防堵。该抚前奏布置隘口情形，据称已属周密。乃贼匪突陷垣曲，扰及绛县、曲沃，直扑平阳。叠据藩司郭梦龄驰奏，而哈芬近在省南，奏报转迟，且由阳城亲带官兵进剿，自应迅赴平阳迎击，何以迁延旬日尚逗留潞郡？似此调度无方，畏葸无能，若仍令待罪封疆，必致更滋贻误。怀庆围解，胜保功大，加都统衔，赐黄马褂，特予节制各路人马，入晋杀贼。
1853年9月12日，林凤祥攻打平阳，架炮轰塌城垣，兵勇商民惊慌四散，平阳知府何维墀脱手钏激赏之，亦不能止。林军占得平阳，尤恨平民助妖，怒将武庙沿街民居焚烧殆尽。
胜保率军追至，密伏城北。
林凤祥不知，督兵继进，被西凌阿马队冲散。林凤祥慌不择路，督率后军，退守平阳；李开芳率前队，北进洪洞。
14日，榆林镇总兵郝光甲率部赶至。胜保令郝部牵制林军，自率大军，围攻洪洞，冀先北后南，各个击破。
林凤祥不知胜保撤围，兀自北门突围。郝光甲得悉，再伏城北。林凤祥猝不及防，折兵百余，复退城内。
春官正丞相吉文元道：“平阳之北，秋禾如云，高粱夹道，正宜妖伏。不如声北击东，趁夜而出。”
凤祥颔首，道：“大军入晋，晋人争送骡马米粮；晋人善，有愿附我者尽可纳之。”
16日夜，林军大张旗鼓，北门佯动，伪为将战势。甫一接战，诈败入城，洞开东门，扬长而去。兵至洪洞，接洽李开芳部，方知胜保早撤，而郝部兵不过两千。凤祥咬牙切齿，恼羞成怒，倾兵南下，圈围郝光甲部，一通厮砍，两千清兵，几近杀光。
胜保得悉，目瞪口呆，惶急疏曰：该逆始而穷窜，桀悍之徒不过四五千人，始堵御有兵，早已剿办得手，今沿路裹胁又已过万。拿获长发贼讯供，欲由山西乘虚直犯京师，是以所破城池不愿踞守。臣揆度情势，若不跟踪追缴，逆贼必更猖獗；若仅一味穷追，前途调兵拦阻不及，设其窜过韩侯岭，扰近畿疆，大局不堪设想。
咸丰帝惧林军自晋入京，谕令胜保飞至韩侯岭拦截，为事权专一，特授胜保钦差大臣衔。
恭亲王奕忻道：“昨接向荣奏报，言上海小刀会匪起势，连克我嘉定、上海、宝山、南汇、川沙、青浦等县。上海诸厅县，皆三吴菁华之地，不独海关税银赖充军饷，转眴筹办海运，尤为大局所关。”
咸丰帝道：“朕一再迁就，杨文定依旧碌碌，即刻逮治，坐论大辟。江苏巡抚许乃钊，疾驰上海戡乱，怡良、向荣务必分兵驰援。”
许乃钊接旨，檄调常镇通海道吉尔杭阿、湖北宜昌镇总兵虎嵩林、参将秦如虎合师进剿。两江总督怡良、钦差大臣向荣接旨，亦不怠慢，各遣兵马，奔赴上海。
小刀会首刘丽川，广东香山人，经商上海，因琐事与苏松太道吴健彰结怨，遂糾客籍粤、闽、江右会党二千人，杀知县袁祖德，劫道库。
刑部主事刘存厚募勇千人，连克青浦、嘉定。吉尔杭阿军至，渐次克复宝山、南汇、川沙，合围上海。
向荣再奏：俟上海一克，即顺道先击镇江，复统军困围金陵。
咸丰帝厉斥向荣畏葸，谕令即攻镇江、金陵。向荣无奈，饬令和春进击。和春惧覆邓绍良之辙，谨攻慎击，镇江战事一时胶着。
镇江绅缙喟叹：“镇江屯军，能任战者，仅楚、粤、川、黔兵四千，或时与潮勇哄，浙兵助声威而已。唯艇船集焦山五十余艘，往往伺风上攻。”
向荣再奏：欲攻金陵，须先从水上去其船，使金陵、镇江、扬州之贼，首尾不能兼顾，然后可以制其死命。臣正待粤师红单船至。
上疏不久，自感欠妥，又奏：攻城之法，城小可以合围，城大只宜声东击西，乘其不备，至于低有地道，高有云梯，或束蒿以填壕沟，或囊沙以作阶级，此其较大也。今则九十六里之城，合围既力有不逮，其余各法，自五月以来，先后屡用，虽有小获，终未能破城大创。
咸丰帝道：“一派胡言，似此等打仗，何日攻克。金陵不克，汝亦无颜见朕，朕亦不愿闻汝名。”
向荣被责，恼，令张国梁领精兵三千，沥血饮酒，誓师破城。
张国梁道：“真攻？”
向荣道：“泱泱九十六里城墙，自何下口？零星诈攻，以待时变。”
张国梁道：“吾区区三千之兵，攻偌大之金陵，实乃虚慌。金陵城外贼之营垒多多，看我拿来。”
言罢，亲率一千捷勇，杀入太平军大营，毁营盘十余座，斩杀太平军千余。
南营某刀笔吏赞曰：杀贼江上江水红，向公黑虎张公龙；钟山大战疾风雨，张公生龙向公虎。
咸丰帝闻之喜谕：时大江南北诸军，贼所尤畏者，惟张国梁一人也。张将国梁，朕之长城也，着部优叙。另，胜保勿负钦任，务必督促山西诸军，诛林凤祥逆匪于太行山以西。